Comment Messieurs Cahuc et Zylberberg découvrent la science

André Orléan - En ligne sur le site d’Alternatives Économiques, le 12 septembre 2016

Réflexions sur Le négationnisme économique et comment s’en débarrasser

Il n’est pas facile de lire sereinement le livre de Cahuc et Zylberberg. Non seulement parce que la violence du ton et des attaques peuvent dissuader les meilleures volontés, mais surtout parce que, sans cesse, le lecteur se trouve confronté à des contre-vérités manifestes et à des manipulations. Ce livre n’éclaire pas ; il obscurcit et déforme sciemment. Son but n’est pas la recherche de la vérité mais le désir de faire mal – ou de faire du buzz, ce qui est à peu près la même chose. L’usage du terme « négationnisme » est pleinement révélateur de cette volonté, non pas de réfuter ou de contredire, comme il sied à un débat contradictoire argumenté, mais de salir. Le livre s’ouvre sur le récit de l’affaire Lyssenko et, en effet, il y a dans le ton des auteurs comme des relents de guerre froide, de croisade purificatrice, d’ennemis irréductibles qu’il s’agit de détruire et d’exclure comme y invite explicitement le sous-titre : « comment s’en débarrasser ». Après la « science prolétarienne », il ne manque que les « vipères lubriques » pour que le tableau soit complet. Malheureusement la haine rageuse ne fait pas bon ménage avec la justesse des analyses. Torquemada n’a pas été retenu par l’histoire pour la finesse de ses jugements. Ce livre n’est que poudre aux yeux. Il faut d’ailleurs noter que cela a fonctionné à merveilles. La mise en scène d’économistes scientifiques, repoussant avec abnégation tous les a priori idéologiques pour s’efforcer modestement de s’en tenir strictement aux faits, et ceci même lorsque ces faits les obligent à remettre en cause leurs convictions les plus intimes, est beau comme l’antique, surtout lorsque, face à eux, on donne à voir des négationnistes, sans foi ni loi, gauchistes motivés par la seule idéologie, n’ayant pour seul horizon que la destruction du capitalisme, au mépris de toute vérité. Cette mise en scène a fait un tabac médiatique. Il faut croire que la subtilité n’est pas une valeur en vogue. Même l’appel explicite à l’exclusion de tous ceux qui ne sont pas dans le consensus n’a en rien altéré l’enthousiasme des nombreux commentaires.

Mais venons-en à la thèse qui est au coeur du livre : « depuis plus de trois décennies, l’économie est devenue une science expérimentale dans le sens plein du terme comme la physique, la biologie, la médecine ou la climatologie. » Assurément, c’est là une forte proposition qui donne matière à réflexion. Il est heureux de voir deux économistes sortir de leur terrain usuel – le marché du travail - pour s’intéresser aux questions difficiles, mais cruciales, de méthodologie et d’épistémologie. Rappelons que l’épistémologie est cette branche du savoir qui s’efforce de déterminer ce qui fait qu’une science est une science et qui étudie, tout particulièrement, les sciences expérimentales. Notons que ce sont là des sujets hautement techniques, qui demandent un bagage scientifique conséquent. Je signale ce point parce qu’une des conclusions centrales du livre est que « Pour ne pas se faire abuser par des informations pseudo-scientifiques, en économie comme dans tout autre domaine, il y a quelques principes à respecter ». Quels sont-ils ? « Une précaution minimale consiste à s’assurer que ces informations sont extraites de textes publiés par des revues scientifiques reconnues ». Et nos deux auteurs de mettre tout spécialement en garde contre les textes qui ne sont pas passés au crible de la critique d’authentiques spécialistes : « des résultats qui apparaissent pour la première fois dans des rapports ou des livres, même à gros tirage, n’ont aucune fiabilité. » N’est-ce pas stupéfiant ? Comment ne pas voir que les élucubrations épistémologiques de nos deux auteurs tombent précisément sous le coup de cette critique radicale ? À l’exception du “gros tirage”, il est vrai, mais on peut craindre que ce ne soit que momentané. Pour le reste, vous chercheriez en vain dans l’ensemble de leurs travaux le moindre article consacré à la méthode expérimentale en économie. Ils n’ont jamais rien publié sur ce sujet. Ce livre est leur première incursion dans ce domaine de telle sorte que, si l’on suit leurs propres critères, leurs analyses doivent être rejetées. Nous sommes face à un livre qui contient sa propre réfutation ! Et nous verrons, en effet, dans ce qui suit qu’il y a tout lieu d’être plus que sceptiques quant aux capacités de nos deux auteurs en matière d’épistémologie. Pour le dire simplement, ils n’y connaissent rien. À titre d’illustration, le livre contient approximativement 120 références. Dans ces 120 références, je n’en ai trouvé qu’une seule portant sur la question de la méthode expérimentale, à savoir un manuel d’introduction à l’épistémologie publié en 1987. Peut-on sérieusement les prendre au sérieux lorsqu’ils déclarent que « l’économie est devenue une science expérimentale » ? Qu’en savent-ils ?

Et d’ailleurs qu’est-ce donc qu’une science expérimentale aux yeux de Cahuc et Zylberberg ? Selon la définition qu’ils en proposent, il s’agit de « mettre en évidence des liens de cause à effet ». Pour ce faire, l’économie « ne se contente plus de confronter des points de vue à l’aide de quelques chiffres plus ou moins pertinents (version soft) ou de faire des simulations à l’aide de modèles mathématiques plus ou moins sophistiquées (version hard). À l’instar de la recherche médicale, l’économie s’attache à bâtir des protocoles expérimentaux permettant de connaître les causes des phénomènes observés » ; ce qui signifie concrètement que, pour connaître l’effet de certaines mesures, comme, par exemple, l’augmentation du salaire ou la réduction de la durée du travail, on compare « des groupes tests au sein desquels ces mesures ont été mises en oeuvre, avec des groupes de contrôle où elles n’ont pas été mises en oeuvre ». En effet, si je me contente d’observer que, suite à la prise du médicament, la santé du patient s’est améliorée, rien ne m’assure que cette amélioration a été causée par le médicament. Cela peut tenir également à la condition du patient qui connaît sa propre évolution, sans compter le rôle des facteurs extérieurs. Par exemple, si, pendant l’expérience, les conditions climatiques se sont brutalement améliorées, on observera une amélioration des performances de l’individu sans rapport avec la prise du médicament. Pour cette raison, la médecine a développé une méthodologie très contraignante, basée sur l’existence d’un groupe témoin, le plus proche possible du groupe testé, de façon à être sûr que l’amélioration de la santé vient du médicament et non pas des caractéristiques propres aux individus ou de facteurs externes puisque ces facteurs touchent également le groupe testé et le groupe témoin.

En conséquence, pour que l’expérimentation soit valide, il faut pouvoir construire un groupe témoin qui possède les mêmes caractéristiques que le groupe testé, sinon la différence des réactions ne pourrait plus être imputée au seul médicament, mais aux caractéristiques spécifiques du groupe testé. La méthode la plus usitée pour ce faire est celle d’un tirage au hasard des deux groupes, ce qui assure jusqu’à un certain point leur homogénéité. C’est bien ce qu’ont en tête nos deux auteurs lorsqu’ils écrivent : « l’expérience doit concerner un nombre suffisant de personnes placées au hasard dans l’un des deux groupes. Dès lors, les deux groupes ont en moyenne les mêmes caractéristiques et la différence entre le groupe test et le groupe de contrôle peut être attribuée à l’action du médicament. L’expérience assure que la relation entre la prise du médicament et l’état de santé n’est pas liée à des facteurs externes qui n’ont rien à voir avec le médicament testé ». Cette procédure est utilisée en économie sous le nom d’évaluation avec assignation aléatoire ou d’essais contrôlés par tirage au sort, pour les plus précis, mais également, plus simplement, d’expérimentation aléatoire, termes qu’étrangement nos deux auteurs semblent ignorer. On est en droit de parler ici de « méthode expérimentale rigoureuse » même si, comme nous le verrons, cette procédure a ses limites.

Peut-on, pour autant, concernant le développement récent des expérimentations aléatoires parler d’une révolution qui aurait transformé l’économie en science expérimentale, comme se plaisent à le soutenir nos deux auteurs ? Si les mots ont un sens, on s’attendrait à un certain retentissement, au moins chez les premiers intéressés, à savoir les économistes. Pour évaluer l’impact de cette nouvelle méthodologie en économie, j’ai consulté le journal de l’American Economic Association qui est, aux dires mêmes de nos auteurs, « au coeur de la production de la connaissance la plus orthodoxe qui soit ». Faute de temps, je me suis limité aux 187 articles de l’année 2013. Le résultat est sans appel : sur les 187 articles publiés au cours de cette année, j’en ai compté au plus 7 pouvant être considéré comme utilisant - ou étant en lien - avec l’expérimentation aléatoire, soit 4%. Il est clair que cette méthode est loin d’avoir révolutionné la discipline. Pour relever ce score si pitoyable, je me suis tourné vers les travaux d’un économiste dont j’étais, par ailleurs, certain qu’il était pleinement conscient du caractère révolutionnaire de cette approche, à savoir Pierre Cahuc lui-même. J’ai consulté ses quinze derniers articles, de 2002 à aujourd’hui, et j’ai eu la surprise de constater que jamais il n’a employé cette méthode révolutionnaire ! Pour en savoir plus, j’ai regardé de plus près les 5 articles les plus récents qu’il a publiés dans la Revue économique (novembre 2007, mai 2004, novembre 2002, mai 2002 et mai 2001). Quatre de ceux-ci sont consacrés à un modèle purement théorique, sans application empirique. Un seul contient une vérification empirique.

Il s’agit d’estimer l’effet d’éviction de l’emploi public sur l’emploi privé. La méthode utilisée est de nature économétrique, à partir des données de dix-sept pays de l’OCDE. On est fort loin de l’expérimentation aléatoire. Il semble que cette révolution qui date « de plus de trois décennies » ait encore du mal à produire tous ses effets. En fait, dans leur livre, Cahuc et Zylberberg se montrent fort habiles à manipuler la notion de « méthode expérimentale ». Dans le but de recueillir les puissants bénéfices réputationnels que produit l’identification aux sciences exactes, ils mettent, dans un premier temps, en avant les expérimentations de type Moving to Opportunity, Perry Preschool Program ou encore les travaux du Poverty Lab qui se fondent sur une méthodologie très proche de celle des médecins. Cependant, du fait même que ces études sont rares et qu’elles portent sur des objets très spécifiques, dans la suite du texte, ils sont conduits à prendre appui sur des études empiriques d’une tout autre nature, en les assimilant aux premières, toutes mises également dans un grand sac nommé la « méthode expérimentale ». Par exemple, dans le chapitre III consacré à la finance, nos deux auteurs s’intéressent à l’impact des politiques visant à subventionner certains crédits. Pour ce faire, ils font référence à un article qui a examiné l’évolution comparée des entreprises subventionnées (le groupe test) et des entreprises non subventionnées (le groupe témoin), à partir du moment où la politique de subvention a été stoppée, pour mesurer l’impact de la subvention. Or, le propre de ces situations « naturelles », par opposition à celles construites par le chercheur, est que rien n’assure a priori l’homogénéité du groupe témoin et du groupe testé puisque les groupes sont imposés par la situation elle-même. Il suit qu’il n’est plus possible d’affirmer que la différence d’évolution a pour origine le facteur considéré, en l’espèce la subvention. Par exemple, si l’on observe plus de disparitions d’entreprises chez celles ayant eu accès aux crédits subventionnés, on ne peut plus en déduire que cela est dû aux crédits subventionnés eux-mêmes, par exemple parce qu’ils favoriseraient une gestion plus laxiste. D’autres interprétations sont possibles qui font valoir que l’accès à la subvention sélectionne certains critères spécifiques, par exemple une taille d’entreprise plus petite ou une masse salariale plus grande, qui expliquent l’évolution observée. En conséquence, la différence de comportement entre les deux groupes ne tient pas nécessairement à la variable observée, la subvention ou non, mais à un facteur caché, la taille ou la masse salariale. Or c’est précisément pour répondre à cette objection qu’a été développée l’expérimentation aléatoire.

Pourtant la quasi-totalité des travaux cités dans le livre sont de cette nature. Il ne s’agit en aucune manière d’en nier l’utilité au motif qu’ils ne respecteraient pas strictement le protocole expérimental. Il faut au contraire les encourager car chacun apporte une certaine quantité d’informations. Mais il n’est pas possible de soutenir qu’ils apportent des vérités comparables à celle des sciences expérimentales, des vérités si puissamment validées qu’elles rendraient tout débat inutile. Quelle naïveté ! Quelle tromperie ! Considérer que, sur la base de tels travaux, l’économie serait devenue une science expérimentale, relève de l’arnaque. Notons d’ailleurs que le terme même de méthode expérimentale ne convient pas pour ces travaux. Il s’agit bien plutôt d’observations historiques. Mais c’est ce que de tout temps les économistes ont fait : examiner les données pour valider telle ou telle théorie a toujours été au coeur de l’économie. C’est en particulier ce que fait l’économétrie. En fait, je ne suis pas capable de savoir si Cahuc et Zylberberg manipulent sciemment leurs définitions pour pouvoir se dire scientifiques et se débarrasser de leurs adversaires ou bien s’ils maîtrisent si mal le concept d’expérimentation qu’en toute bonne foi, ils assimilent les diverses variétés de travaux empiriques à la « méthode expérimentale », sans en comprendre ni les différences, ni leur enjeu.

La suite du livre est des plus étonnantes. Il s’agit essentiellement pour nos auteurs de faire savoir que l’économie orthodoxe n’ignore pas la détresse sociale et qu’elle n’est pas du côté des nantis. Il s’ensuit la fastidieuse compilation de travaux - qu’ils qualifient d’orthodoxes - intéressés au logement des familles pauvres, à leur éducation, et au salaire minimum, censés nous persuader de quoi ? Personnellement je n’ai jamais douté qu’il existe des travaux sur la pauvreté ! Le texte est parsemé de remarques rageuses à la manière de : « Prétendre, comme le soutenait hier Pierre Bourdieu et aujourd’hui les pourfendeurs de l’économie orthodoxe, que l’analyse économique est incapable d’évaluer les gains et les coûts pour la collectivité des politiques économiques et sociales, y compris celles visant à améliorer le sort de défavorisés, relève du négationnisme scientifique ». Les bras m’en tombent. Mais qui n’a jamais soutenu une telle absurdité ? Certainement pas Bourdieu. Et à quelle fin ? La suite est du même tonneau : « Les pourfendeurs de la science économique ignorent [qu’il existe des approches expérimentales étudiant l’impact des programmes éducatifs sur les milieux défavorisés] ». Comprenne qui pourra pour quelle raison les économistes hétérodoxes devraient ignorer ces travaux ? Leur conclusion est : « On est bien loin de la défense unilatérale de l’efficacité des marchés et du soutien aux politiques en faveur des plus riches ». Admettons bien que je ne voie pas nettement en quoi le fait que certains économistes s’intéressent aux pauvres conduit fatalement, par exemple, à s’opposer à la défense des marchés ! Il me semble que ce sont deux choses différentes. Il faut dire que le débat est affreusement mal posé, ne serait-ce que parce que nos auteurs confondent les travaux économiques à proprement parler et les travaux des autres disciplines portant sur l’économie en tant qu’institution sociale. Il est clair que nos auteurs ne voient pas ces derniers d’un bon oeil et refusent même à quiconque n’est pas un économiste orthodoxe de former des jugements en ce domaine. Au nom de quoi ? De la science expérimentale ? Faut-il être physicien pour réfléchir sur la place de la physique dans la vie sociale ?

Les chapitres suivants passent en revue un certain de nombre de sujets importants pour le débat économique, comme la politique industrielle, le travail ou la finance. Mais ce qui frappe est à quel point il s’agit d’une discussion économique traditionnelle. Je ne vois pas où seraient ces vérités expérimentales si bruyamment convoquées par les auteurs qui les auraient rendus désormais obsolètes ! Par exemple, sans peur de la contradiction, après avoir écrit qu’il fallait être d’une totale partialité pour croire que les économistes orthodoxes étaient des défenseurs unilatéraux des marchés, c’est pourtant à un panégyrique en règle de la finance que nous convie le chapitre III comme l’indique clairement son texte sans nuance : « Mon amie, la finance ! ». Il semble bien que nos auteurs aient des préférences et qu’elles tombent du côté de la finance, injustement brocardé par les négationnistes et le Pape, nous disent-ils. C’est leur droit et leur argumentation n’est certainement pas sans intérêt. Mais quel rapport avec la science expérimentale qui aurait permis d’en finir avec les approximations ? Ce qui me frappe bien plutôt, c’est le caractère totalement classique et traditionnel des arguments invoqués et du débat ainsi provoqué. Je ne vois pas en quoi l’invocation de la méthode expérimentale lui apporterait une conclusion unilatérale. Je suis plutôt frappé par la partialité de leurs analyses qui parlent de finance sans jamais s’intéresser aux phénomènes spéculatifs. Ou bien qui prête aux hétérodoxes une position sur la Taxe Tobin qui n’est pas la leur. Certes le texte apporte ici ou là des informations mais la sauce dans laquelle elles baignent est
des plus indigestes. Dès lors qu’il s’agit d’attaquer les hétérodoxes, nos auteurs perdent l’usage de leur raison et disent à peu près n’importe quoi. Il serait lassant de relever la totalité des manipulations et des erreurs. Cependant, pour finir, en tant que président de l’AFEP, il me faut parler du dernier chapitre qui porte sur les propositions de cette association.

Nos deux auteurs soulignent que le fonctionnement des communautés scientifiques repose sur des « procédures d’évaluation par les pairs ». Ils accusent les économistes regroupés dans l’AFEP de vouloir la création d’une nouvelle section au CNU aux fins de se soustraire à cette évaluation. Il n’en est rien. C’est un mensonge. Nous sommes pour l’évaluation par les pairs.

Mais la question est celle de savoir qui sont nos pairs. En effet, il arrive que les communautés scientifiques se scindent quand une partie des chercheurs considère que la norme scientifique majoritaire est devenue trop partiale et devient un handicap pour certains programmes de recherches en pleine expansion qui n’y trouve plus l’espace adéquat. C’est ce qui s’est passé quand les mathématiques appliquées ont voulu la création d’une nouvelle section parce que les mathématiciens appliqués considéraient que leur coexistence avec les mathématiciens purs était devenue une entrave à leur développement. Il en va de même en économie où un certain nombre de paradigmes dits institutionnalistes sont rejetés par la norme majoritaire. Il s’ensuit de nombreux blocages. D’ailleurs le livre de Cahuc et Zylberberg nous en fournit la démonstration la plus éclatante.

Pour le comprendre il suffit d’imaginer ce qu’implique pour un économiste hétérodoxe d’avoir comme « pairs » Cahuc et Zylberberg, avec l’ouverture d’esprit qu’on leur connaît. Ces deux-là sont-ils aptes à juger équitablement les travaux de collègues qu’ils n’hésitent pas à assimiler à des négationnistes ? Nous ne cessons de le répéter : désormais la communauté des économistes est devenue par trop hétérogène. Elle conduit à des phénomènes de domination de plus en plus brutale dont ce livre est la dernière manifestation en date. Ceci n’est bon pour aucune des communautés en présence. La seule solution quand on ne s’aime plus est celle du divorce à l’amiable.

Ceci n’est pas un drame.
C’est le fait d’en refuser l’évidence qui pose problème.