Navigation – Plan du site
Lectures

Pascal PANSU, Nicole DUBOIS et Jean-Léon BEAUVOIS (2013), Dis-moi qui te cite, et je saurai ce que tu vaux. Que mesure vraiment la bibliométrie ?

Grenoble, Presses universitaires de Grenoble, Coll. « Points de vue et débats scientifiques »
Fabrice Buschini
Référence(s) :

Pascal PANSU, Nicole DUBOIS et Jean-Léon BEAUVOIS (2013), Dis-moi qui te cite, et je saurai ce que tu vaux. Que mesure vraiment la bibliométrie ? Grenoble, Presses universitaires de Grenoble, Coll. « Points de vue et débats scientifiques »

Texte intégral

1Dans cet opuscule, Pascal Pansu, Nicole Dubois et Jean-Léon Beauvois présentent un regard critique sur l’évaluation de la recherche scientifique et notamment sur son socle méthodologique : la bibliométrie d’impact. Structuré en cinq parties, l’ouvrage, tout en étant critique, n’est pas exempt de pragmatisme ni d’originalité, tout en étant à la fois didactique et politique. Le titre, agrémenté d’un sous-titre, contraste avec la taille du texte, mais, ensemble, ils en annoncent assez fidèlement les caractéristiques. Élaboré comme une formule, sinon un adage, le titre se dérobe pourtant à une lecture et à une compréhension fluides et immédiates. En ce sens, il reflète bien le besoin d’attention que les auteurs attendent du lecteur pour peu que celui-ci désire réellement en apprendre davantage sur l’un des critères essentiels de l’évaluation scientifique actuelle et veuille bien se départir de ses préjugés.

2La critique des auteurs à propos du système actuel d’évaluation de la recherche scientifique transparaît tout au long de leur propos. Cependant, c’est essentiellement dans les deux dernières parties de l’ouvrage qu’elle est la plus manifeste. Ils y proposent des solutions palliatives pouvant aboutir à une nouvelle politique, pour ne pas dire géopolitique, de l’évaluation scientifique, après avoir insisté sur cinq principes que devrait respecter toute mesure d’impact. Cette critique trouve son crédit renforcé par la nécessité d’une évaluation de la recherche scientifique, que les auteurs reconnaissent dans la première partie du livre. Elle se préserve également de potentielles attaques grâce à une connaissance précise de la bibliométrie d’impact. Celle-ci est présentée de manière claire, détaillée et documentée dans la deuxième partie, la plus didactique de l’ouvrage. Après ces propos essentiellement méthodologiques et techniques, la troisième partie introduit de l’originalité, en présentant les résultats d’une enquête sur les opinions et pratiques de chercheurs relativement à la bibliométrie d’impact. Originalité que l’on retrouvera dans les pistes proposées par les auteurs pour lutter contre les défauts du système actuel qu’ils mettent en évidence.

3Probablement pour anticiper les détractions de la thèse qu’ils soutiennent dans cet ouvrage, les auteurs, tout en énumérant quelques-uns des nombreux problèmes que soulève l’évaluation de la recherche scientifique, précisent dès l’introduction que, loin d’être opposés à une telle évaluation, ils y sont au contraire favorables. Ils consacrent même la première partie du livre à présenter « l’évaluation comme [une] nécessité organisationnelle » (p. 9), non pas dans l’optique de gestion des ressources humaines, mais dans une perspective plus anthropologique qui s’appuie sur l’analyse du pouvoir social. Distinguant celui-ci de la domination et le définissant comme la « création délibérée de groupements d’agents sociaux en relation d’équivalence, formés pour tenir un rôle, et ceci pour l’atteinte et la réalisation d’objectifs sociaux » (p. 11), les auteurs montrent que son établissement, dont l’origine remonte aux premiers groupements humains, entraîne rapidement le besoin d’évaluation. En effet, pour remplir des objectifs sociaux de manière performante, les structures organisationnelles doivent être en mesure de déterminer les compétences et la motivation des agents, afin de pouvoir se prononcer sur leur statut au sein des groupements. Si l’évaluation est présentée par les auteurs comme une nécessité sociale, ceux-ci questionnent en revanche interrogent la légitimité de ses architectes, les manières de la mettre en œuvre et les définitions de la compétence.

4La deuxième partie offre un portrait précis de la bibliométrie d’impact en décrivant ses origines historiques et son ancrage dans la scientométrie, tout en détaillant ses outils principaux. Le lecteur découvre alors que la production scientifique des chercheurs, travaillant dans un domaine donné, et la productivité des revues, dans lesquelles ils publient, peuvent être modélisées sous forme de lois (lois de Lotka et de Bradford). Les auteurs insistent sur le caractère essentiellement descriptif de la scientométrie qui traite de la production scientifique, sans avoir effectivement à statuer sur son caractère scientifique : « […] la scientométrie doit être soigneusement distinguée de la normativité scientifique que décrit l’épistémologie » (p. 21), que décrit le « discours sur ce qui fait la scientificité des connaissances » (p. 21, souligné par les auteurs). Le même constat doit être fait à propos de la bibliométrie d’impact dont l’objet porte non plus sur les publications scientifiques elles-mêmes, mais sur les citations qu’elles occasionnent, sorte de « reconnaissance de l’importance d’un travail » scientifique (p. 12). Cette bibliométrie repose sur l’existence de bases de données qui recensent à la fois les revues, les ouvrages faisant partie de collections et les actes de colloques, en indexant tous les textes qui y sont publiés. L’analyse de ces bases permet de calculer, tant pour les revues que pour les auteurs, des indices qui sont censés rendre compte de leur influence scientifique. Ainsi, pour mesurer l’influence d’une revue scientifique, calcule-t-on son facteur d’impact (impact factor : IF) qui est le rapport, sur une période particulière, généralement de deux ou cinq années, « entre le nombre de citations des articles publiés dans cette revue et le nombre global d’articles publiés dans cette revue » durant cette période. Aux côtés de cet indice le plus populaire sont venus s’en ajouter d’autres, basés sur le même principe mais tentant d’apporter des améliorations. Le SCImago Journal and Country Rank (SJR), par exemple, exclut les autocitations et apporte aux revues non anglophones une meilleure représentation, tout en pondérant les citations en fonction du prestige des revues. D’autres indices sont également mentionnés comme le Source Normalized Impact per Paper (SNIP), ou encore l’indice y ou le score eigenfactor qui fonctionnent sur la base d’algorithmes estimant, entre autres, le temps passé par les lecteurs sur chaque revue. Ils intègrent non seulement la popularité des journaux scientifiques, mais aussi leur prestige.

5Pour ce qui concerne les chercheurs et l’influence qu’ils ont dans le champ scientifique, deux indices sont présentés : l’indice h, de Hirsch, et le facteur g. Le premier est le plus connu et « se calcule à partir du classement de toutes les publications d’un chercheur donné, par ordre décroissant, en fonction du nombre de citations auxquelles elles ont donné lieu » (p. 36). Cet indice correspond au point de rencontre entre le rang croissant des publications ainsi ordonnées et le nombre décroissant des citations qu’elles ont générées respectivement. Ainsi, les h publications les plus citées l’ont été au moins h fois. L’indice est d’autant plus élevé que le chercheur a un nombre élevé de publications et que celles-ci sont citées de nombreuses fois. Le second indice (facteur g) est basé quant à lui sur le carré du nombre des citations et permet ainsi de tenir compte d’« articles à fort impact et qui ont une durée de vie longue » (p. 39).

6Les auteurs, en détaillant le principe de ces différents indices, attirent l’attention du lecteur sur le danger de les utiliser de manière irréfléchie ou sans les combiner. La dimension évaluative de ces indices est également remise en question et une réflexion est esquissée sur ce que pourrait être un indice plus descriptif reposant notamment sur des analyses structurales ou dimensionnelles des réseaux de citations. En outre, les auteurs pointent un aspect essentiel des bases de données à partir desquelles les indices peuvent être calculés : même s’il en existe quelques-unes qui reposent sur des institutions publiques, les bases de données sont généralement exploitées par des sociétés privées. Parmi les plus connues, qui sont utilisées pour calculer les indices d’impacts, on trouve le Science Citation Index (SCI) et le Social Science Citation Index (SSCI), deux bases développées par l’Institute for Scientific Information (ISI) qui appartient à la société Thomson Reuters, Scopus de la société Elsevier et Google Scholar développée par la société Google inc.

7La troisième partie de l’ouvrage présente les résultats d’une enquête réalisée par les auteurs à propos de la place que la bibliométrie d’impact occupe en matière de publication et d’évaluation au sein de la recherche scientifique française. Par nature, cette partie intéressera davantage le lecteur français que le lecteur francophone. En outre, le succès de l’enquête ne semble pas avoir été à la hauteur des espoirs de ses concepteurs. Raison pour laquelle les auteurs parlent d’une « collecte d’informations » (p. 45) et précisent que, « malgré la large diffusion des questionnaires, 128 seulement ont été retournés, ce qui bien évidemment ne permet pas de tenir [leur] population pour représentative de la recherche française » (p. 46). Bien que les résultats doivent en conséquence être considérés avec précaution, ils fournissent tout de même de nombreuses informations intéressantes. Un fait apparaît de manière consistante : une différence marquée entre les sciences dites dures (de la vie, de la terre, de la nature et de l’ingénieur) et les sciences sociales et humaines. En ce qui a trait aux pratiques de publication, par exemple, contrairement à ceux du second domaine, les chercheurs du premier privilégient les publications dans des revues à comité de lecture essentiellement éditées en anglais. Les pratiques en psychologie, ici cognitive et sociale, se rapprochent davantage des sciences dures que des sciences sociales et humaines. Pour ce qui concerne la connaissance des indices d’impact, le même gouffre se remarque entre les deux domaines scientifiques. Mieux connus dans les sciences dures, les indices sont également plus élevés pour les chercheurs qui y travaillent, la psychologie occupant ici une place intermédiaire. Il en va de même pour l’attitude des chercheurs envers la bibliométrie où le domaine des sciences humaines et sociales se démarque encore, puisqu’elle y est la plus négative. Dans les autres domaines scientifiques, des positions plus ambivalentes apparaissent : si l’utilité de la bibliométrie est admise, celle-ci n’est pas exempte de critiques. Le lecteur trouvera également dans cette partie des indications concernant l’utilisation des indices bibliométriques dans les pratiques professionnelles, que ce soit dans le choix des revues pour publication, dans l’encadrement de jeunes chercheurs, dans le recrutement de collègues ou dans l’évaluation de laboratoires ou d’équipes de recherche.

8La quatrième partie de l’ouvrage critique ouvertement l’usage actuel de la bibliométrie d’impact. Étayée par des arguments convaincants, la thèse des auteurs montre que « les indicateurs bibliométriques, censés traduire l’influence scientifique, ne mesurent certainement pas ce qu’ils sont prétendus mesurer, à savoir le poids scientifique d’une revue ou d’un chercheur » (p. 73). Des critères économiques prédominent aujourd’hui dans le domaine de la publication scientifique et il en résulte que les différents indices reflètent désormais davantage l’état d’un marché que l’aura de la recherche scientifique. L’influence de modes consommatoires est venue se substituer à celle de la recherche. Et l’instrument de mesure qui devait initialement être objectif en vient à avoir une influence sur le phénomène qu’il était censé mesurer. Les auteurs montrent ainsi que les mesures d’impact dérogent à cinq principes qui devraient être respectés pour que l’on puisse leur faire confiance. Contrairement à un instrument de mesure neutre, les mesures d’impact « influence[nt] le choix des thématiques de recherches par les chercheurs » (p. 76). Ce faisant, elles peuvent être « un obstacle à la publication d’articles pertinents du point de vue théorique et méthodologique » (p. 78). En outre, elles ne garantissent pas « à deux revues de qualité scientifique comparable d’avoir les mêmes chances d’être indexées » (p. 79), notamment lorsque l’une d’elles n’est pas publiée en langue anglaise ou ne bénéficie pas d’un stock d’auteurs ou de financement suffisants pour permettre une publication régulière. Inversement, si l’influence scientifique était véritablement mesurée, un même article ou « deux articles de même pertinence théorique » (p. 81), publiés dans deux revues indexées différentes, devraient avoir la même probabilité d’être lus et cités. Mais personne n’est dupe à ce propos. La perversion du système actuel se manifeste pleinement dans la capacité qu’ont les impératifs de publication, édictés par les comités éditoriaux, de modifier les articles, jusqu’à les transformer, dans leurs fondements théoriques et les mentions faites à l’origine des travaux qui les ont inspirés. Les mesures d’impact sont donc loin de ne « refléter que le potentiel d’influence scientifique ou les qualités scientifiques d’un article » (p. 82). Ce qu’elles reflètent au final n’est pas l’influence scientifique, mais l’influence de scientifiques. Ou, dans les termes des auteurs, « l’insertion d’un chercheur ou d’un laboratoire dans un groupe dominant ou un réseau intellectuel » (p. 86). Tout en sachant qu’il est difficile d’échapper à cette influence, à laquelle ils reconnaissent avoir succombé et participé, les auteurs précisent que ce ne serait pas tant un problème si ces groupes ou réseaux « représentaient le top niveau de [la] scientificité » (p. 87) ou étaient « de simples groupes de gens <biens et particulièrement brillants> qui travaillent mieux que d’autres comme des purs dans l’universel pour bâtir une science elle-même universelle » (p. 90, souligné par les auteurs). Mais, il s’agit là d’un vœu pieux, car, comme tout groupe humain, ceux-ci sont empreints de valeurs et d’une idéologie qu’ils parviennent à répandre d’autant plus facilement qu’ils occupent une position dominante. Les auteurs concèdent, en conclusion de cette partie, que c’est particulièrement le cas de disciplines pouvant être influencées par l’idéologie :

[A]insi, ce que mesure indirectement le facteur d’impact, au-delà de l’insertion dans ces réseaux, ce n’est pas la valeur scientifique, comme on aimerait tant que ce soit le cas, mais, du moins, pour les disciplines idéologiquement sensibles, la place prise dans ce processus géopolitique de globalisation culturelle (p. 90).

9Mais existera-t-il un jour une discipline scientifique insensible à toute idéologie ?

10La dernière partie du livre donne l’occasion aux auteurs d’exposer ce que pourrait être une bibliométrie d’impact permettant une évaluation de la recherche scientifique moins contestable. Pour commencer, ils reprennent à leur compte quelques recommandations d’un rapport de l’Académie (française) des sciences du 17 janvier 2011, qui stipulent que les indices bibliométriques ne se suffisent pas à eux-mêmes et doivent être utilisés de manière raisonnée en fonction de l’évaluation sur laquelle ils portent. Viennent ensuite les recommandations des auteurs pour accéder à une bibliométrie sans a priori ou « non inféodée » (p. 91). Toutes pointent vers le même objectif : l’établissement de bases de données internationales. Pour être en mesure de réaliser cela, il faut distinguer « recherche étatsunienne (donc recherche dans une nation particulière) et recherche internationale (recherche dans toutes les nations du monde, y compris aux États-Unis), même si la culture étatsunienne domine aujourd’hui la recherche internationale » (p. 96, souligné par les auteurs). De véritables bases de données internationales reviendraient à accorder une place équivalente, à côté de revues, de collections et d’ouvrages étatsuniens, à ceux provenant de groupements ou de fédérations de pays (European Review of..., Asian Review of..., par exemple), sans oublier ceux qui sont produits nationalement. Les critères pour retenir les pays ou les sources devraient être, au sein de chaque discipline, des critères de réputation et de qualité de la recherche scientifique, établis par des commissions d’experts réellement internationales. Pour enrichir ces bases de données et combattre l’« homophilie », le « Zeitgeist », « la sélection des thématiques », le « formatage » et les réseaux influents, il faudrait également tenir compte, comme candidates potentielles à l’indexation, de toutes les sources non indexées citées par les bases (p. 96). De nouvelles pratiques de publication et d’évaluation pourraient ainsi voir le jour, permettant une recherche moins soumise à l’hégémonie d’un modèle culturel, économique et idéologique. Les auteurs précisent que leur critique du modèle actuel serait identique si un tel modèle était porté par un autre pays ou une autre langue, avant de conclure que, même si leurs propositions peuvent paraître utopistes ou présomptueuses, ils se doivent de les formuler, au risque de déplaire, mais dans l’espoir de susciter la réflexion et le changement.

11Sans être totalement précurseur, cet ouvrage a le mérite de faire le point, avec force références, sur une question qui devient de plus en plus sensible pour la recherche scientifique. En outre, même s’ils ne sont ni les premiers ni les seuls à décrier le modèle actuel de l’évaluation scientifique fondé sur la bibliométrie d’impact, les auteurs ont le mérite et l’intelligence d’éviter deux travers : s’opposer naïvement par un refus catégorique du système ou s’y soumettre totalement en le justifiant de manière intéressée. Bien au contraire, la qualité principale de l’ouvrage réside dans les propositions concrètes apportées par les auteurs pour améliorer un système dont ils ont décrit avec précision le fonctionnement et la dérive.

12Le lecteur pourra néanmoins regretter que les auteurs ne mentionnent que les conséquences de cette dérive directement liées au processus de citation. Les conséquences indirectes, comme le plagiat (de sources parfois non indexées) ou la fraude (falsification, invention ou traitement partial des données), auraient au moins mérité d’être mentionnées, dans la mesure où les cas révélés semblent augmenter en fréquence et en audience. Ces comportements indiquent qu’au-delà de ses défauts, pointés par les auteurs, le système actuel est menacé par l’esprit de compétition à outrance qui y a été instauré. À terme, cette compétition pourrait se déplacer du plan individuel au plan géopolitique et la domination actuelle se voir supplantée par une autre aire d’influence.

13S’il n’est pas psychologue social français, le lecteur éprouvera également des difficultés à se reconnaître pleinement dans les propos des auteurs, tant ceux-ci, même s’ils se veulent généraux, accordent une place particulière aux sciences sociales, et notamment à la psychologie (cognitive et sociale). L’essentiel des illustrations leur est consacré et il est parfois difficile de s’en extraire pour replacer l’analyse du système dans une perspective plus large. L’ouvrage mériterait néanmoins une traduction anglaise (allégée du chapitre 3) pour assurer une diffusion plus large à cette prise de position réfléchie et engagée sur la bibliométrie d’impact. Sa publication dans la collection « Points de vue et débats scientifiques » des Presses universitaires de Grenoble est parfaitement justifiée, en raison de ses caractéristiques. Mais, après le plaidoyer en faveur d’une bibliométrie échappant aux réseaux d’influence, on ne peut s’empêcher d’esquisser un sourire en constatant que cette collection est codirigée par le premier des trois auteurs.

Haut de page

Pour citer cet article

Référence électronique

Fabrice Buschini, « Pascal PANSU, Nicole DUBOIS et Jean-Léon BEAUVOIS (2013), Dis-moi qui te cite, et je saurai ce que tu vaux. Que mesure vraiment la bibliométrie ? », Communication [En ligne], vol. 33/2 | 2015, mis en ligne le 28 janvier 2016, consulté le 29 mars 2017. URL : http://communication.revues.org/6114

Haut de page

Auteur

Fabrice Buschini

Fabrice Buschini est maître de conférences en psychologie sociale de la communication à l’Institut de la communication et des médias, UFR Arts & Médias, Université Sorbonne Nouvelle – Paris 3. Courriel : fabrice.buschini@univ-paris3.fr

Haut de page

Droits d’auteur

Licence Creative Commons
Les contenus de la revue Communication sont mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d'Utilisation Commerciale - Pas de Modification 4.0 International.

Haut de page
  • Logo DOAJ - Directory of Open Access Journals
  • Logo Université de Laval
  • Revues.org