Accueil > Le savoir-faire > Etudes en ligne > Travaux 2010 > Note de présentation : le facteur d'audience des périodiques scientifiques > Mesure expérimentale du Facteur d'Audience des périodiques scientifiques

Mesure expérimentale du Facteur d'Audience des périodiques scientifiques



Résumé
Contact
Arrière-plan
Facteur d'impact (FI) et diversité disciplinaire
Facteur d'impact normalisé par champ
Mesures d'influence
Facteur d'audience (FA)
Implémentation expérimentale du FA v0.2
Conclusion
Références

Résumé

Le document présente une mesure expérimentale d’impact des périodiques scientifiques, fondé sur une nouvelle normalisation du facteur d’impact de Garfield (Thomson-Reuters). La dépendance des impacts au champ de recherche est corrigée du côté citant (propension à citer et immédiateté dans les sources de citations) plutôt que par une normalisation ex post du côté cité habituellement pratiquée. La mesure de FA proposée ici est indépendante des nomenclatures de champ.

Présentation du Facteur d'Audience (FA) 


Tables FA v0.2 (2006) :

Périodiques rangés par ordre décroissant des FA (PDF)

Périodiques rangés par ordre alphabétique des titres (PDF)

Périodiques avec information incomplète (PDF)


Articles

Contact

Michel Zitt : zitt(at)nantes.inra.fr ou michel.zitt(at)obs-ost.fr


OST
93 rue de Vaugirard
75006 Paris
Tel: +33 (0)1 42 22 30 30
Fax: +33 (0)1 45 48 63 94

INRA- LERECO
Rue de la Geraudiere, BP 71627
F 44316 NANTES cedex 03
Tel: +33 (0)2 40 67 51 73
Fax : (+33) (0)2 40 67 50 74

 

Le Facteur d'Audience (FA) est une variante expérimentale, normalisée par champ, du Facteur d'Impact (FI) des périodiques scientifiques.

Arrière-Plan

La notoriété des journaux scientifiques est très inégale, la fonction des arbitres étant à la fois de vérifier la qualité scientifique des articles soumis et de ne recommander que ceux jugés conformes au niveau de prestige de la revue, avec des taux de rejet élevés pour les journaux prestigieux. Le facteur d'impact (Journal Impact Factor - Garfield, 1972) fut la première mesure systématique de cette notoriété. Il décrit la visibilité académique d'un journal par la moyenne de citations reçues par ses articles.

La diffusion auprès de la communauté scientifique d’une hiérarchie explicite des périodiques (Journal of Citation Report) a clarifié les conditions de concurrence pour l’accès aux revues les plus visibles. Il n’est pas excessif de dire que le facteur d’impact a joué, et joue encore, un rôle clef dans l’auto-régulation de la communauté scientifique. C’est aussi l’instrument bibliométrique qui a attiré le plus de critiques, en raison de quelques imperfections techniques, de problèmes plus généraux de l'analyse des citations dont ce fut la première application à grande échelle, mais surtout en raison de mauvais usages dans les procédures d’évaluation, lorsqu’elles ignorent les caractéristiques et les limites de cet instrument. Certaines limites résultent clairement de la définition et sont largement documentées dans une littérature abondante (voir par exemple la synthèse de W. Glanzel & H. Moed, 2002). Parmi les imperfections spécifiques au facteur d'impact, s'ajoutant aux problèmes plus généraux d'analyse des citations :
- le FI est une valeur moyenne qui résume une distribution très dispersée et asymétrique des articles. Il est donc très périlleux d'évaluer des institutions ou des individus à partir du facteur d’impact qui peut être très différent des citations réelles, un point soulevé par P. Seglen (1997). Parmi les indicateurs directement complémentaires du facteur d'impact, le RCR (relative citation ratio) de A. Schubert and W. Glänzel (1983) décrit la concurrence intra-journal.
- le FI se base sur une fenêtre de citation trop courte, préjudiciable aux disciplines "lentes". Une variante du FI sur fenêtre plus longue (5 ans au lieu de 2) est maintenant disponible chez Thomson-Reuters.
- le FI souffre d'un défaut de cohérence mineur (type de documents présents au numérateur et au dénominateur) mis en évidence par H. Moed & T. van Leeuwen (1995).
- le FI ne contrôle pas les différences entre discipline ou type de recherche. La dépendance par rapport au champ de recherche, en particulier, est une question récurrente en analyse de citations.

Haut de la page

Facteur d'impact (FI) et diversité disciplinaire

Dans sa définition fondatrice (Garfield, 1972), le facteur d'impact d'un journal pour l'année t est le rapport, calculé sur les années t-1 et t-2, du nombre de citations reçues et du nombre d'articles du journal. C'est une mesure de citation moyenne par article. Au delà du FI canonique publié chaque année dans le Journal of Citations Reports (ISI maintenant Thomson-Reuters), de nombreuses variantes ont été proposées, dont la version à 5 ans de Thomson-Reuters.

Le Facteur d'Impact standard est une mesure brute, sensible aux effets disciplinaires. Il y a plusieurs raisons expliquant pourquoi les impacts moyens par champ scientifique se révèlent aussi inégaux. La première est l'inégalité de la propension à citer, et à citer rapidement (dans la fenêtre temporelle considérée dans le calcul d'impact) dans les communautés de recherche. Les différences de comportement des auteurs citants sont vraisemblablement liées au degré de spécialisation et à la structure des problèmes prévalant dans le champ, et aussi aux habitudes sociales de la communauté quant au référencement. Un champ généreux et rapide dans ses citations présentera un facteur d'impact plus élevé qu'un champ où le nombre moyen de citations émises par un article citant est faible et où une proportion importante des articles qu'il cite tombent hors de la fenêtre - par exemple lorsque le champ n'évolue que lentement.

L'autre cause majeure des inégalités tient aux échanges de citations entre champs. Un champ en position d’exportateur de connaissances ou d’information recevra des citations de l’extérieur, les champs importateurs étant en position symétrique.

On peut noter que la taille du champ n’intervient pas en tant que telle dans la détermination des impacts moyens, comme l'a souligné E. Garfield dès 1976 dans Current Contents (voir E. Garfield, 1999). Si nous prenons le cas limite d'un champ clos, sans échanges de citations avec l'extérieur, le numérateur et le dénominateur du Facteur d'Impact sont proportionnels à la taille de la littérature - dans certaines conditions de définition des ensembles cités et citants. La taille du champ pourrait affecter le comportement de citation, via d'autres caractéristiques de champ telle que la spécialisation interne. Empiriquement, la corrélation entre taille et impact moyen de champ s'avère très faible, au niveau des catégories Web of Science de Thomson-Reuters comme de leurs agrégats en grandes disciplines. Si la taille du champ n'affecte guère l'impact moyen, elle influe sur la borne supérieure.

Haut de la page

Facteur d'impact normalisé par champ

Un Facteur d'Impact normalisé par champ peut être calculé par de nombreuses méthodes, cardinales ou ordinales. La plus simple est le ratio à la moyenne d'impact du champ. Ces normalisations ex post, après calcul des statistiques de champ, laminent toutes les causes de distorsion : les habitudes de référencement mais aussi l’avantage des champs exportateurs ou en forte croissance. Dans les définitions usuelles de l'impact normalisé, la normalisation est dépendante de la définition des champs dans la nomenclature utilisée.

Haut de la page

Mesures d'influence

G. Pinski & F. Narin (1976)  proposèrent une mesure pondérée par l'influence des sources citantes (influence weight), utilisant une pondération itérative des sources de citation : une citation provenant de Nature reçoit un poids plus important qu'une citation dans un journal moyen, parce que les articles de Nature sont eux-mêmes plus cités. Des mesures analogues sont maintenant calculées à partir d'algorithmes de type Google (dont l'influence weight fut une des sources), par exemple l'Eigenfactor de C. Bergstrom, sur données Thomson-Reuters, et l'indice Scimago (F. de Moya-Anegon) sur données Scopus. Il en existe d'autres (Red Jasper de A. Lim). Dans leur implémentation type, ces facteurs d’influence neutralisent les inégalités de propension à citer, mais cette correction pour le référencement est immergée dans les liens de feedback d’influence, par ailleurs extrêmement intéressants pour l'analyse des flux de connaissance. Toutefois certaines versions de ces indices présentent des traitements problématiques des auto-citations de journal.

Haut de la page

Facteur d'audience (FA)

Le principe du Facteur d’Audience (M. Zitt & H. Small, 2008) est de corriger l’une des causes d'inégalité entre champs, la propension à citer et à citer rapidement. Cette correction s'effectue donc du côté citant, à l'émission, plutôt qu'ex post du côté cité. Le FA laisse jouer les autres causes d'inégalité, les différences de taux de croissance et les échanges de citation (import-export) entre champs.

Techniquement, la normalisation propre au FA consiste à pondérer chaque citation émise en proportion inverse du nombre moyen de références actives par article dans l'environnement de recherche considérée. "Actives"  signifie qu'une référence va à un article appartenant à la fenêtre de citation choisie. Le FA n'est pas autre chose qu'un facteur d'impact pondéré : si on force la pondération à 1 on retrouve l'impact factor sur la même fenêtre de citation. L'article mentionné plus haut suggérait deux voies, selon la manière dont l'environnement de recherche est défini.

La première voie tient le journal citant lui-même comme l'équivalent d'une micro-communauté, ce qui présente aussi l'avantage de produire des FA indépendants de toute nomenclature (version 0.1a). L'inconvénient de cette approche est la faible robustesse, et le nécessaire traitement ad hoc des queues de distribution pour éviter la sur-estimation des références provenant de journaux très peu citants - journaux professionnels - et la sous-estimation de références provenant de journaux à très longues bibliographies, comme les journaux de synthèse.  Les exemples donnés dans l'article (version 0.1a du FA), fenêtre de 5 ans, suivent cette voie.

La seconde voie indiquée consiste à calculer la longueur moyenne des bibliographies au niveau des champs plutôt que des journaux, une approche bien plus robuste mais qui perd l'avantage de l'indépendance par rapport aux nomenclatures (version 0.1b).

La présente version v0.2 vise à tirer le meilleur parti de ces deux voies.

Haut de la page

Implémentation expérimentale du FA v0.2

Le Facteur d'Audience présenté ici (v0.2) adopte une vue intermédiaire entre les deux variantes précédentes, en cherchant une mesure de grande robustesse, sans traitement ad hoc tout en restant indépendante de toute nomenclature de champ. Cette variante évalue la propension à citer dans la communauté représentée par un ensemble de journaux au voisinage de chaque journal citant. Le voisinage considéré, défini en termes de journaux, sera large si le domaine est peu dense et ouvert, plus restreint si le domaine est très dense et fermé. Permettre une grande amplitude de variation du voisinage est une tentative de réponse partielle à la question délicate des ensembles de référence (M. Zitt, S. Ramanana, E. Bassecoulard, 2005). Pour un maximum de robustesse, le voisinage doit être envisagé de manière très sélective, et obtenu par une règle universelle applicable à tous les journaux. Une méthode robuste fondée sur les chemins de longueur 2 a été mise au point pour la détermination du voisinage, elle est régie par le choix d'un seul paramètre. Les détails de méthode seront publiés ultérieurement.

Les données ont été fournies par Thomson-Reuters et utilisées avec autorisation pour les expérimentations. Elles portent sur l'année 2006 et sont limitées aux "sciences exactes" (SCI Expanded). Dans la Table 1, les périodiques sont classés par ordre décroissant d'AF en version 0.2a, sauf pour les périodiques avec FA<0,5. La Table 2 présente les mêmes informations, par ordre alphabétique des titres de journaux. Les "références actives" utilisées dans le calcul de pondération sont des citations sur une fenêtre de cinq ans, un avantage pour la fiabilité, au détriment des journaux non documentés sur l'ensemble de la fenêtre. La notation 'a' dans 0.2a se réfère aux options sur le traitement des sources et les détails de pondération. Dans cette option, on comptabilise pour un journal cité (soit B) les citations proviennent de l'ensemble des sources disponibles (complètes ou incomplètes) dans nos fichiers, la pondération pour les sources citantes sans information complète étant extrapolée à partir des sources complètes citant le journal B. L'information est typiquement incomplète par exemple pour les journaux bi-attribués en sciences dures et SHS (exemple Econometrica) et pour de nombreux journaux d'informatique-communication. Le ratio du total des sources aux sources complètes est codé dans les tables de *** (bon) à * (acceptable).  Les données des 123 journaux avec un ratio supérieur à 2,6 ne sont pas jugées significatives. La liste de ces journaux NS, qui ne préjuge en rien de leur niveau de FA, figure en Table 3. La norme toutes disciplines utilisée pour le calcul du FA inclut les citations allant aux journaux NS. Dans la version 0.2b (non présentée), on ne comptabilise que les sources bien renseignées, sans extrapolation.

Nous insistons sur le fait qu'il s'agit pour l'instant d'une version expérimentale, sujette à corrections et améliorations.

Haut de la page

Conclusion

Conformément aux attentes, AF and IF sont assez fortement corrélés. En effet, si la part de variance entre domaines est réduite efficacement par l'AF, l'inégalité de visibilité des journaux dans chaque communauté particulière est préservée. De plus, l'avantage de la transversalité des journaux génériques, présent dans le FI mais neutralisé dans les normalisations par champ classiques, est conservé dans la mesure d'AF.

Michel Zitt, janvier 2010

 

Haut de la page

Références :

La littérature sur le Facteur d'Impact est abondante. Nous mentionnons seulement ci-dessous quelques articles clefs ou des synthèses, qui recensent de nombreuses publications.

Facteur d'impact

  • Bordons M., Fernandez  M.T., Gomez I. (2004) Advantages and limitations in the use of Impact Factor measures for the assessment of research performance, Scientometrics 53, 2,  195-206 http://www.springerlink.com/content/e63nn06qd6h05p2t/
  • Dong P., Loh M., Mondry A. (2005) The impact factor revisited, Biomedical Digital Libraries, 2, 7 doi:10.1186/1742-5581-2-7 http://www.bio-diglib.com/content/2/1/7
  • Garfield E. (1972) Citation as a tool in journal evaluation, Science, 178, 471-479
  • Garfield E. (1999) Journal Impact Factors: a brief review, Canadian Medical Association Journal, Oct 19, 161 (8)
  • Impact Factor:  http://thomsonreuters.com/products_services/science/free/essays/impact_factor/
  • Glänzel W., Moed H.F. (2002) Journal impact measures in bibliometric research, state-of-the-art report, Scientometrics 53, 2, 171-193
  • Moed, H. F., van Leeuwen, TH. N. (1995), Improving the accuracy of the Institute for Scientific Information’s Journal Impact Factor, Journal of the American Society for Information Science, 46 : 461–467.
  • Seglen P.O. (1997) Why the impact factor of journals should not be used for evaluating research, British Medical Journal 314, 7079, 498–502.
  • Schubert, A., Glänzel W. (1983), Statistical reliability of comparisons based on the citation impact of scientific publications, Scientometrics, 5, 59–74.

Haut de la page

Mesures d'influence

Haut de la page

Facteur d'audience

v0.1

  • Zitt M., Small H. (2008) Modifying the Journal Impact Factor by Fractional Citation Weighting: the Audience Factor, Journal of the American Society for Information Science and Technology, vol 59, n°11, pp. 1856-1860. Article
  • Zitt M., Small H. (2008b) Field normalization of impact factors: a citing side approach, 10th International conference on Science & Technology indicators 17-20 Sept. Vienna (AUT)

v0.2

  • Zitt M., Citing-side normalization of Journal Impact: a robust variant of the Audience Factor (à paraître dans Journal of Informetrics, 2010) Article

Arrière-plan

  • Zitt M., Ramanana-Rahary S., Bassecoulard E. (2005). Relativity of citation performance and excellence measures: from cross-field to cross-scale effects of field-normalisation, Scientometrics, vol 63, n°2, pp. 373-401. Article

Une autre méthode de normalisation côté citant :
le SNIP (Source-Normalized Impact per Paper)

  • Moed, H.F. Measuring contextual citation impact of scientific journals, à paraître dans Journal of Informetrics, 2010 arxiv.org/pdf/0911.2632

Une comparaison

  • Waltman, L., van Eck, N.J., The relation between Eigenfactor, audience factor, and influence weight, à paraître en 2010. arxiv.org/pdf/1003.2198

Débats récents sur la normalisation des impacts (articles à paraître)

  • Opthof T., Leydesdorff L. Caveats for the journal and field normalization in the CWTS ("Leiden") evaluation of research performance, à paraître dans Journal of Informetrics, 2010 arxiv.org/pdf/1002.2769
  • Van Raan A.F.J., Van Leeuwen T., Visser M.S., Van Eck N.J., Waltman L.  Rivals to the crown: reply to Opthof and Leydesdorff, à paraître en 2010 arxiv.org/pdf/1003.2113

Haut de la page

Documents à télécharger

Présentation (FA) en FRANCAIS (PDF - 247 Ko)

Presentation (AF) in ENGLISH (PDF - 236 Ko)

Périodiques rangés par ordre décroissant des FA (PDF - 405 Ko)

Périodiques rangés par ordre alphabétique des titres (PDF - 407 Ko)

Périodiques avec information incomplète (PDF - 19.7 Ko)