Bibliometria e reclutamento: uno studio empirico nelle discipline informatiche

16 luglio 2020
Editoriale Open Society
FacebookFacebook MessengerTwitterLinkedInWhatsAppEmail

Tra le metodologie adottate nel corso degli ultimi anni per la valutazione della ricerca, la bibliometria riveste un ruolo fondamentale nelle scienze naturali, in quelle astratte e in alcuni settori delle scienze applicate. L’analisi bibliometrica, supportata dalla sempre maggiore disponibilità di banche dati bibliografiche di grandi dimensioni, si basa su tecniche matematico-statistiche per analizzare la comunicazione scientifica e le sue dinamiche, per scoprire relazioni quantitative tra pubblicazioni, autori ed aree di ricerca, e per esplorare l’impatto dell’attività di ricerca.

Diversi indicatori bibliometrici possono essere utilizzati sia a livello individuale che aggregato, ovvero per valutare la produttività scientifica di ricercatori, gruppi di ricerca, dipartimenti, atenei, intere nazioni o aree geografiche. In particolare, nel panorama italiano e relativamente alle discipline STEM, l’uso di informazioni bibliometriche è cruciale nel sistema di reclutamento accademico che, in base alla Legge 240 del 2010, prevede il conseguimento dell’Abilitazione Scientifica Nazionale (ASN).

Gli indicatori chiave usati nella procedura di abilitazione sono il numero di articoli su rivista, il numero di citazioni ricevute e l’h-index, ovvero l’indice di Hirsch:

Un ricercatore ha h-index n se è autore di n articoli con almeno n citazioni ciascuno, e ciascuno degli articoli rimanenti ha al massimo n citazioni.

Tali indicatori sono calcolati in un determinato arco di tempo, a seconda del livello di promozione, sull’insieme delle pubblicazioni recensite nelle banche dati Scopus e Web of Science. Sebbene gli indicatori bibliometrici non siano l’unico parametro di valutazione, essi rimangono di gran lunga un fattore predominante e, in generale, l’abilitazione non è concessa a meno che almeno due dei tre indicatori siano al di sopra di determinate soglie, specifiche per ciascun settore concorsuale e dipendenti dalla popolazione di professori associati/ordinari in carica. Ad esempio, un candidato alla posizione di professore ordinario in informatica (settore concorsuale 01/B1) deve avere almeno 9 articoli su rivista negli ultimi 5 anni, almeno 304 citazioni ricevute negli ultimi 10 anni e almeno h-index 10, calcolando l’h-index su manoscritti pubblicati negli ultimi 10 anni. Nel caso dell’ingegneria informatica (sistemi di elaborazione delle informazioni, settore concorsuale 09/H1), le soglie salgono rispettivamente a 10, 389 e 11.

È ben noto nella comunità scientifica che diverse aree di ricerca presentino pratiche di pubblicazione anche molto eterogenee, che spesso implicano una forte variabilità degli indicatori bibliometrici. Nello studio “On bibliometrics in academic promotions: a case study in computer science and engineering in Italy” (C. Demetrescu, I. Finocchi, A. Ribichini e M. Schaerf, Scientometrics, 2020) abbiamo quindi affrontato, tramite un’analisi empirica, la seguente domanda:

In che misura il livello di dettaglio offerto dai settori concorsuali italiani fornisce soglie di indicatori bibliometrici eque per l’abilitazione in diverse aree di ricerca?

Come caso di studio, abbiamo considerato le sottoaree di due discipline STEM strettamente correlate, informatica e ingegneria informatica, che corrispondono a due distinti settori concorsuali e coprono uno spettro di argomenti piuttosto variegato: basti pensare a intelligenza artificiale, ingegneria del software e linguaggi di programmazione, grafica e multimedialità, gestione dei dati e della conoscenza, reti e sistemi mobili, teoria del calcolo.

L’analisi condotta si è basata su dataset estratti: (a) da Scopus, per la lista di pubblicazioni, (b) dalla Association for Computing Machinery, per la definizione delle sottoaree di ricerca, (c) dal CINECA, per la lista dei docenti italiani in informatica ed ingegneria informatica, e (d) da una varietà di elenchi di conferenze e riviste di riferimento nel settore. In totale, sono stati considerati 1685 autori, 89185 pubblicazioni distinte e 262286 coppie autore-articolo.

Dopo aver identificato dodici sottoaree principali delle discipline informatiche, le pubblicazioni dei docenti italiani sono state classificate in modo semi-automatico per area di ricerca (alcuni articoli possono ricadere in più di un’area) e da queste associazioni sono state estratte le aree di ricerca primarie di ciascun docente. Sono state infine calcolate le soglie per gli indicatori bibliometrici in ciascuna delle dodici sottoaree, analogamente a quanto viene fatto nella procedura di abilitazione per l’intero settore concorsuale, considerando solo il sottoinsieme di docenti attivi in una certa sottoarea.

Nelle figure mostriamo le mediane (ovvero i valori centrali nella distribuzione) del numero di articoli, del numero di citazioni e dell’h-index, calcolate in un sottoinsieme di sottoaree sulla popolazione dei professori ordinari in informatica. Le linee orizzontali rappresentano le mediane sull’intero settore concorsuale.

grafico 1

grafico 2

grafico 3

Come si può notare, ci sono sottoaree le cui mediane sono sempre inferiori (e.g., Sistemi e Teoria) o sempre superiori (e.g., Intelligenza artificiale, Grafica, Reti) rispetto a quelle dell’intero settore. Di conseguenza, alcune comunità di ricerca potrebbero trarre vantaggio dal fatto che le soglie sono calcolate a livello di settore concorsuale, mentre altre potrebbero esserne ostacolate. Una simulazione effettuata relativa alle promozioni a professore ordinario mostra che fino al 30% dei professori associati di alcune aree di ricerca vedrebbero i loro indicatori scendere al di sotto della soglia, diventando quindi non idonei alla promozione, se l’abilitazione fosse condotta utilizzando le soglie delle sottoaree. Al contrario, nello stesso scenario, fino all’11% dei professori associati in altre aree vedrebbe i loro indicatori salire al di sopra della soglia, garantendo loro accesso all’abilitazione.

In sintesi, al di là dell’annoso dibattito “bibliometria sì, bibliometria no” – e sebbene ciò esuli dagli scopi dell’articolo – definire il “giusto” livello di dettaglio nel calcolo degli indicatori bibliometrici appare come una conditio sine qua non al fine di evitare possibili distorsioni nel sistema di valutazione e promozione.

 

 

L'autore

Irene Finocchi è Professore di Computer Science alla Luiss


Newsletter