[17/05/2011] News
Valutare la qualità
Non sono sempre i più bravi a entrare nelle università e nel mondo della ricerca del nostro paese. Il merito, si dice, ha più difficoltà ad affermarsi in Italia che nel sistema dell'alta educazione e della ricerca di altre nazioni. E molti - troppi - episodi di nepotismo nei nostri atenei e nei nostri laboratori corroborano questa rappresentazione della realtà italiana dell'università e della ricerca.
La rappresentazione andrebbe articolata. Non tutte le università e non tutti i centri di ricerca sono uguali. E non sono uguali neppure tutti i settori nelle medesime università. Nei dipartimenti di matematica o di fisica, per esempio, i più bravi riescono ad affermarsi più facilmente che non nelle cliniche mediche o a giurisprudenza.
Non c'è dubbio, tuttavia, che anche in Italia il merito debba essere l'unico parametro di selezione per accedere ai ruoli universitari e nei centri di ricerca. E dunque la riproposizione da parte del governo Berlusconi dell'Anvur, l'Agenzia nazionale di valutazione dell'università e della ricerca, ideata dal passato governo Prodi va nella giusta direzione.
L'Anvur giudicherà gli atenei e gli enti pubblici di ricerca. Ma va da sé che i criteri di merito devono valere per ogni singolo ricercatore. Ma come valutare in maniera oggettiva la qualità di un singolo scienziato, per esempio da parte di una commissione che deve assegnare una cattedra? In Europa e anche in Italia si fa sempre più riferimento all'H-index o indice di Hirsch, un algoritmo proposto da Jorge Hirsch che riduce a un numero la quantità e la qualità degli articoli scientifici pubblicati dal ricercatore.
La quantità è relativamente facile da misurare, ma solo una volta se si è definito l'universo di misura. Quanto alla qualità è definita dall'impatto che ha ogni e ciascun articolo: ovvero da quante volte quell'articolo è citato in altri articoli.
Per quanto riguarda l'universo di riferimento, si è imposto quello dell'ISI, l'Institute for scientific information, fondato nel 1960 da Eugene Garfield e ora di proprietà della Thomson Reuters Corporation. L'Isi analizza alcune migliaia di riviste scientifiche con peer review (revisione critica a opera di colleghi anonimi), contando sia il numero di articoli pubblicati, sia l'impact factor (IF) di ciascun articolo (depurandoli delle autocitazioni, ovvero di autori che citano se stessi).
Su questa base elabora una classifica dell'IF di ciascuna rivista. Più è alto l'IF, più è alto il prestigio scientifico della rivista e più possibilità di aumentare il proprio H-index ha ch pubblica su quella rivista. Nature e Science, per esempio, hanno alti IF e, dunque, tutti ambiscono a pubblicare su queste due riviste.
L'ISI propone tre diversi indici per le scienze naturali (Science Citation Index), per le scienze sociali (Social Science Citation Index) e per le scienze umanistiche (Arts e Humanities Citation Index).
Tutto bene, dunque? Abbiamo un sistema oggettivo e assoluto per valutare la bravura di un candidato al posto di professore in una nostra università o di ricercatore in un nostro ente pubblico?
Niente affatto. Il sistema fondato sull'H-index e sull'IF di riviste e singoli articoli ha molti meriti, ma anche molte lacune.
Partiamo da un dato empirico: nelle classifiche stipulate sulla base dell'H-index gli scienziati più universalmente noti stentano a entrare. Fisici come Richard Feynman o Paul Dirac hanno un H-index che è un quinto di colleghi contemporanei molto meno conosciuti e universalmente considerati meno importanti.
Albert Einstein non entra neppure in classifica. Se consideriamo i soli scienziati italiani, troviamo che i nostri pochi premi Nobel si ritrovano molto giù in graduatoria: Carlo Rubbia è al 46° posto, Rita Levi Montalcini al 48°, Renato Dulbecco al 56° e Riccardo Giacconi al 62°. È evidente che a Stoccolma hanno criteri di valutazione diversi dall'H-index.
È evidente che la metrologia insita nell'H-index e nell'IF non può essere considerata un criterio assoluto della valutazione. Per molti motivi, alcuni dei quali sono stati richiamati di recente dallo storico Giuseppe Galasso sul Corriere della Sera. Il primo è che il sistema conferisce molta più importanza a "dove si pubblica" piuttosto che a "ciò che si pubblica". Gli scienziati tendono a pubblicare su riviste ad alto IF e ad aderire al modello culturale di quelle riviste. Le quali a loro volta tendono a pubblicare i lavori di membri di istituzioni vaste e prestigiose, in modo da aumentare il proprio IF.
In altri termini, si alimenta una certa autoreferenzialità e si perdono un po' di vista i contenuti. Ciò determina l'affermazione di vere e proprie mode. Per cui finiscono per avere H-index e IF alti gli scienziati e gli articoli che appartengono a qualche flusso alla moda, piuttosto che scienziati e articoli di grande valore intrinseco.
Il fenomeno è ancora più evidente nelle scienze sociali e nelle humanities. Un critico italiano di letteratura italiana è svantaggiato rispetto a un critico inglese di letteratura anglo-americana. Perché le riviste ISI sono per lo più in inglese e, dunque, più attente a quella cultura.
Se si pubblica un importante testo in una rivista che non rientra nel sistema ISI (e questo può capitare a chi si occupa di ambiti limitati soprattutto nelle arti e nelle humanities) è come se non si fosse pubblicato nulla.
In definitiva il criterio metrologico fondato su H-index e IF non offre garanzie assolute. Andrebbe preso come uno degli elementi per la valutazione del merito, ma non come il criterio unico e/o prevalente.
Non c'è dubbio che la valutazione migliore è, come sostiene Giuseppe Galasso, quella fondata sul «libero e illimitato dibattito scientifico e culturale». Dunque anche e, forse, soprattutto su una valutazione qualitativa, oltre che quantitativa.
Il guaio è che in Italia troppo spesso manca una "cultura della valutazione" che renda il «dibattito scientifico e culturale» davvero libero e disinteressato. Cosicché nei criteri di valutazione qualitativi molto spesso si aprono falle che lasciano passare chi non merita a scapito di chi merita.
Non è facile trovare l'equilibrio. Forse la strada migliore è quella, per adesso, di utilizzare i criteri metrologici quantitativi e poi lavorare alla crescita di una cultura della valutazione capace di riconoscere e premiare la qualità oltre la statistica.