CNR Concorsi

Concorso da Dirigente di Ricerca: valutazione prodotti

Parte terza – Valutazione dei prodotti: i parametri bibliometrici

Dopo l’introduzione generale e l’analisi dei criteri di valutazione dei curricola, vediamo oggi come sono stati valutati i prodotti della nostra ricerca.

In particolare in questo articolo è riportata l’analisi sull’uso (abuso) dei parametri bibliometrici. In un prossimo articolo verranno analizzati i criteri stabiliti ed i punteggi attribuiti per la valutazione delle nostre pubblicazioni.

Prima di iniziare, si ricorda che per i prodotti, il bando, unico per tutte le macroaree, assegna alle commissioni 55 punti distribuiti in 2 fattispecie: B – Elenco prodotti (punti 25) e C – 10 prodotti scelti (punti 30).

Per ambedue le fattispecie (B e C) il bando prevede le seguenti 6 categorie di prodotti :
1. Categoria B1/C1: Articoli su riviste ISI con l’indice di classificazione SCImago (SJR: Subject category – quartile), per l’anno di pubblicazione dell’articolo, ove esistente;
2. Categoria B2/C2: Articoli su riviste non ISI o su riviste on-line, con l’indice di classificazione SCImago (SJR: Subject category – quartile), per l’anno di pubblicazione dell’articolo, ove esistente, o giornali a carattere scientifico con ISSN;
3. Categoria B3/C3: Libri, capitoli di libri e atti di congresso dotati di ISBN o ISSN, Monografie con ISBN, etc.;
4. Categoria B4/C4: Brevetti;
5. Categoria B5/C5: Composizioni, prodotti di comunicazione/diffusione, disegni, design, performance, mostre ed esposizioni organizzate, manufatti, prototipi e opere d’arte e loro progetti, banche dati e software, carte tematiche;
6. Categoria B6/C6: Relazioni Tecniche, depositate presso le strutture CNR o altre Istituzioni pubbliche o private.

Iniziamo quindi con i parametri bibliometrici citati nel bando: Impact Factor, Quartile SCImago, H-index, Numero di citazioni e Ruolo del candidato.
La dott.ssa Galimberti (UNIMI), esperta di valutazioni dei prodotti della ricerca, riporta che i numeri bibliometrici non sono neutri e nelle mani di chi sa già dove vuole arrivare […] possono essere strumenti micidiali.1

E così è stato! Le commissioni, senza alcun controllo da parte dell’amministrazione, hanno utilizzato i parametri bibliometrici come strumenti micidiali per raggiungere i propri obiettivi, sia per i prodotti alla fattispecie B che alla fattispecie C.

a) Impact Factor (IF) e Quartile SCImago

Come tutti noi sappiamo, l’IF e il Quartile SCImago sono due diversi paramentri bibliometrici utilizzati per valutare l’impatto delle riviste scientifiche. L’IF è stato introdotto nel 1955, mentre il Quartile nel 1999. I due parametri si basano su due diverse banche dati: (ISI-Web of Science e SCOPUS rispettivamente) e vengono calcolati in maniera differente. Per l’IF esiste una formula che mette in relazione le citazioni agli articoli pubblicati nei due anni precedenti con il numero totale di articoli pubblicati in quel periodo. Scimago mette in fila le riviste secondo il numero di citazioni e definisce i quartili.

Rispetto a questi due parametri il bando riporta che:
1. I prodotti da inserire nelle categorie B1/C1 e B2/C2 sono gli articoli pubblicati su riviste ISI e non ISI rispettivamente “con l’indice di classificazione SCImago (SJR: Subject category – Quartile), per l’anno di pubblicazione dell’articolo, ove esistente“. Da sottolineare che nel bando il Quartile è solo per l’anno di pubblicazione dell’articolo.
2. Il candidato “deve indicare per gli articoli delle categorie B1/C1 l’IF della rivista per l’anno di pubblicazione del prodotto o alla data di invio della domanda (fonte Google Scholar o ISI-Web of Science)“.

Poiché prima del 1999 la classificazione SCImago non era stata ancora introdotta e poiché il bando non richiede di indicare il Quartile ad altra data rispetto a quella della pubblicazione (come fatto per l’Impact Factor), è chiaro che il Quartile SCImago non è un parametro idoneo per valutare gli articoli delle categorie B1/C1 e B2/C2 pubblicati prima del 1999. Ed è altrettanto chiaro che il Quartile SCImago non può essere utilizzato, in questo concorso, neanche per gli articoli pubblicati dal 1999 in poi, perché il suo utilizzo creerebbe situazioni di non omogeneità con la valutazione degli articoli pubblicati prima del 1999 da un gran numero di candidati.

Ed invece, contrariamente a qualsiasi logica, la maggior parte delle commissioni introduce il Quartile SCImago per la valutazione dei prodotti, anche con modalità completamente diversa, in particolare:
– La commissione Ingegneria, ICT e Tecnologie per l’Energia e i Trasporti (IITET) utilizza addirittura sempre e solo il Quartile SCImago per gli articoli delle categorie B1/C1 e B2/C2 pubblicati sia prima del 1999 che dopo;
– Le commissioni Science Bio-Agroalimentari (SBA) e Scienze del Sistema Terra e Tecnologie per l’Ambiente (STA) utilizzano lo stesso approccio della commissione IITET, ma solo per gli articoli della categoria B1/C1;
– Le commissioni Scienze Chimiche e Tecnologia dei Materiali (SCTM) e Scienze Biomediche (SBM) utilizzano ambedue i parametri, IF e quartile SCImago, per gli articoli della categoria B1/C;
– Le commissioni Scienze Fisiche e Tecnologia della Materia (SFTM) e Scienze Umane e Sociali, Patrimonio Culturale (SU) utilizzano giustamente solo l’IF per la valutazione dei prodotti per la categoria B1/C1.

La commissione IITET arriva addirittura a penalizzare gli incolpevoli candidati, che non hanno indicato il Quartile per le pubblicazioni antecedenti il 1999, rispetto a chi invece ha indicato per queste pubblicazioni un Quartile inventato.

Un esempio reale, fra tantissimi, può aiutare a capire i risultati del criterio adottato dalla commissione IITET: due candidati alla macroarea IITET presentano lo stesso articolo ISI, (del 1993) e dichiarano lo stesso ruolo (coautore). Un candidato indica anche un Quartile di fantasia; l’altro giustamente non riporta alcun Quartile (per il 1993 il Quartile non esisteva e quindi non poteva essere indicato). Sulla base della formula matematica elaborata da IITET (basata solo sul Quartile e numero di citazioni), il candidato che ha indicato il Quartile di fantasia ottiene 0,88 punti, quello che onestamente non ha indicato il Quartile ottiene 0,55 punti.

Ma anche l’utilizzo di ambedue i parametri, come fatto dalla commissione SCTM, porta ad una valutazione falsata: Questa commissione utilizza per la categoria B1/C1 l’Impact Factor fino al 1998 ed il Quartile dal 1999 in poi. Anche questo criterio, che all’apparenza sembrerebbe più corretto, produce valutazioni completamente scorrette e non omogenee dei prodotti sia dello stesso candidato, sia di candidati diversi.

Un esempio reale fra tanti può aiutare a capire i risultati del criterio adottato dalla commissione SCTM: un candidato pubblica con lo stesso ruolo (corresponding author) a dicembre 1998 e a gennaio 1999 due articoli sulla stessa rivista ISI (Journal of Polymer Science, IF = 2,2; I due articoli hanno lo stesso numero di citazioni/anno). Sulla base della formula matematica elaborata da SCTM, (basata solo su numero di citazioni/anno, ruolo del candidato e IF fino al 1998 e Quartile dal 1999 in poi) l’articolo pubblicato a gennaio 1999 riceve dalla commissione SCTM un punteggio del 20% più alto dell’articolo pubblicato a dicembre 1998.
Per articoli pubblicati su altre riviste, la differenza di punteggio, attribuito agli articoli pubblicati prima del 1999 rispetto a quelli pubblicati dal 1999 in poi, può essere anche più penalizzante (fino al 50%). Mai succede il contrario, essendo la classificazione SCImago generalmente più generosa di quella ISI per la macroarea SCTM.

Il criterio adottato dalla commissione SCTM crea, come si è già accennato, anche una disomogenietà di valutazione fra candidati. Infatti alcuni candidati più giovani, avendo la (quasi) totalità dei prodotti ISI pubblicati dopo il 1999, sono valutati esclusivamente con il Quartile SCImago, mentre i candidati più anziani, che presentano molte pubblicazioni antecedenti il 1999, sono valutati con due differenti criteri, e quindi una parte della loro produzione, quella precedente al 1999 riceve una pesante penalizzazione, che il bando non prevede.

Ricordiamo che stiamo parlando di in un concorso per l’avanzamento di carriera, dove contano solo i titoli e che inoltre il criterio adottato da SCTM, basato anche sul numero di citazione/anno, elimina la potenziale penalizzazione inversa; penalizzazione che avrebbero potuto subire le pubblicazioni (più recenti, quindi meno citazioni) dei candidati più giovani, rispetto a quelle (più datate, quindi più citazioni) dei candidati più anziani.

Ma è mai possibile che noi ricercatori del CNR dobbiamo essere giudicati da commissioni, che, nelle più benevole delle ipotesi, ignorano che il Quartile SCImago è stato introdotto solo nel 1999 o che i due parametri bibliometrici, IF e Quartile, non sono intercambiabili a comando?

b) H-Index (Indice di Hirsch)

Come sappiamo l’H-Index è un parametro bibliometrico che quantifica la prolificità e l’impatto scientifico di un autore. Il bando riporta che il candidato è tenuto ad indicare l’H-Index alla data della domanda (fonte Google Scholar o ISI – Web of Science), “come ulteriore elemento di valutazione relativo alla valenza ed impatto a livello internazionale del candidato“.

Ecco come le varie commissioni hanno allegramente interpretato il bando per quanto riguarda l’H-Index:
– La commissione SBM stabilisce un bonus pari al 10% del punteggio per i candidati con un H-Index uguale o superiore a 30 per la fattispecie B. Nessun bonus per la fattispecie C.
– La commissione SCTM stabilisce una penalità da applicare alla fattispecie C per candidati con H-Index minore di 15. Penalità che aumenta al diminuire dell’H-Index
– La commissione STA prevede un punteggio ulteriore, per le fattispecie B e C, da assegnare (a discrezione della commissione) anche in base all’H-Index del candidato; Ma, poiché questo punteggio ulteriore (anche 4 punti) viene assegnato anche a candidati (vincitori) con H-Index = 15-17 molto basso per la macroarea, non è certamente l’H-Index il fattore che ha determinato l’assegnazione di questo premio.
– Le commissioni IITET e SU citano che si terrà conto dell’H-Index per le Fattispecie B e C: questo impegno non si concretizza assolutamente nel punteggio. Sono risultati vincitori addirittura candidati con H-Index 10/11 (IITET) e H-Index 5 (SU). Per IITET inoltre il punteggio assegnato ai prodotti B1/C1 e B2/C2, per la quasi totalità dei candidati, è esclusivamente il risultato di un formula matematica basata solo sui Quartili e sul numero di citazione e non sull’H-Index.
– Le commissioni SFTM e SBA citano che si terrà conto dell’H-Index del candidato per la fattispecie C1 (prodotti scelti/articoli ISI), ma non ci sono informazioni su come si sia concretizzato l’impegno formalizzato.

Perché queste grandi differenze non solo nei punteggi, ma anche nelle modalità dell’uso di questo parametro (bonus/penalità/punteggio ulteriore, fattispecie coinvolta, o addirittura completa ininfluenza)? Il bando non era unico?

c) Numero di citazioni

Il bando riporta che “il candidato per ciascuno dei lavori deve indicare dove possibile il numero di citazioni alla data di invio della domanda (fonte Google Scholar o ISI -Web of Science)” per i prodotti di ambedue le fattispecie.
Ogni commissione tiene conto anche di questo parametro bibliometrico in modo inispiegabilmente diverso, sebbene il bando sia unico.

Dai verbali risulta che:
– La commissione SBM non considera proprio il numero di citazioni nella valutazione;
– La commissione SFTM non considera in maniera specifica il numero di citazioni: nei verbali si riporta solo che si valuterà l’impatto sulla comunità scientifica;
– Le commissioni SBA e STA citano che si terrà conto del numero di citazioni, ma subito dopo i verbali riportano che il punteggio viene calcolato solo utilizzando il quartile;
– La commissione SU riporta che si terrà conto del numero di citazioni, ma non si capisce come questo impegno si concretizza;
– La commissione IITET elabora una formula che tiene conto del numero totale di citazioni dalla data della pubblicazione alla data della presentazione della domanda;
– La commissione SCTM elabora una formula del tiene conto del rapporto fra il numero totale di citazioni diviso il numero di anni intercorso dalla data della pubblicazione alla data di presentazione della domanda.

d) Ruolo del candidato

Il bando riporta che “per ciascuno dei lavori il candidato deve indicare, il ruolo svolto dal candidato prescindendo dall’ordine alfabetico: autore principale, primo autore, ultimo autore e/o “corresponding author“, coautore alla pari“.

Tutte le commissioni (eccetto IITET e in alcuni casi SCTM) stabiliscono che al ruolo di corresponding author/autore principale di un articolo va riconosciuto un punteggio più alto (del 10 fino al 50%) rispetto al ruolo di coautore per ambedue le fattispecie.

Solo per IITET invece essere corresponding author/autore pricipale o coautore della pubblicazione porta allo stesso punteggio! Benché nel verbale sia riportato che la commissione prende atto che il bando ha previsto che i candidati indicassero il ruolo svolto, la commissione IITET non stabilisce alcun criterio che tenga conto del ruolo del candidato.
Forse è solo una coincidenza, ma la maggior parte dei candidati vincitori nella macroarea IITET presentano, sia nella fattispecie B che nella fattispecie C, numerosi prodotti dove il loro ruolo è di semplice coautore.

E’ interessante analizzare il comportamento contraddittorio della commissione SCTM. Per questa commissione il ruolo del candidato, mentre è tenuto in considerazione per tutti i prodotti delle categorie B1/C1 e B2/C2, all’improvviso non viene più considerato, proprio quando si tratta di assegnare punteggio extra ad uno dei 10 prodotti scelti, che secondo il bando può essere assegnato “per un solo prodotto fra quelli scelti dal candidato, ….fornendo motivazioni…laddove trattasi di prodotto eccezionale per originalità, impatto scientifico ed importanza del ruolo svolto dal candidato“. Quattro candidati in difformità con il bando ricevono questo premio (fino a 3,3 punti!), (che permette loro di vincere facile), senza alcuna espressa motivazione, per articoli di scarso impatto (anche solo 2 citazioni/anno) di cui sono semplici coautori.

Conclusioni

In analogia a quanto già visto per criteri stabiliti per la valutazione dei CV, anche i parametri bibliometrici, citati dal bando, sono utilizzati dalle commissioni in maniera inspiegabilmente diversa, spesso sbagliata ed in difformità con il bando stesso. Considerando che il bando è unico e che tutte le macroaree sono multidisciplinari, (con l’eccezione per alcune discipline di SU), perché queste grandi differenze anche nell’uso di questi parametri?

Se non fosse purtroppo tutto vero, non si immaginerebbe mai che la maggior parte delle commissioni, composte nella quasi totalità da professori universitari, potessero arrivare a tener conto dei parametri bibliometrici in maniera completamente opposta a quella adottata in tutte le valutazione delle pubblicazioni scientifiche del mondo, dimostrando così spregio per il CNR e per i suoi ricercatori! E non si capisce come mai l’amministrazione non sia intervenuta almeno per evitare le più evidenti discriminazioni.

(e non è ancora finita…)


  1. Si ringrazia la dott.ssa Galimberti per la disponibilità ed i preziosi commenti. 

4 thoughts on “Concorso da Dirigente di Ricerca: valutazione prodotti”

  1. Clara ha abbondantemente dimostrato, in questa terza parte, come nel concorso in oggetto i commissari hanno abusato nell’uso dei parametri bibliometrici utilizzandoli a loro piacimento per determinati obiettivi e in modo contrario a quanto indicato nello stesso bando (ricordo che il bando è Legge) e addirittura non rispettando i criteri di valutazione che essi stessi hanno stabilito nei verbali.
    Perché non hanno rispettato le indicazioni del bando e gli stessi criteri di valutazioni che essi avevano stabilito nei verbali? La risposta la conosciamo tutti. Non bisogna lasciar stare, come qualcuno ha suggerito; bisogna far sentire al CNR e ai commissari, quanto più possibile, la nostra indignazione.
    Io sono fermamente convinto, da diversi decenni, che i parametri bibliografici non devono essere assolutamente utilizzati per valutare la produzione scientifica del ricercatore. Non lo dico solo io, ma ormai migliaia di scienziati, scientometristi e amministratori della produzione scientifica; basta citare il DORA (Declaration on Research Assessment- il link è http://www.ascb.org/dora/ ) cui ho aderito dal primo giorno. Nel 2014 il Laiden Manifesto for Research Metrics (http://www.roars.it/online/leiden-manifesto-for-research-metrics/ ) ha dimostrato come possa essere molto dannoso per la valutazione dei ricercatori l’uso degli indici bibliometrici. A proposito suggerisco per gli interessati di vedere la chiara e lucida esposizione eseguita dalla dott.ssa Paola Galimberti che Clara ha anche citato.
    (https://www.cineca.it/sites/default/files/Modulo%2520II-PaolaGalimberti.pdf ).
    Come è possibile che i giudici di un concorso dei vini possano giudicare senza berli? E’ possibile definire la qualità di un vino dalla semplice visione esterna della bottiglia, dal numero delle bottiglie vendute, o quante volte quel vino è presente nei volantini commerciali, giornali o nelle riviste enologiche? Ovviamente no!
    Ma è quello che avviene per giudicare la produzione scientifica dei ricercatori.
    I commissari hanno la possibilità di leggere gli articoli e giudicarli e invece vanno a vedere solo i dati bibliometrici. Non si comprende perché si dovrebbero soltanto utilizzare dei parametri introdotti da società private, molte di esse al fine esclusivamente di lucro, per giudicare la produzione scientifica dei ricercatori

  2. Non si comprende perché si dovrebbero soltanto utilizzare dei parametri introdotti da società private, […] per giudicare la produzione scientifica dei ricercatori

    Condivido in pieno. E quel che è peggio, gli stessi parametri oggetti vengono pure adattati a piacimento quando serve per gli scopi (inconfessabili) che conosciamo bene e che Clara sta denunciando così bene.

Lascia un commento