CNR Concorsi

Concorso da Dirigente di Ricerca: i criteri stabiliti

Introduzione

Ho avuto la possibilità di analizzare i verbali dei criteri stabiliti (allegati) e dei punteggi attribuiti dalle differenti commissioni per la valutazione dei CV nelle 7 macroaree nell’ultimo concorso del CNR per Dirigenti di Ricerca, bando 364.172, datato 2/10/2013.

Per semplificare la lettura, ho deciso di suddividere la mia analisi in una serie di interventi successivi. Oggi, per iniziare, vi racconterò alcuni criteri — veri e propri capolavori — stabiliti da ciascuna commissione.

La prossima volta entrerò in dettaglio sui criteri adottati per la valutazione del curriculum (ruoli ricoperti, attività svolte, incarichi, riconoscimenti scientifici e premi, Fattispecie A). Infine con gli ultimi articoli passerò ai criteri adottati e punteggi attribuiti per l’elenco dei prodotti (Fattispecie B) e per i prodotti scelti (Fattispecie C).

Da tutta l’analisi si evidenzierà chiaramente che, sebbene il bando fosse unico, le modalità di valutazione, i criteri stabiliti e i punteggi attribuiti per gli stessi titoli e prodotti dalle diverse commissioni sono inspiegabilmente troppo diversi per essere giustificabili con la specificità della macroarea. I criteri adottati da una commissione sono spesso ed incomprensibilmente in totale contraddizione con quelli adottati da un’altra commissione. A volte i criteri sono in aperta difformità con il bando, a volte evidenziano approssimazione/ignoranza (?) della commissione (come si possono, per esempio, valutare gli articoli pubblicati prima del 1999 con il quartile SCImago introdotto solo nel 1999?)

E si dimostrerà, in modo evidente, che vi è stata una completa mancanza di controllo e di coordinamento da parte dell’amministrazione e dell’ufficio proposto (Ufficio Concorsi e Borse di Studio).

È chiaro che l’Amministrazione non ha fornito linee guida con identificazione di una serie di attività da valutare nello stesso modo e con informazioni sui meccanismi del CNR, diversi da quelli del mondo universitario, dal quale, non si sa per quale ragione, proviene la quasi totalità dei commissari.

E sicuramente non ha seguito le commissioni nel lavoro di definizioni dei criteri e della loro applicazione.

Il bando di concorso per Dirigenti di Ricerca

Il bando di concorso 364.172 ex art. 15 dell’ormai lontano anno 2013, riguardava le seguenti macroaree:

  1. Scienze Biomediche (SBM);
  2. Scienze Fisiche e Tecnologie della Materia (SFTM);
  3. Scienze del Sistema Terra e Tecnologie per l’Ambiente (STA);
  4. Scienze Chimiche e Tecnologie dei Materiali (SCTM);
  5. Ingegneria, ICT e Tecnologie per l’Energia e i Trasporti (IITET);
  6. Scienze Bio-Agroalimentari (SBA);
  7. Scienze Umane e Sociali, Patrimonio Culturale (SU).

I verbali che riportano i criteri stabiliti da ciascuna commissione si trovano ai link seguenti:

  1. Verbale commissione Scienze Biomediche (SBM);
  2. Verbale commissione Scienze Fisiche e Tecnologie della Materia (SFTM);
  3. Verbale commissione Scienze del Sistema Terra e Tecnologie per l’Ambiente (STA);
  4. Verbale commissione Scienze Chimiche e Tecnologie dei Materiali (SCTM);
  5. Verbale commissione Ingegneria, ICT e Tecnologie per l’Energia e i Trasporti (IITET).
  6. Verbale commissione Scienze Bio-Agroalimentari (SBA);
  7. Verbale commissione Scienze Umane e Sociali, Patrimonio Culturale (SU);

I criteri (di fantasia) stabiliti dalle commissioni

La commissione STA (e solo essa) ha inventato come criterio il “punteggio ulteriore” da poter attribuire all’occorrenza, senza motivazione, alle diverse fattispecie di titoli quando ha già stabiliti i punteggi massimi da assegnare. Non si capisce perché, se un titolo ottiene il punteggio massimo, dovrebbe avere anche un punteggio ulteriore. Quindi il massimo stabilito dalla commissione STA non è il massimo! La commissione ha elargito a tutti i candidati vincitori (eccetto 1) questo punteggio ulteriore, (anche fino a + 6 punti), senza fornire mai alcuna motivazione. Sembra di essere al supermarket con i punti omaggio o meglio al circo dove per magia il punteggio lievita. Da notare che questo punteggo ulteriore per le fattispecie non è previsto dal bando.

La commissione SBA (e solo essa) si è distinta invece per i criteri criptati: per ogni categoria di titoli non è riportata nessuna differenziazione fra i diversi ruoli svolti. Chiaramente indicando “facciamo quello che ci pare e non dobbiamo dar conto a nessuno”.

La commissione SU (e solo essa) si differenzia per i criteri invisibili: riporta di aver stabilito i criteri per la valutazione dei prodotti scelti, ma di questi criteri nessuna traccia nei verbali: ci vorrebbe un sensitivo per capire come hanno fatto a dare i punteggi! Sicuramente per molti candidati vincitori non sono stati i parametri previsti dal bando {(numero di citazioni (spesso 0) , impact factor (riviste non ISI), ruolo del candidato (spesso semplice coautore) o
H-index (bassissimo anche 5)} a determinare il punteggio.

La commissione IITET (e solo essa) invece ha partorito il criterio di non dare alcun valore al ruolo del candidato nelle pubblicazioni in oltraggio al bando: tutti gli autori di un articolo sono uguali davanti alla commissione. Questa stessa commissione (e solo questa) ha anche assegnato lo stesso punteggio alle pubblicazioni ISI e non ISI. Guarda caso, la maggior parte dei candidati vincitori ha presentato molti prodotti pubblicati su riviste non ISI e dove il loro ruolo è di semplice coautore.

Ma il capolavoro più grande è stato compiuto dalla commissione SCTM che (e solo essa) con i suoi criteri ha decretato che contratti industriali anche di poche centinaia di euro sono fondamentali per la ricerca al CNR, almeno per la macroarea di riferimento, e ben più importanti di progetti internazionali con alto finanziamento. Qui — come nella Fattoria degli Animali — non siamo tutti uguali, ma alcuni sono chiaramente più uguali degli altri. Sarà anche una coincidenza, ma la maggior parte dei candidati vincitori ha presentato come titoli contratti industriali (inclusi conto terzi), valutati con punteggio anche superiore a progetti internazionali.

La commissione che sembra abbia lavorato meglio (almeno formalmente) è quella SFTM. Bisogna anche segnalare che questa commissione (e solo essa) ha valutato anche i titoli presentati in categorie non conformi ai criteri stabiliti, spostandoli materialmente nella categoria adatta, mentre altre hanno dato 0 punti e riportando come giustificazione EC (errata collocazione) o NR (Non rilevante).

Per quanto riguarda la commissione SBM, non ci sono particolari criteri fantasiosi nel verbale, ma, come vedremo nelle prossime puntate, le applicazioni dei criteri stabiliti fanno pensare che anche a questa commissione non manchi la fantasia.

Già da questa anteprima è chiaro che le commissioni hanno agito in modo del tutto indipendente l’una dall’altra, senza alcun coordinamento (né tantomeno controllo e verifica) da parte dell’Ufficio Concorsi e Borse di Studio del CNR.

(leggi la seconda parte…)

TipoNome del FileData di ModificaDimensione

pdf
Verbale DIITET 15/07/2017 18:041.2M

pdf
Verbale DSU 25/07/2017 12:23583.8k

pdf
Verbale SBA 15/07/2017 18:041.2M

pdf
Verbale SBM 15/07/2017 18:041M

pdf
Verbale SCTM 15/07/2017 18:043.4M

pdf
Verbale SFTM 15/07/2017 18:041.8M

pdf
Verbale STA 15/07/2017 18:041.8M
Scarica

12 thoughts on “Concorso da Dirigente di Ricerca: i criteri stabiliti

  1. La conoscenza dei criteri e di come opera il CNR è importantissimo……e direi da una prima lettura sorprendente. Grazie per il lavoro fatto, di grande utilità per tutti!!!

    1. Grazie Clara, ammirabile lavoro!
      In effetti i risultati sono molto interessanti e l’analisi comparata certo inaspettata.
      Temo che il concorso successivo avrà risultati molto più ad personam di questo (ma è una mia opinione)

  2. Ho seguito il lavoro di analisi dei verbali fatti da Clara; inoltre ho letto con molta, molta attenzione i verbali (sia dei criteri sia quelli che riportano le valutazioni dei candidati) di alcune commissioni, specialmente quelli della commissione STCM e IITET. Da essi risulta evidente, chiaro, lampante una vergognosa valutazione per alcuni candidati che evidente non dovevano vincere, ed ancora più vergognosa ed oltraggiosa valutazione a favore di alcuni candidati senza la quale non avrebbero mai potuto vincere.
    I ricercatori del CNR hanno diritto di essere giudicati nei concorsi con criteri appropriati al proprio settore di ricerca, criteri che siano giusti ed uguali per tutti, senza applicare valutazioni arbitrarie (per favorire alcuni candidati) e senza fare dei propri regali nell’assegnare i punteggi, senza i quali alcuni non avrebbero mai potuto vincere!
    Spero che Clara nelle prossime puntate dica anche qualcosa riguardo alle dichiarazioni false presenti nei CV di alcuni candidati vincitori, notificate all’Ufficio competente del CNR con inequivocabili ed non confutabili prove, ma che sono state inspiegabilmente ignorate; anzi quando qualcuno si è presentato a Roma per mostrare le gravi irregolarità e falsità, i responsabili, che dovrebbero garantire la regolarità del concorso, quindi indagare se le accuse fossero vere o meno e quindi, se vere, prendere i dovuti provvedimenti, hanno trattato chi osava denunciare i colleghi, che si erano “gonfiati” il CV con titoli falsi, come se avesse avuto la peste!
    Dobbiamo ringraziare Clara per il coraggio di rivelare questa vergogna ed ingiustizia, sperando che non succeda mai più. Sono troppo ottimista?

  3. Mi associo a tutti i colleghi, nel ringraziare Clara di cuore per la puntuale, “clara” e coraggiosa analisi!
    Non posso non condividere i commenti relativi alle modalità conconsuali. Procedure e modalità borboniche
    Le logiche seguite dalle varie commissioni sono state dettate non certo dal tanto conclamato “merito”, nè tanto meno dalla progettualità scientifica da sottoporre alla valutazione di un panel di esperti internazionali, ma piuttosto e semplicemente dalla pura spartizione e possibilmente continuità del potere pre-costituito.

  4. Grazie a Clara per la lodevole inziativa, avevo gia’ visto i verbali del concorso area agroalimentare, ma la lettura completa e’ ancora piu’ interessante e aspetto le prossime puntate. Spero che questa denuncia possa servire per tenere viva l’attenzione sull’operato delle attuali /future commissioni di ogni ordine e grado. I meccanismi perversi di reclutamento/premialita’ sono uno dei grandi ed antichi problemi del CNR, non certo l’unico, ma quello su cui, VOLENDO, si potrebbe intervenire più facilmente di altri.

  5. Grazie, Clara.

    Al di là dei contenuti, che possono ovviamente essere oggetto di discussione aperta e più o meno condivisibili, è veramente apprezzabile un tentativo di chiarezza, supportato da un lavoro enorme e dettagliato, che imponga l’esigenza di criteri di selezione (interni ed aperti all’esterno):
    1. Trasparenti e senza palesi forzature
    2. Uniformi all’interno dello stesso Ente, che deve capire di che profili generali ha bisogno in accordo con la sua missione istituzionale, indipendentemente dall’Area Disciplinare
    3. Esenti da banali errori materiali (che ho potuto “apprezzare” personalmente) che incidono in misura pesantissima su classifiche nelle quali in un solo punto possono esserci anche 20 candidati

  6. Mi accodo ai ringraziamenti a Clara per il grosso lavoro e la cortese pubblicazione qui. Lo studio dei dettagli è ponderoso e ogni punto meriterebbe ponderazione e una discussione particolare. Al di là delle difformità tra le varie commissioni direttamente collegate alla loro stessa esistenza e connesse pertanto alla struttura del CNR nei settori dipartimentali, che pone un quesito troppo di base per essere (ri)-discusso qui, mi ha colpito tra le altre cose, un’estesa caratteristica (almeno dei criteri per SCTM, i soli che al momento ho letto per esteso): i criteri sono troppo arzigogolati per non generare errori materiali. Una maggiore semplicità avrebbe assicurato magari meno errori, la complessità può essere legata all’efficienza del filtro ma questo può non essere vero oltre un certo limite. Una error-prone zone che tra l’altro assicura come si sperimenta in ogni concorso solo lavoro al TAR.
    Spero di sbagliare su un altro punto e accetto con piacere correzioni: una caratteristica curiosa degna di nota è un fattore moltiplicativo delle assegnazioni in accordo all’H-index del candidato (se sopra 15 si moltiplica per 1, se sotto 15 si moltiplica la somma per frazioni proporzionali al valore stesso dell’H-index, questo sempre presente nel verbale SCTM pag. 11). Da ciò credo possa scaturire una curiosa situazione: se 2 coautori di uno stesso lavoro fossero presenti tra i candidati, ancorchè con lo stesso ruolo svolto nella pubblicazione, quello stesso prodotto sarebbe valutato in maniera diversa per uno rispetto all’altro se si trovano dalle parti opposte alla soglia del 15, stabilito; alla faccia del criterio per stabilire la qualità del prodotto!

  7. Colgo l’occasione del commento di Antonio, per ringraziare sia coloro che hanno postato qui che coloro che mi hanno inviato messaggi di posta elettronica. Ringrazio anche Antonio per aver sottolineato quest’altra anomalia e le sue conseguenze. In ogni caso , come si vedrà nell’ultimo articolo della serie, che tratterà proprio dei criteri e valutazione dei prodotti, ogni commissione ha intepretato il bando in maniera completamente diversa anche per quanto riguarda l’uso dei parametri bibliometrici, incluso l’H index.

  8. Concordo con Antonio che la questione della struttura dipartimentale e’ troppo complessa per essere discussa qui, ma il suo impatto sull’esito dei concorsi e le anomalie conseguenti credo siano pertinenti. Alcune commissioni, sia per dirigente che per primo ricercatore, hanno dato molta rilevanza all'”attinenza disciplinare”, a tal punto che numerosi ricercatori si sono viste ESCLUSE decine di pubblicazioni perchè giudicate non attinenti all’area disciplinare (per conoscenza diretta so che questo si e’ verificato almeno per i concorsi dell’Area Scienze Bioagroalimentari). Ma quei ricercatori prestano servizio da anni in istituti dei dipartimenti a cui quelle aree disciplinari sono collegate, e quelle pubblicazioni sono state valutate (ed in molti casi molto bene) da panel interni, ANVUR etc, contribuendo ad elevare il punteggio degli istituti, del dipartimento, del CNR…
    Situazione ancora piu’ assurda è quella in cui gli stessi titoli presentati da due dipendenti nei concorsi della stessa area disciplinare per dirigente per primo ricercatore, rispettivamente, sono stati giudicati non attinenti e quindi ESCLUSI da una commissione, e valutati benissimo dall’altra.

    1. La escludevo (la questione della struttura dipartimentale del CNR) non tanto per la sua non pertinenza o complessità ma per la sua stessa natura da “origine di tutti i mali” e come tale poteva impoverire la discussione e sviarla. Ovviamente l’impatto, con le sue anomalie come dici è fortemente pertinente.
      Credo che la discussione si possa arricchire con altre “puntate” come promesso e lo spero; vorrei però aggiungere un desiderio ed uno sprone, che faccio anche a me stesso. Temo che alla fine la sola esternazione delle nostre “meraviglie” pur col suo potere di denuncia, rimanga ancora un poco sterile. Quello che mi piacerebbe e lo dico anche a me stesso è proporre alternative, forse nemmeno tanto puntuali; ma che almeno mostrino elementi, indirizzi per un how-to futuro. Non mi illudo che poi questo sia ascoltato ma sapere che almeno esiste sarebbe già molto confortante. E’ una discussione piena di pericoli che si può frantumare in mille rivoli che non portanto poi a nulla ad ogni piè sospinto, non solo la questione della divisione del CNR in Dipartimenti.

  9. Tanto per migliorare l’espressione del mio pensiero nella risposta a Maria Ciaramella ed evitare il pericolo di essere frainteso mi provo ad esprimere il mio parere usando proprio l’esempio dell’H-index cercando di non entrare nella datata discussione su questo valore e sul suo uso (e abuso) ma cercando di capire (e far notare) l’uso che ne è stato fatto in questi concorsi, proponendo alternative. Mi riferisco alla commissione SCTM; non ho approfondito l’argomento per altre commissioni.
    L’unico punto dove il bando cita H-index è all’art. 6 “Per quanto concerne le pubblicazioni sia della categoria B) che della categoria C),…. [il] candidato…. deve indicare il proprio H-Index alla data di invio della domanda, riferito alla produzione scientifica sino al 31 dicembre 2009…”. Quel “per quanto concerne” a mio parere ricorda semplicmente che l’H-index è connaturato ai prodotti scientifici e alle loro citazioni, non che doveva essere applicato nella valutazione di queste categorie.
    Tutti conoscisamo la definizione di H-index di Wikipedia, essa recita: “L’indice H…. è un criterio per quantificare la prolificità e l’impatto scientifico di un autore, basandosi sia sul numero delle pubblicazioni, sia sul numero di citazioni ricevute…..
    Il numero di pubblicazioni totale è già espressamente valutato dal bando (25 punti): più articoli hai pubblicato più è possibile che ti avvicini al 25. Con in 10 prodotti scelti si ottenevano altri 30 punti. Questi elenchi sono stati valutati sulla base dei quartili e delle citazioni ricevute ogni prodotto, assegnando una differenza di punteggio del 50% tra la prima categoria e l’ultima. Mi domando: non è questo già considerare l’H-index del candidato (che è il prodotto delle sue citazioni e della scelta per il prestigio delle sue riviste)? Pare di no, la valutazione su questi elenchi è ulteriormente corretta rispetto al numero di citazioni (valore che costituisce il core dell’H-index della persona) dell’articolo specifico. Sinceramente a me parrebbe più che sufficiente, mi pare di aver già tenuto conto dell’H-index del candidato quando guardo i quartilil e le citazioni del singolo prodotto. Invece no, la commissione applica un ulteriore fattore di correzione prendendo in considerazione il valore stesso dell’H-index (assegnato a 15) e limando il totale tra chi è sotto e chi è sopra questo valore con una moltiplicazione per 1 (cioè riconoscimento pieno di tutti i prodotti) o frazioni di 1 (riconoscendo parzialmente sia gli elenchi totali che quelli dei prodotti scelti). A mio parere è troppo. Per non parlare dell’arzigogolatura di tali metodi che espone al pericolo di errori materiali.
    Ripeto, pur non volendo entrare nella diatriba sulla legittimità dell’utilizzo dell’H-index applicare un correttivo altrove invece che sugli elenchi degli articoli mi sarebbe una scelta più pacata che poteva essere fatta. In questo modo i 45 punti assegnabili al Cv, come dettato dal bando, potevano essere corretti secondo questo valore personale del candidato, inserendo insieme ai ruoli, progetti, riconoscimenti scientifici, etc. un correttivo per un altro aspetto importante della produzione scienitifica: i prodotti scientifici ed il loro impatto. Così non è stato.

    Spero di aver espresso quanto ritengo valida questa discussione se esercitata evitando generalismi, lamenti e sterili proteste che non danno il segno della presenza di una “opinione pubblica” critica ed esperta che guarda all’operato di chi esercita la politica dell’ente anche con occhio propositivo.

  10. Cari colleghi, vi chiedo per favore di pazientare un poco per quanto riguarda la discussione sui parametri bibliometrici ed aspettare l’ultima parte dell’ analisi, dove, come preannuciato nell’ anteprima, verranno analizzati i criteri adottati (in conformità o meno con il bando) e i punteggi attribuiti per le pubblicazioni, da tutte le commissioni.

Rispondi a maria.ciaramella@ibbr.cnr.it Annulla risposta

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.