Il sistema di valutazione della ricerca, quello premiale e di carriera dei ricercatori sono sempre più discussi. Istituzioni, enti e organizzazioni a livello internazionale stanno da tempo cercando nuovi criteri in grado di valorizzare e premiare la qualità della ricerca. Punti comuni della discussione sono lo sviluppo di nuovi indicatori che superino gli indicatori quantitativi e di criteri che tengano in considerazione le pratiche di scienza aperta.
COARA – Coalition for Advancing Research Assessment
Agreement on reforming research assessment
Negli ultimi anni la Commissione Europea ha emanato alcune raccomandazioni e indicazioni per la valutazione della ricerca e l’adozione dei modelli di scienza aperta. Le attività della Commissione, unitamente al lavoro di COARA, hanno portato alla redazione di un accordo per la riforma del sistema di valutazione della ricerca, pubblicato a luglio 2022. L’Agreement mira a definire un’azione comune per la riforma della valutazione, basandosi su principi e impegni specifici da raggiungere entro dei tempi definiti.
i principi generali:
» rispetto dell’etica e dell’integrità scientifica;
» tutela della libertà della ricerca scientifica;
» rispetto dell’autonomia delle istituzioni e organizzazioni di ricerca;
» indipendenza e trasparenza dei dati, dei criteri e dei processi della valutazione, garantendo l’accesso e la titolarità della comunità scientifica sulle infrastrutture e sugli strumenti critici utilizzati.
I principi per i criteri di valutazione:
» qualità e impatto;
» diversità, inclusione e collaborazione.
Ai principi elencati, si aggiungo 10 impegni fondamentali per identificare e diffondere buone pratiche per una ricerca di qualità, oltre a indicare nuovi criteri per la valutazione, in sostituzione all’uso inappropriato delle metriche quantitative.
tra gli aspetti da considerare, l’accordo evidenzia l’importanza delle pratiche di open science, come la condidivisione dei risultati, l’apertura dei dati e la loro condivisione per una maggiore trasparenza, collaborazione e impatto della ricerca scientifica. le attività e le competenze nell’ambito della scienza aperta sono inoltre considerate anche per la valorizzazione dei ruoli e delle carriere.
Ad oggi hanno aderito all’accordo oltre 300 membri tra istituzioni e università, tra cui anche anvur e UNIMORE.
link utili
EC I Agreement on reforming research assessment
ANVUR I adesione all’Agreement on reforming research assessment
precedenti interventi della commissione EUROPEA:
RACCOMANDAZIONE UE 2012/417 E 2018/790
» NEL 2012 LA CE RACCOMANDAVA DI ADEGUARE IL SISTEMA DI RECLUTAMENTO E VALUTAZIONE DELLE CARRIERE DEI RICERCATORI E L’ASSEGNAZIONE DEI FINANZIAMENTI IN MODO CHE SIANO PREMIATI COLORO CHE ADERISCANO ALLA CULTURA DELLA CONDIVISIONE DEI RISULTATI DELLA RICERCA, SVILUPPANDO DEI MODELLI ALTERNATIVI DI VALUTAZIONE, CRITERI DI MISURAZIONE E INDICATORI ADEGUATI.
» NEL 2018 SI AGGIUNGE L’INDICAZIONE DI UTILIZZARE METRICHE DI NUOVA GENERAZIONE CHE TENGANO CONTO DELL’APERTURA DELLA RICERCA, INTESA ANCHE COME IMPATTO SOCIALE.
OPEN SCIENCE POLICY
TRA LE ALTRE COSE, LA CE SOTTOLINEA LA NECESSITÀ DI SVILUPPARE NUOVI INDICATORI PER LA RICERCA E L’IMPATTO ADATTI A VALUTARE ANCHE LE PRATICHE OPEN SCIENCE. LA POLICY INDICA INOLTRE CHE DOVREBBERO ESSERE RICONOSCIUTE LE ATTIVITÀ DI OPEN SCIENCE NEL SISTEMA DI PROGRESSIONE DELLE CARRIERE.
QUESTE NECESSITÀ VENGONO RIBADITE ANCHE IN HORIZON EUROPE.
LINK UTILI
» EC | RACCOMANDAZIONE 2012/417 | RACCOMANDAZIONE 2018/790
» EC | OPEN SCIENCE POLICY
» EC | REPORT CONSULTAZIONI 2021
» UE | EVALUATION OF RESEARCH CAREERS FULLY ACKNOWLEDGING OPEN SCIENCE PRACTICES
DORA
Declaration on research assessement
La Dichiarazione, a opera di un gruppo di curatori ed editori di riviste scientifiche e accademici, è stata redatta nel 2012 e si rivolge ad agenzie di finanziamento, istituzioni, università, riviste e singoli ricercatori. Ha messo in luce le criticità delle metriche tradizionali, in particolare del Journal Impact Factor.
Raccomanda Di Non usare metriche basate sulle riviste come misura surrogata della qualità di singoli articoli scientifici o per valutare i contributi di un singolo ricercatore, o nelle assunzioni, promozioni o assegnazioni di finanziamenti.
suggerisce di considerare il valore e l’impatto di tutti i prodotti della ricerca (compresi dataset e software) e prendere in considerazione un’ampia gamma di forme di misurazione dell’impatto.
Sottolinea l’importanza della trasparenza: i criteri usati nel valutare la produzione scientifica di chi richiede finanziamenti devono essere esplicitati così come quelli utilizzati per le progressioni di carriera e per le assunzioni.
Link UTILI
» Dora declaration | testo completo
LERU
League of European Research Universities
Il tema degli indicatori e della necessità di individuare delle nuove metriche è ribadito anche da Leru che raccomanda di:
> SVILUPPARE UNA POLITICA BIBLIOMETRICA BASATA SUI PRINCIPI DEL MANIFESTO DI LEIDEN;
> ADOTTARE NUOVI MODELLI DI VALUTAZIONE NEI PROCEDIMENTI INTERNI PER LA PROGRESSIONE DELLE CARRIERE E LA VALUTAZIONE DELLA RICERCA;
> INFORMARE I RICERCATORI IN MERITO ALLE BUONE PRATICHE E AGLI USI SCORRETTI DEGLI INDICATORI TRADIZIONALI;
> FORMARE I GIOVANI RICERCATORI, GIÀ NELLE FASI INIZIALI DEI DOTTORATI DI RICERCA, PER UN USO RESPONSABILE DELLE METRICHE.
LINK UTILI
» MANIFESTO DI LEIDEN
» OPEN SCIENCE AND ITS ROLE IN UNIVERSITIES: A ROADMAP FOR CULTURAL CHANGE
SE – Science Europe
In merito ai processi di valutazione Science Europe ha delineato alcune indicazioni per istituzioni e università. In particolare:
» Rendere accessibili e user-friendly le informazioni relative allo svolgimento del procedimento di valutazione;
» Pubblicare i risultati delle valutazioni effettuate;
» Concentrare le valutazioni dei prodotti della ricerca sul loro contenuto piuttosto che sui loro indicatori bibliometrici;
» Prevedere la possibilità di introdurre per i candidato un sistema di “right to reply”;
» Operare la valutazione senza discriminazioni, conflitti e interessi di parte;
» Tenere monitorati l’andamento, la correttezza e la validità dei propri metodi di valutazione e riconsiderarli ad intervalli periodici;
» Scambiare con le altre istituzioni informazioni sui propri sistemi di valutazione e relative buone pratiche.
Link utili
» Science europe – Position Statement and Recommendations on Research Assessment Processes
UNESCO
Anche Unesco, nella sua Raccomandazione per l’Open Science, pone l’accento sui sistemi di valutazione sottolineando come i modelli attuali non siano compatibili con quelli della scienza aperta.
La valutazione dei contributi della ricerca e le progressioni di carriera dovrebbero considerare le pratiche open science, contribuendo così alla diffusione delle stesse.
Gli istituti dovrebbero adottare i principi della DOra Declaration, in particolare il principio per cui la ricerca vada valutata in termini di qualità e non di quantità, né per i valori bibliometrici tradizionali come il journal impact factor.
Si evidenzia la necessità di Tenere conto dell’impatto esterno che producono i contributi di ricerca e di Considerare le specificità delle discipline e dei relativi approcci open science.
SI Incoraggiano i finanziatori, gli istituti di ricerca, i comitati editoriali, le società e gli editori ad adottare politiche che richiedano e premino l’accesso aperto alla conoscenza scientifica, comprese le pubblicazioni scientifiche, i dati di ricerca, i software, i codice sorgente e gli hardware.
LINK Utili
» unesco | Recommendation on Open Science
Coalition S
I membri di Coalition S si sono impegnati a promuovere approcci responsabili ed equi alla valutazione della ricerca. I finanziatori di coAlition S operano la valutazione dei contributi in base al merito intrinseco dei lavori di ricerca e non al canale di pubblicazione, al suo fattore di impatto (o ad altre metriche a livello di rivista ) o all’editore.
i membri HANNO SOTTOSCRITTO la dora declaraTION.
PER I FINANZIAMENTI, VENGONO riconosciuti ANCHE preprint, set di dati, software, invenzioni, prodotti didattici e servizi. È stata adottata una serie di misure di impatto qualitativo, compresa l’influenza SULLA società in generale. I finanziatori stanno lavorando per eliminare l’uso inappropriato di metriche BASATE SUI JOURNALS E SI IMPEGANO A UTILIZZARE GLI INDICATORI BIBLIOMETRICI IN MODO RESPONSABILE E PONDERATO.
coAlition S ha inoltre istituito un gruppo di attività per la valutazione della ricerca per aiutare a identificare, scambiare e allineare le buone pratiche di valutazione della ricerca.
LInk utili
» Plan s principles
» The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management
» Monitoring the effects of Plan S on Research and Scholarly Communication
World Conferences on Research Integrity Foundation ↗
WCRI Fondationd si pone lo scopo di promuovere l’integrità della ricerca.
Hong Kong Principles ↗
I principi per la valutazione dei ricercatori formulati nel 2019 .
OS I Open science e valutazione della ricerca