I sette vizi della psicologia e il Manifesto di Chambers

Le scienze biomediche e psicologiche stanno affrontando una crisi di credibilità dovuta all'assoggettamento al potere degli enti finanziatori e degli imperi editoriali che hanno dettato le regole e gli indirizzi della ricerca scientifica.

Si va da un estremo in cui, pur di pubblicare risultati compiacenti e sensazionali il ricercatore ha sacrificato la deontologia e il rigore metodologico fino a falsificare i dati sperimentali, all'altro estremo in cui l'onestà professionale e la trasparenza metodologica hanno ridotto gli spazi di pubblicazione a riviste di secondo livello, compromettendo le opportunità di carriera del ricercatore.

Un tale meccanismo perverso è stato mantenuto e alimentato anche da una comunicazione sui media di massa e sociali acritica e anzi prona ad amplificare il sensazionalismo. Il giornalista che doveva mediare la divulgazione dei risultati, inserendoli in un contesto più ampio e analizzandone pro e contro, si è temporaneamente assopito oppure è stato attaccato e rimpiazzato.

I danni sono stati di tre tipi: creare confusione sulla credibilità delle notizie scientifiche e delle scoperte stesse; sprecare le risorse economiche nazionali nei casi di finanziamenti pubblici; sacrificare la creatività della ricerca scientifica a vantaggio della sua convenienza.

Un tale sistema, assieme all'eccessiva burocratizzazione delle amministrazioni ha rallentato enormemente gli avanzamenti nelle conoscenze scientifiche in molti settori.

Se poi pensiamo che questo accade in discipline che studiano l'uomo e le cure alle sue condizioni patologiche, il quadro diventa ancora più preoccupante.

Tra gli scienziati che si sono messi più in discussione negli ultimi anni ci sono senz'altro gli psicologi. Da noi è solo arrivata qualche eco eppure le discussioni, le conferenze, i dibattiti che stanno contribuendo a rifondare la psicologia scientifica sono molto vivaci negli altri paesi europei e negli Stati Uniti.

In realtà questa rifondazione coinvolge la ricerca sperimentale ma è rilevante anche per la ricerca clinica e la clinica in senso stretto, ambiti talvolta troppo condizionati da opinioni, speculazioni teoriche, aneddotica e dove i criteri oggettivi sono spesso considerati per lo più opzionali e comunque flessibili.

Per Carlo Umiltà (6/1/2017), “[l']impressione è che il problema riguardi tutte le discipline che condividono le procedure di inferenza statistica e, quindi, si trovano ad affrontare gli stessi problemi e anche ad adottare le stesse scorciatoie per evitarli (non, purtroppo, per risolverli)”.

Chris Chambers, neuroscienziato cognitivo all'Università di Cardiff, ha scritto un Manifesto per riformare la cultura della pratica scientifica (The Seven Deadly Sins of Psychology: A Manifesto for Reforming the Culture of Scientific Practice, Princeton University Press, 2017). Da dove si può partire? Dal riconoscimento de I sette peccati capitali della psicologia che hanno corrotto lo spirito del ricercatore.

Il libro fornisce una dettagliata fotografia dell'attuale crisi della psicologia che vale per le scienze biomediche in generale. Su uno sfondo di pratiche poco trasparenti si stagliano i protagonisti negativi, le loro confessioni non spontanee e le conseguenze professionali individuali e collettive. Dalle ombre emergono anche i protagonisti positivi che hanno contribuito a rivelare la corruzione del sistema e che stanno proponendo ed elaborando i possibili antidoti.

Il Manifesto dovrebbe essere inserito nella bibliografia di ogni insegnamento universitario sui metodi di ricerca.

Quali sono i 7 vizi capitali della psicologia? Chambers li descrive in modo esteso e con dovizia di esemplificazioni.

Ne farò una breve sintesi.

I. Il Pregiudizio (The Sin of Bias)

how unchecked bias fools us into seeing what we want to see

Si cade nel primo vizio quando le nuove informazioni vengono interpretate in base a preconcetti: vediamo solo quello che vogliamo vedere.

Possiamo distinguere diversi sistemi di pregiudizi che spesso si sovrappongono: quello degli scienziati che conducono una ricerca scientifica, quello di altri scienziati che valutano la bontà dei risultati di una ricerca ai fini della pubblicazione o del finanziamento, quello degli editori delle riviste che vendono il prodotto scientifico.

Lo scienziato che fa l'esperimento commette questo peccato quando, più o meno intenzionalmente, predispone solo determinate condizioni di verifica delle ipotesi oppure seleziona e rende pubblici solo gli estratti dei risultati ottenuti che confermano le proprie ipotesi e credenze. Pur di confermare la propria visione lo scienziato, approfittando dei suoi gradi di libertà, può addirittura continuare a fare ipotesi sui risultati già analizzati, riorganizzandoli: sapendo com'è andata a finire, queste ipotesi post hoc hanno poca probabilità di essere smentite e vengono mescolate con quelle iniziali.

Lo scienziato revisore che valuta la ricerca di un altro scienziato commette il primo peccato quando giudica pubblicabili o finanziabili solo quegli studi che hanno risultati positivi a conferma di ipotesi o teorie precedenti, mentre rifiuta gli studi con risultati nulli o negativi o quelli poco innovativi, come ad es. la replica di uno studio precedente.

Gli editori delle riviste cadono in questo vizio quando decidono di pubblicare solo gli studi con forti effetti positivi e altamente innovativi, cioè studi che garantendo di essere molto citati in futuro, aumenteranno il valore della rivista stessa. Le repliche di studi precedenti sono le più penalizzate in quanto giudicate noiose e non creative.

Questi editori inducono i revisori a peccare, e questi a loro volta inducono i loro colleghi a viziare le ricerche.

We are all p hackers, those of us who realize it want change.

II. La flessibilità nascosta (The Sin of Hidden Flexibility)

how we have turned our backs on fundamental principles of the scientific method

Si cade nel secondo vizio quando la metodologia di analisi è gestita con molta libertà, dando le spalle ai principi fondamentali del metodo scientifico.

Lo scienziato commette questo peccato quando riadatta inconsapevolmente o 'massaggia' intenzionalmente la raccolta e l'analisi dei dati – moltiplicando il numero delle variabili indipendenti, eliminando alcuni soggetti oppure aumentandone il numero - fino a ottenere risultati statisticamente significativi.

Questo vizio è reso possibile dal fatto che nella fase di pubblicazione di un articolo scientifico tipicamente non viene richiesto di descrivere i metodi in modo dettagliato e trasparente, specificando quali erano le ipotesi e le analisi pianificate all'inizio e quali invece erano le nuove ipotesi e le nuove analisi dettate dalla congruente interpretazione dei risultati. Inoltre, la non disponibilità dei dati grezzi anche dopo la pubblicazione dello studio fa sì che le conseguenze derivanti dalla flessibilità nascosta si perpetuino, nella migliore delle ipotesi senza che gli autori si accorgano delle forzature commesse.

La ricorrenza di questo vizio e il fatto che non sia rilevato sono particolarmente dannosi perché possono portare a false conclusioni e questo vale per tutte le scienze in cui si arriva a una scoperta per accumulo di prove.

If your experiment needs statistics, you ought to have done a better experiment. Ernest Rutherford

III. L'inattendibilità (The Sin of Unreliability)

how we have turned our backs on fundamental principles of the scientific method

Si cade nel terzo vizio quando non si favorisce la replica di uno studio e, come per il secondo vizio, si voltano le spalle ai principi fondamentali del metodo scientifico.

Questo vizio sacrifica uno dei cardini del metodo scientifico che è quello di fornire tutte le informazioni necessarie a replicare uno studio, una specie di ricetta sperimentale, con tutti gli ingredienti, le procedure e i tempi di esecuzione.

La psicologia, folgorata dalla neofilia, negli ultimi quattro decenni, ha ritenuto di togliere valore alla replicabilità. Al più si è accontentata della replica concettuale: si tratta di studi in cui si dà per certa (anziché verificarla) la verità dei risultati di uno studio, si inferisce la causa sottostante che li ha determinati e se ne cercano le prove convergenti attraverso procedure sperimentali del tutto diverse. In tal caso è ammessa una sola possibilità ed è che i risultati convergano con le conclusioni/scoperte originali perché se non convergono lo si può sempre imputare alle diverse procedure usate e non alle debolezze dello studio originale.

Chambers scrive che solo 2 su 1000 studi pubblicati in psicologia sono una replica diretta di un precedente esperimento e solo uno di questi è realizzato da un gruppo di ricerca diverso da quello dello studio originale.

Rinunciare alla riproducibilità vuol dire generare molte scoperte non confermate ma anche molte fallacie non discusse, senza dare la possibilità alla psicologia di autocorreggersi.

C'è chi addirittura ha fatto di questo vizio una bandiera, considerando i risultati degli studi precedenti come sacri, esigendo che alle repliche partecipasse l'autore dello studio originale o che almeno ne dettasse le regole e accusando i sostenitori della replicabilità di aggressione e interferenze.

the culture of replication in the physical sciences is a world apart from the one that prevails in psychology

IV. L'accumulo di dati (The Sin of Data Hoarding)

how we treat the data we acquire as personal property rather than a public resource

Si cade nel quarto vizio quando si accumulano avidamente i dati e si mantiene una posizione difensiva, rifiutando di renderli disponibili alla comunità scientifica.

Il rischio di dover rimettere in discussione i propri risultati (per gli effetti dei due vizi precedenti) – azione non richiesta nell'attuale sistema di incentivi – porta a tenerli sotto chiave o a giustificarne la non disponibilità con lo smarrimento o il furto del dispositivo nel quale erano contenuti.

Il più delle volte vengono guardate con sospetto le proposte di controllo sulle proprie modalità sperimentali, nonostante questo possa permettere di introdurre delle procedure più affidabili nella raccolta e nell'analisi dei dati all'interno di un laboratorio e dare maggiore solidità a una scoperta.

In tal modo si rifiuta la redenzione e si tollera la degenerazione dello spirito scientifico.

Chambers elenca diversi gradi di condivisione dei dati grezzi di uno studio, in modo da garantire la riservatezza quando richiesta, da tutelare l'originalità degli autori e da prevenire il plagio. Tutto questo non ostacola anzi ravviva la serendipità, dato che può essere stimolata anche dai commenti che altri scienziati formulano sui dati originali.

Too often in psychology, as in other sciences, ego overcomes reason, reducing the reliability and credibility of the results we produce

V. La corruttibilità (The Sin of Corruptibility)

how we permit academic fraud to cause untold damage to the most vulnerable members of our community

Si cade nel quinto vizio quando si commette o si permette la frode danneggiando i membri più vulnerabili della comunità scientifica.

Sulle pubblicazioni, o meglio sulla quantità più che sulla loro qualità, vengono costruite intere carriere scientifiche fino a raggiungere posizioni che garantiscono potere e prestigio. Come abbiamo visto, teso ad autoconservarsi, l'attuale sistema di incentivi tollera i vizi, fino addirittura a perseguire chi dall'interno della comunità scientifica scopra e riveli una frode reiterata. Così accade che chi ha contribuito a svelare studi corrotti sia espulso dall'università mentre chi ha ammesso di avere truccato per anni le proprie ricerche – come i famosi casi di Stapel e Smeesters – sia considerato una vittima del sistema e rimanga comunque nel mondo accademico ad insegnare.

Sono pochi ma ci sono gli esempi di scienziati che hanno chiesto direttamente il ritiro di un proprio studio pubblicato su una rivista anche prestigiosa dopo avere scoperto la presenza di errori metodologici o la cattiva condotta di qualche coautore.

If replication is the immune system of science, then retraction can be thought of as the last line of defense—a surgical excision

VI. Il confino (The Sin of Internment)

how we waste public resources on outdated forms of publishing

Si cade nel sesto vizio quando si tollera un sistema restrittivo di pubblicazione che rifiuta di concedere ampio accesso alle ricerche scientifiche, sprecando così le risorse pubbliche.

Si rimane nel proprio ristretto confino talvolta per indolenza, dato che, almeno se si lavora in una grande un'università, bastano pochi clic e si consultano gli articoli di tante riviste scientifiche, grazie ad abbonamenti di milioni di euro pagati con i soldi pubblici e quindi da tutti.

È paradossale che questo accada per la psicologia, le cui ricerche e scoperte sono di interesse pubblico e possono condizionare le politiche sociali, sanitarie e assistenziali.

I modelli di pubblicazione ad accesso gratuito – Open Access – possono essere totali – ne fanno parte sia riviste che offrono un servizio gratuito agli autori e ai lettori sia riviste che richiedono un pagamento per la pubblicazione all'autore ma sono gratuite per il lettore – oppure ibridi – come le riviste a sottoscrizione tradizionale che pubblicano molti articoli a pagamento per il lettore e alcuni articoli gratuiti per il lettore e l'autore (ad es. resi accessibili dopo un periodo di embargo dai 6 ai 12 mesi) oppure a pagamento per l'autore. La maggior parte delle riviste più importanti in psicologia offre un modello ibrido.

Nello scegliere le riviste su cui pubblicare il proprio lavoro gli psicologi danno molto peso alla quotazione e al prestigio e provano in prima istanza ad inviare il proprio lavoro a quelle che sono monopolizzate da un numero ristretto di editrici.

Rispetto ad altre discipline, sono anche restii a condividere con la comunità scientifica i propri dati.

Tutto questo è comprensibile se si pensa che rinunciare alla pubblicazione tradizionale per quella gratuita può costare il lavoro e la carriera accademica. Ad esempio, per il reclutamento universitario o per l'attribuzione di fondi di ricerca è richiesta una certa quantità di pubblicazioni di 'alta qualità'.

Naturalmente, l'alta qualità e l'impatto di una rivista scientifica determinati nel sistema attuale di incentivi non si sono rivelati immuni dai vizi capitali.

Chambers affronta e documenta i pro e i contro dei diversi sistemi di pubblicazione nel medio e nel lungo termine e risponde alle 4 obiezioni formulate dagli opponenti alle pubblicazioni Open Access.

La situazione si fa bizzarra quando lo stesso autore che ha pubblicato un articolo su una rivista tradizionale non può accedervi se non pagando almeno 20-30 euro. Oppure, se lo stesso ricercatore lavora in una piccola università, non può tenersi aggiornato sulla letteratura scientifica nel suo settore dato che la sua università non ha i soldi per gli abbonamenti.

Per scalare questi muri sono state sviluppate diverse iniziative di disobbedienza, come #icanhazpdf su twitter e Sci-Hub.

Si tratta di un cambiamento di sistema ma anche di un cambiamento culturale.

science is bad at being science: the actual quality of research plays second fiddle to the perception of quality

VII. La contabilità (The Sin of Bean Counting)

how, in assessing the value of science and scientists, we have surrendered expert judgment to superficial bean counting

Si cade nel settimo vizio quando si è ossessionati dalla quantificazione della qualità e si langue in una gestione delle prestazioni basata sulle metriche.

Il Journal Impact Factor (JIF), calcolato dalle riviste sulla media delle citazioni dei propri articoli nei due anni precedenti, è ormai contestato perché vulnerabile a molte manipolazioni ed errori. L'unico dato fondato è che il JIF correla con la quota di articoli ritrattati per frode acclarata o sospetta.

Un tentativo di correggere l’uso del JIF è arrivato con la San Francisco Declaration on Research Assessment (DORA), che raccomanda di “non utilizzare metriche basate sulle riviste, come il Journal Impact Factors, come misura surrogata della qualità di singoli articoli di ricerca o per valutare il contributo di un singolo ricercatore o nel reclutamento, nella promozione o nell'assegnazione di fondi”. Tuttavia, molte università che hanno sottoscritto quella dichiarazione continuano a praticare il vizio della contabilità.

Un'altra distorsione è quella di valutare i ricercatori in base ai finanziamenti assegnati: “è come stabilire il vincitore di un torneo di football sulla base di quale squadra spende di più per le scarpe”.

Il finanziamento è il progetto di una missione e non una missione compiuta.

to what extent is the quality of science synonymous with short-term popularity?

I sette vizi minacciano il futuro stesso della psicologia che però ha in sé gli strumenti di correzione, purché si decida di applicarli.

Data don’t tell stories, scientists tell stories.

I principali antidoti a questi vizi sono l'accessibilità a dati e pubblicazioni, la replicabilità e la pre-registrazione degli studi sperimentali, che Chambers sostiene e descrive ampiamente. La pre-registrazione consiste nel sottoporre alla rivista il progetto dell'esperimento, con le ipotesi, i metodi e le analisi che saranno applicate. Una volta approvato, l'esperimento può iniziare e alla sua conclusione, gli autori invieranno l'articolo ai revisori che potranno giudicare la fedeltà metodologica e la conformità dei risultati alla verifica delle ipotesi iniziali, indipendentemente dalla grandezza di un'inferenza statistica. Chambers anche in questo caso elenca tutte le obiezioni alla pre-registrazione e fornisce risposte chiare su certezze e possibilità.

Analizza con molto entusiasmo anche altre strade percorribili che però sembrano frammentarie e a volte pericolose, come quando suggerisce di sottoporre a test di personalità tutti i ricercatori per prevenire i casi di frode.

Dimostra così di cadere nel primo vizio, quello del pregiudizio dello scienziato che ritiene che i comportamenti disonesti o criminali siano causati da disturbi di personalità. Il primo vizio è talmente insidioso che senza la redenzione assicurata dal fondarsi solo su prove scientifiche confermate, può portare lo scienziato reclutatore a escludere i candidati con disturbo di personalità dal suo laboratorio e dalla carriera universitaria.

Penso sia un effetto di questo vizio anche il fatto che tutte le citazioni all'inizio di ciascun capitolo siano di autori uomini.

Chambers conclude il suo Manifesto con delle vere e proprie indicazioni di condotta in elenchi separati per ricercatori junior e senior; per riviste, enti finanziatori, università e società scientifiche, per giornalisti e cittadini.

Sono indicazioni molto utili e valide anche per le agenzie nazionali di valutazione della ricerca.

Insomma, gli strumenti per riconoscere e affrontare i sette vizi capitali della psicologia e in generale delle scienze biomediche ci sono e iniziano ad essere riconosciuti e promossi.

Per l'applicazione di tali strumenti, al momento, bisogna affidarsi alla buona volontà degli attori coinvolti, in attesa che le buone pratiche di condotta siano valorizzate più dell'avida iperproduzione.

Tuttavia, la riforma è iniziata e lasciano ben sperare il crescente numero di scienziati che si sta riaggregando verso queste nuove direzioni e i primi riconoscimenti istituzionali da parte di enti di ricerca nazionali, università, riviste.