Come sta la Psicologia? Una conversazione con Carlo Umiltà

La Psicologia è in crisi? Nel 2016 il dibattito è stato molto acceso nel mondo scientifico anglosassone e si è articolato attraverso i mezzi tradizionali – pubblicazioni su riviste scientifiche – e sui social network.

Il tema, affrontato da diverse prospettive, è attualissimo stando anche ad alcuni articoli delle ultime settimane:

- l'apertura di un Registered Replication Report per sottoporre a verifica l'effetto SNARC (in determinate condizioni sperimentali, i tempi di reazione a numeri piccoli sono più rapidi se la risposta è data con la mano sinistra, mentre se i numeri sono grandi i tempi di reazione sono più rapidi se la risposta è data con la mano destra); 

- un articolo di Ferguson, Brown e Torres su Current Psychology, che mette in evidenza tutti gli errori e i falsi miti contenuti nei manuali di psicologia;

- una recensione del libro di Michael Lewis sui due grandi psicologi Tversky e Kahneman, che mette in risalto la fallacia di quest'ultimo (Premio Nobel per l'Economia nel 2002): alcuni capitoli del suo libro Thinking, Fast and Slow - Pensieri lenti e veloci nell'edizione italiana - danno troppo credito a studi ed effetti psicologici non replicati.

Carlo Umiltà è Professore emerito di Neuropsicologia all'Università di Padova. A giugno del 2016, l'Università di Bologna lo ha insignito della Laurea ad honorem in Neuroscienze e Riabilitazione Neuropsicologica.

Ancora una volta ha risposto con generosità a tutte le domande che gli ho inviato, fornendo molti punti fermi e ulteriori spunti per la discussione.

Sì perché devo a lui un'altra Conversazione del 2014 - La neuromania e gli inganni – sui rischi della naturalizzazione delle scienze umane e altre storie.

Ecco di seguito le sue risposte alle mie 11 domande.

1) Frodi, articoli ritrattati, effetti non replicati, studi ammiccanti e seduttivi: come sta la Psicologia?

La Psicologia sta male e le neuroscienze cognitive stanno peggio. Invito tutti a leggere Button et al. (2013, Nature Reviews/Neuroscience) e Eklund et al. (2016, PNAS) per rendersene conto. Questa drammatica situazione ha avuto origine da tre cattive pratiche. La prima è stata di comportarsi come se la potenza di un test di inferenza statistica avesse influenza soltanto sugli errori di “secondo tipo”. La seconda è di avere trascurato, particolarmente negli studi di neuroimmagine, l’effetto gravemente inflazionante sugli errori di “primo tipo” che hanno i confronti multipli. La terza è la ricerca affannosa “a posteriori” di un qualche test di inferenza statistica che attesti la “significatività” dei risultati ottenuti. Se si può concedere la buona fede nel primo caso, è impossibile concederla negli altri due.

2) Il Reproducibility Project nato nel 2011, promosso e coordinato da Brian Nosek, Johanna Cohoon e Mallory Kidwell, dopo aver replicato 100 studi sperimentali e correlazionali ha ottenuto gli stessi effetti e con analoga grandezza solo in una percentuale compresa tra il 36% e il 47%. Più forte è il risultato originale, anche in termini statistici, più è probabile si ottenga lo stesso effetto negli studi successivi fatti alle stesse condizioni. Un po' poco. Ma allora, quanto c'è di vero nei manuali di psicologia?

Nessuno sa quanto ci sia di vero nei manuali di psicologia. Dovremo, più o meno, ricominciare tutto da capo, evitando gli errori fatti finora. Soprattutto, bisogna dimenticare la follia di pensare che un risultato, per essere pubblicabile, debba essere “originale” e sanzionare severamente l’uso dell’inferenza statistica come frenetico tentativo di trovare un modo di dimostrare che il risultato trovato è “significativo”.

3) Ci sono due aspetti metodologici all'origine dell'enorme problema della riproducibilità: uno riguarda l'analisi statistica che spesso è debole, l'altro la sistematica tendenza a non pubblicare i risultati negativi, viziando alla fine gli effetti sperimentali che possono risultare ingigantiti. Come si possono affrontare questi problemi?

L’analisi statistica non è “spesso debole”, molto frequentemente è falsa. Bisogna convincersi che applicare metodi statistici “discutibili” equivale a falsificare i risultati. Se applico un metodo di inferenza statistica dopo l’altro e mi fermo soltanto quando ne ho trovato uno che “funziona”, in realtà sto falsificando i risultati della ricerca. La via di uscita è pubblicare soltanto lavori pre-registrati, indipendentemente dai risultati poi ottenuti. Le pubblicazioni hanno due scopi: il primo, e più comune, è di attestare la capacità di un ricercatore di fare correttamente ricerca (e, perciò, di essere in grado di insegnare a farla). Questo tipo di pubblicazioni è importante perché permette di selezionare i docenti più capaci. Tuttavia potrebbero essere benissimo confinate in riviste “archiviali” e potrebbero consistere prevalentemente nella conferma di risultati già acquisiti. L’altro scopo è di fare progredire le conoscenze. E’ a questo tipo di pubblicazioni che dovrebbero essere riservate le riviste più prestigiose e solo per esse l’originalità dei risultati dovrebbe essere un criterio importante di selezione.

4) Per Jason Mitchell non c'è alcuna rilevanza scientifica a pubblicare i risultati negativi degli esperimenti né gli studi che non replicano gli effetti sperimentali originali, anzi chi si dedica a questo tipo di verifiche minaccerebbe pubblicamente l'integrità dei propri colleghi. È così?

No, non è così. La replicabilità è una caratteristica irrinunciabile dei risultati scientifici. Per sapere se un risultato è replicabile o meno c’è una sola via: ripetere la ricerca originale.

5) Se i risultati di uno studio non sono replicati da altri autori, le opzioni per il ricercatore dello studio originale sono di ammettere o negare gli errori. Le conseguenze nel primo caso potrebbero mettere in pericolo la sua posizione accademica - soprattutto se è a tempo - la sua reputazione oppure la sua disponibilità di fondi di ricerca attuali e futuri. Questo può indurre a difendere a oltranza i propri dati a scapito di una discussione davvero costruttiva per la scienza?

È inevitabile che un ricercatore cerchi di “difendere” i risultati della propria ricerca e, soprattutto, l’interpretazione che ne ha proposta. È altrettanto inevitabile che altri mettano alla prova l’attendibilità di quegli stessi risultati e ne propongano interpretazioni alternative. I progressi scientifici emergono proprio da questa dialettica. È meno inevitabile, anche se accade frequentemente, che queste dispute scientifiche si trasformino in dispute personali. Le dispute, quando diventano personali, impediscono il progresso scientifico e spingono a perpetrare frodi (vedi la mia risposta alla prima domanda). Questo è un rischio che va a tutti i costi evitato e il lavorare in gruppo rende più facile evitarlo. Certo che quando sento colleghi dire che i loro articoli sono come loro figli, mi preoccupo. Per difendere i propri figli si è disposti a tutto. Per difendere i propri articoli è lecito usare solo l’arma dell’evidenza empirica e dell’acume intellettuale.

6) Susan Fiske ha accusato di “terrorismo metodologico” chi critica gli studi scientifici sui social network. Un suo editoriale su Observer ha creato una forte discussione. L'articolo è stato pubblicato il 31 ottobre. Secondo Fiske le critiche degli “avversari” devono essere espresse in forma privata oppure in commenti moderati. In realtà questo tipo di revisione su diversi social media, successiva alla pubblicazione, si sta rivelando importante e utile.

I post su Blog, Facebook e Twitter da parte di scienziati, studenti o altre figure competenti che criticano nel merito e nel metodo un nuovo studio pubblicato hanno un ruolo nel dibattito scientifico?

Si, certo che ce l’hanno. Tutte le critiche hanno, se ragionevoli, un ruolo importante, direi essenziale, di stimolo all’approfondimento delle conoscenze. Se queste critiche, per quanto distruttive, sono espresse in forma moderata, svolgono meglio il loro ruolo di stimolare un dibattito costruttivo. Tuttavia, il “modo” di esprimerle mi sembra molto meno importante del loro contenuto. Per quanto riguarda il “luogo” dove rendere pubbliche le critiche, direi che le riviste scientifiche che assicurano un adeguato processo di “referaggio” sono preferibili. E ciò perché le critiche che appaiono in queste riviste sono già state vagliate da alcuni esperti, che le hanno trovate, quanto meno, interessanti. Tuttavia, ritengo che non sia il “luogo” dove la critica appare a fare la differenza. Ciò che conta è l’evidenza empirica e la logica dell’argomentazione.

7) In verità anche le critiche a Fiske sono state dello stesso tenore, agguerrite, sintomo di una tensione molto forte tra l'approccio conservatore di molti accademici e l'urgenza partecipativa alla discussione scientifica promossa attraverso i nuovi media. Questa tensione rischia di estremizzare il confronto senza approfondirne i temi in questione, contrapponendo l'arroccamento di intoccabili a una deriva di discredito. Eppure una via intermedia sembra funzionare bene su Twitter ed è la moderazione reciproca, l'attenzione degli scienziati più pratici del mezzo che si impegnano a riportare le diverse interazioni sul comune obiettivo di un confronto scientifico costruttivo. Quanto è importante esporsi, entrare nel dibattito pubblico, per gli scienziati? Quanto è importante che gli studenti, i dottorandi, apprendano anche l'abilità di discutere senza essere intimiditi?

Sono convinto che gli scienziati debbano partecipare al dibattito pubblico, particolarmente quando questo riguarda la distribuzione dei fondi pubblici per la ricerca. Non devono, però, cadere nella tentazione di enfatizzare il valore dei risultati ottenuti e di promettere molto di più di quanto possano mantenere. Una visione eccessivamente ottimistica dei risultati delle neuroscienze cognitive è stata recentemente propagandata nel campo delle neuroscienze cognitive. Si è fatto credere al pubblico che, a partire dai primi anni ’90 del XX secolo, le nostre conoscenze sui rapporti fra mente e cervello siano progrediti in modo vertiginoso. Di fatto, le nostre conoscenze in questo campo, relativamente agli aspetti di interesse generale, non specialistico, non sono molto superiori a quelle di 100 anni fa, più o meno. Una eccessiva esaltazione dei risultati ottenuti, oltre a peccare di onestà verso coloro che le nostre ricerche, in ultima analisi, finanziano, è anche controproducente. Come dice il proverbio, “le bugie hanno le gambe corte” e l’amara verità presto emerge.

8) Questa discussione non riguarda solo la ricerca psicologica: analoghe critiche si stanno sviluppando per la medicina, la biologia, la genetica,... Si tratta di una fase dell'evoluzione della scienza?

Certamente le stesse critiche hanno investito, con qualche anno di anticipo, la genetica. La mia impressione è che il problema riguardi tutte le discipline che condividono le procedure di inferenza statistica e, quindi, si trovano ad affrontare gli stessi problemi e anche ad adottare le stesse scorciatoie per evitarli (non, purtroppo, per risolverli). L’inferenza statistica basata sul rifiuto/non rifiuto dell’ipotesi nulla è stata introdotta agli inizi del XVIII secolo. Il metodo rivale, il metodo bayesiano, risale a circa 50 anni dopo. E’ chiaro che quando, quasi 300 anni dopo, ci si trova ad affrontare il problema di eseguire centinaia di migliaia di confronti in una sola ricerca (neuroimmagini, genetica) sia necessario esplorare nuove vie.

9) Ha degli effetti a livello pratico questa discussione? Sta cambiando il modo di condurre le diverse fasi di una ricerca sperimentale?

Io direi proprio di si. L’enfasi sulla potenza delle procedure di inferenza statistica, l’importanza data alla “grandezza dell’effetto”, la sempre maggiore popolarità dei metodi bayesiani e, soprattutto, l’introduzione degli articoli pre-registrati, sono tutti indizi del fatto che il sistema possiede i modi per autocorregersi e sta cominciando a farlo.

10) Sono da riscrivere i manuali di psicologia?

Non lo so e dubito che qualcuno sia, allo stato, in grado di rispondere a questa domanda. E neppure mi sembra una priorità riscrivere i manuali. Come è sempre accaduto, i manuali seguiranno, pur con un certo ritardo, i progressi delle conoscenze.

11) Da cosa giudica un ricercatore promettente?

Una buona ricerca implica l’esecuzione di queste fasi: individuazione di un problema che valga la pena di essere affrontato (bisogna conoscere la letteratura), trasformare il problema in una ricerca eseguibile e in grado dare risposte sensate al problema (bisogna conoscere il disegno sperimentale e l’inferenza statistica), eseguire gli esperimenti (bisogna avere già eseguito esperimenti simili), analizzare i risultati (bisogna conoscere l’inferenza statistica), scrivere il rapporto finale (l’articolo) che rende pubblici i risultati ottenuti (bisogna conoscere la letteratura e sapere scrivere in inglese). Un ricercatore è promettente se dimostra di fare progressi in tutte le fasi, anche se non contemporaneamente.


Sul tema: I sette vizi della psicologia e il Manifesto di Chambers (6/8/2017)