A
fine novembre è stata pubblicata su Il Bo Live una notizia dal
titolo che mi è sembrato subito esagerato:
Alle
Esagerazioni della comunicazione scientifica ho dedicato
un'apposita sezione di questo blog.
La
notizia non era neppure così originale.
Le
conclusioni dell'articolo scritto da Francesca Bastianon su Il Bo
Live recitano così:
Alla fine del training, i bambini sono stati suddivisi in due gruppi in base all’andamento dei punteggi nei videogiochi. Dai risultati finali si è constatato che il gruppo con punteggi di gioco più elevati era anche quello che ha ottenuto benefici maggiori nella lettura e nella memoria.
Nell'articolo
non si fa menzione dell'esiguo numero di bambini sottoposti al
training né dell'assenza di un gruppo di controllo, né degli
artifici nell'analisi dei pochi dati raccolti per riuscire a spuntare
una minima significatività statistica (mai inferiore a p=.02).
La
notizia è stata diffusa anche da altre testate come Le Scienze e
Galileo.
La
notizia è stata data sempre allo stesso modo, riproducendo il
comunicato stampa dell'Università di Padova.
Quindi
ci sono due problemi:
-
quello creato dai giornalisti nel diffondere notizie scientifiche
senza una minima lettura critica;
-
quello creato dai ricercatori che esagerano i propri risultati
scientifici per attirare l'attenzione dei mezzi di comunicazione,
anche quando il metodo seguito è molto debole.
Come
ammoniva Ben Goldacre (How
can we stop academic press releases misleading the public?),
più di un terzo delle notizie scientifiche diffuse sui mezzi di
comunicazione contiene esagerazioni. E non ne sono immuni neppure gli
uffici stampa delle riviste scientifiche o – in questo caso - degli
enti di ricerca. Si tratta di un problema serio, soprattutto negli
ambiti della salute, perché oltre a condizionare le conoscenze del
pubblico, ne limita o devia le eventuali richieste di diagnosi e
trattamento.
(dal post Un marcatore genetico per la diagnosi precoce di dislessia? Che esagerazione!)
Secondo
gli ultimi dati forniti dal MIUR - Ufficio Statistica e Studi: dati nazionali alunni con DSA a.s. 2016/2017:
Nell’a.s. 2016/2017 il numero degli alunni con Disturbi Specifici dell’Apprendimento frequentanti le scuole italiane di ogni ordine e grado si è attestato complessivamente intorno alle 254.600 unità, pari al 2,9% del totale degli alunni.
In termini percentuali gli alunni con dislessia rappresentano l’1,6% del totale degli alunni che frequentano le scuole di ogni ordine e grado; gli alunni con disgrafia lo 0,7%, gli alunni con disortografia lo 0,8%, gli alunni con discalculia lo 0,7% .
La
dislessia è dunque una condizione abbastanza frequente e nelle
nostre scuole esistono norme e indicazioni ministeriali ben definite
sia per il riferimento precoce ai fini della diagnosi sia per
l'adozione delle strategie compensative e delle misure dispensative
previste dal piano didattico personalizzato.
Nei
primi anni della scuola primaria, inoltre, è possibile attuare
interventi riabilitativi efficaci nel potenziare la decodifica
automatica del codice alfabetico e la consapevolezza fonologica.
Tali tipi di interventi sono i più studiati e hanno
dimostrato i maggiori e persistenti benefici sulla lettura. L'invio preferenziale è
ai logopedisti esperti a meno che non si constati, in rari casi, una elevata frequenza di altre difficoltà – di tipo visivo,
visuospaziale, attentivo.
Una
condizione così frequente non può non stuzzicare numerose idee
commerciali: dalla vendita di appositi occhiali colorati ai pacchetti
di ginnastica oculare degli esercizi optometrici oppure ancora dai
farmaci ai videogiochi.
Si
tratta di misure che, quando rigorosamente studiate, non hanno
dimostrato un'efficacia nel migliorare le abilità di lettura di
bambini e ragazzi con dislessia.
Leggendo
l'articolo di Sandro Franceschini e Sara Bertoni - Improving Action Video Games Abilities Increases the Phonological Decoding Speed and Phonological Short-Term Memory in Children with Developmental Dyslexia - pubblicato sulla rivista
Neuropsychologia balzano all'occhio tutte le debolezze metodologiche:
-
sono soltanto 18 i soggetti testati - bambini e adolescenti -
con una variabilità troppo ampia nella scolarità (dalla terza
primaria alla terza secondaria di primo grado);
-
la diagnosi di dislessia segue i criteri standardizzati ma usa il
criterio lasso di -1.5 deviazioni standard dalla media in
almeno uno di due test
di lettura. Da un punto di vista clinico, tali criteri, se possono
essere indicati negli ampi studi di popolazione, sono insufficienti
per una diagnosi, mancando anche i dati di QI, di efficienza
attentiva e tempi di reazione;
-
solo dopo e in base ai punteggi – alti o bassi – ottenuti ai due
videogiochi usati, i soggetti vengono ulteriormente divisi in due
piccoli gruppi e confrontati sui dati trasformati delle prove di
lettura: non viene argomentato il fatto che siano i più grandi a
ottenere punteggi più alti rendendo la variabile età – che porta
con sé maggiori abilità di lettura, più strategie compensative,
maggiore esposizione ai videogiochi - un fattore confondente da
controllare;
To differentiate between children that acquired good abilities in AVG performance and those that did not reach high game score, since we did not have a reference average score, we divided the total group of players with DD in those who showed a game score improvement greater than the median score (high learning player, HL, n= 8: 1 female and 3 males for Plants vs zombies, 1 female and 3 males for Nanostray 2) and those who showed an improvement lower or equal than the median score (low learning player, LL, n= 10 : 3 female and 2 males for Plants vs zombies, 3 female and 2 males for Nanostray 2).
Game score improvements in this group of children were correlated to age (r Spearman=.67, p=.047) and in the speed of the standardized pseudowords reading task measured in pre training (r Spearman=-.67, p=.045).
-
il training consiste in 12 sessioni di 1 ora al giorno per due
settimane e al termine vengono riproposte le stesse prove di lettura
completate prima dell'ora supplementare di videogiochi: gli autori
non fanno riferimento a versioni alternative delle prove di lettura
fatte prima e dopo né argomentano sugli altamente probabili effetti
dovuti alla ripetizione e quindi alla pratica nei test;
-
passo sulla scelta dei due videogiochi (Plant versus zombies garden warfare e Nanostray 2) e sulle due console usate che
rendono il disegno sperimentale ancora più eterogeneo;
-
il dato cruciale è così presentato: il gruppo che ha ottenuto
punteggi alti ai videogiochi (HL) ha migliorato, rispetto al gruppo
che ha ottenuto punteggi bassi ai videogiochi (LL), il numero di
sillabe lette per secondo nella prova di non-parole (indicate come
valore assoluto e senza specificare il grado scolastico
corrispondente) e questo miglioramento non è diverso da quello che
viene raggiunto spontaneamente da un bambino con dislessia ogni anno.
A Wilcoxon signed-rank test showed that in the HL group, there was a significant improvement in syll/sec reading rate between pre- and post-training (Z=-2.24, p=.025). The clinical relevance of this result can be fully appreciated by noting that the pseudo-words decoding improvements obtained by this clinical AVG trainings in HL group of children with DD (mean .11 syll/sec) were not significantly different (Z=-.98, p=.327) than the mean improvements expected in a DD child (.15 syll/sec) after 1 year of spontaneous reading development (Tressoldi et al., 2001).
Quindi,
al più e con tutte le enormi riserve per uno studio così debole in
tutti i requisiti metodologici, giocare a quei due videogiochi per
un'ora al giorno (in più rispetto al resto) per due settimane fa
raggiungere a un bambino con dislessia quello che raggiungerebbe
comunque in un anno.
In
altre parole, per alcuni bambini/adolescenti svolgere una stessa e
unica prova di lettura a distanza di due settimane ha un minimo
vantaggio... ma non sappiamo bene a cosa sia dovuto e non possiamo
escludere sia per la pratica!
Nell'articolo
i due autori non citano neppure le prove negative alla loro ipotesi e
che sono state dimostrate con metodi più rigorosi (maggior numero di
soggetti, dati clinici completi, presenza di un gruppo di controllo,
confronto tra un videogioco d'azione e un videogioco di tipo
fonologico).
Ad esempio, nel sommario allo studio di
Magdalena
Łuniewska e
collaboratori (Sci Rep. 2018)
si legge che “gli studi che esaminano l'efficacia dell'applicazione
dei videogiochi d'azione (AVG) nella dislessia soffrono di
significative debolezze metodologiche come le piccole dimensioni del
campione e la mancanza di un gruppo di controllo senza training. Nel
nostro studio, abbiamo testato due tipi di training in un gruppo di
54 bambini con dislessia: uno basato su videogiochi d'azione e uno su
videogiochi fonologici non di azione (PNAVG). Sia la velocità che la
correttezza della lettura sono migliorate dopo entrambi i training.
Inoltre, entrambi i gruppi sono migliorati nella consapevolezza
fonologica, nell'attenzione selettiva e nella denominazione rapida.
Criticamente, i progressi nella lettura dei due gruppi non
differivano da quelli di un gruppo di controllo di bambini con
dislessia che non aveva partecipato ad alcun training. Pertanto, il
miglioramento osservato nella lettura dopo un training con
videogiochi può essere attribuito al normale sviluppo delle abilità
di lettura per effetto della scolarizzazione oppure all'effetto della
pratica nel test”.
Nell'attesa
di vedere replicate eventuali ulteriori 'scoperte' nella dislessia,
mi auguro che nel 2019 si sviluppi un maggiore senso di
responsabilità in chi fa ricerca e in chi la comunica.
Fare
ricerca in ambiti che hanno una ricaduta clinica comporta dare
speranze e aspettative alle famiglie, determinare le loro scelte in
materia di riabilitazione, cambiare le prospettive di miglioramento
dei bambini, usare al meglio le risorse pubbliche e garantire
l'uguaglianza nell'accesso a percorsi validati ed efficaci.
Ancor
più in questi anni di grande rinnovamento metodologico della ricerca
bio-medico-psico-sociale non si può ignorare la chiamata alle buone
pratiche.
Lascerei
nel 2018 l'opzione di illudere i cittadini che accedono al servizio
sanitario nazionale, di fornire false informazioni sulla salute, di
ignorare le conseguenze delle proprie interpretazioni scientifiche
non replicate, di sprecare soldi pubblici...
Soprattutto,
bisogna dimenticare la follia di pensare che un risultato, per essere
pubblicabile, debba essere “originale” e sanzionare severamente
l’uso dell’inferenza statistica come frenetico tentativo di
trovare un modo di dimostrare che il risultato trovato è
“significativo”.
Ottimo, dottoressa Metitieri, ora ci provo io: la seguo nel suo elegante ragionamento per farle vedere cosa ne viene fuori:
RispondiEliminacredo che il sopracitato Ben Goldracre avesse pienamente ragione, e avrebbe potuto prendere questa pagina del suo blog come esempio per far vedere la coesistenza nella stessa pagina internet di due tipi di problemi. Qui vediamo un ricercatore (Metitieri) che ripetutamente negli anni esagera nel tirare conclusioni basandosi ad esempio su campioni di tre partecipanti (2013) sei partecipanti (2017) undici vs nove partecipanti (2017; il 2012 e il 2016 quindi si candidavano già ad anni per dare avvio alla buona ricerca, no? Io non credo assolutamente a questo modo di ragionare, altrimenti non leggerei con vero interesse anche le ricerche alla base delle teorie meta-fonologiche, sostenute anche da evidenze su gruppi di n 6 topi dietro l’ipotesi di Ramus del 2004, o modelli sull’illusory recovery (3 soggetti come nella sua ricerca) citati anche da Bishop e Snowling, sempre 2004, per trarne spunti che possono anche portare a buone intuizioni).
Poi sempre Metitieri si applica nel ruolo di giornalista, commettendo inesattezze nel (corretto n.d.r.) tentativo di lettura critica. Elenco e intervengo su alcune di queste
1) Meno 1,5 DS nelle prove di lettura è il punteggio che osservavamo somministrando test classici di valutazione della lettura in bambini che già avevano ricevuto diagnosi di dislessia (quindi rispondevano alle caratteristiche dettate in Italia riguardo al grado di difficoltà nelle abilità di lettura, QI, ed efficienza attentiva; sul test dei tempi di reazione mi risulta nuova esista questa direttiva visto che c’è chi sostiene sia proprio questo il problema delle persone con dislessia (Kail, 1991)) e che erano già stati trattati, non sappiamo quante volte avessero visto gli item di quel test, quindi a quali effetti di test re-test si andasse incontro misurando con questi strumenti.
2) Come dichiarato, essendo quella pubblicata una ricerca con campione clinico, abbiamo utilizzato bambini afferenti centri che già avevano trattato questi con altri training, non li abbiamo selezionati per età perché non ci aspettavamo un effetto legato a questa variabile (vedi anche sotto). Come mi sembra di capire, anche lei nel corso degli anni si è scontrata con qualche problema di campionamento.
3) L’incremento medio, in sillabe al secondo, nella lettura di non parole, in base alla letteratura italiana non varia in relazione al grado scolastico, fin forse oltre il liceo, quindi il paragrafo riguardante quest’aspetto, così com’è, non ha senso.
4) “quindi, al più e con tutte le enormi riserve per uno studio così debole in tutti i requisiti metodologici, giocare a quei videogiochi per un ora al giorno (in più rispetto al resto il resto), fa raggiungere a un bambino con dislessia quello che raggiungerebbe comunque in un anno” Questo è esattamente quello che confidiamo sia l’effetto dei videogames sulla lettura (con tutti i dubbi del caso), e che avevamo ottenuto anche nella precedente ricerca del 2013 e in una replica del 2017). Non so a cosa si riferisca con in più a tutto il resto, altri eventuali training di altra natura o l’uso di videogame durante le 2 settimane erano vietate. Questa frase mi fa temere che non sappia che quella soglia a cui ci riferiamo è quella che in Italia si usa per valutare l’efficacia clinica, ma sicuramente ne sa più di me e quindi si è solo spiegata male generando ulteriore confusione.
...(continua nel commento successivo)
Sara e Sandro
5) Il test di lettura che utilizzavamo era diverso nelle due diverse valutazioni per ridurre il possibile effetto test re-test spesso ignorato nella ricerca italiana e non. In questa ricerca, è vero, non avevamo gruppo di controllo, lo avevamo nel 2013 (con anche lo stesso identico strumento di valutazione) e nel 2017, e non osservavamo un effetto test re-test.
RispondiElimina6) Nel nostro articolo citiamo i risultati di Luniewska et al. (2017). Immagino anche lei abbia letto attentamente l’articolo prima di citarlo a sua volta. Avrà quindi notato che utilizzando un campione più ampio dei nostri, e somministrando due training attivi, uno basato su action videogames, uno con esercizi fonologici e di associazione suono-lettere (mi sento di definirlo phonics) in forma di gioco, ottengono con entrambi i training risultati positivi su prove di lettura (ripeto perché importante, “lettura”) e di denominazione rapida. Attribuiscono però massivamente questi effetti semplicemente ad un probabile effetto test re-test (pur utilizzando prove con stimoli diversi e controbilanciati nelle due misurazioni della lettura). Difficile dar loro ragione, visto che entrambi i training, almeno dal mio punto di vista hanno il potenziale per risultare efficaci, vabbè, punti di vista. Per dimostrare che è così però, paragonano le performance dei bambini che hanno fatto uno dei due training con quelle di un gruppo di bambini che dal computer di casa risponde, col mouse, a compiti di decisione lessicale, ortografica e comprensione di frasi. In questi compiti, le performance non risultano diverse nei tre gruppi. Nel mio modo di vedere e degli autori della ricerca i compiti sono diversi, e non si parla nel secondo caso di compiti di lettura, ma connessi alla lettura, non so quanto sensibili a piccoli miglioramenti nella velocità di lettura. Comunque questo articolo, se mette in crisi i training con gli action videogame, potrebbe mettere in crisi anche quelli “tradizionali” che utilizzano la decodifica automatica del codice alfabetico e la consapevolezza fonologica.
7) Rimanendo su questo punto, con questo articolo abbiamo cercato di dimostrare che se il training con i videogiochi può influenzare le abilità di lettura, può essere per l’effetto sulle abilità attenzionali coinvolte nella lettura. Con i training basati sul miglioramento della decodifica automatica del codice alfabetico e la consapevolezza fonologica (le ricordo che in termini di dimensioni dell’effetto si parla di un’efficacia, in lingue diverse dall’italiano, di un g=.3 (Trimmed=0.198, si calcoli a cosa corrisponde in sillabe al secondo una variazione di queste dimensioni, poi si gusti l’effetto osservato sulle ricerche in lingua italiana prima di scrivere il prossimo post; i dati sono in Galuschka et al., 2014), andando ad agire direttamente sull’insegnamento della lettura, si fa fatica a capire su quali variabili cognitive si stia lavorando. In parole semplici, se il training per migliorare la lettura si basa su esercizi di lettura e scrittura, si fa fatica a capire su quali delle diverse variabili in gioco si stia facendo leva col training. Non mi sembra gonfiare il dato dimostrare che il training che abbiamo proposto sembri a volte funzionare e a volte non funzionare, e dire quali parametri considerare per verificare se davvero stiamo manipolando le capacità attentive, e la lettura.
... (continua nel prossimo commento)
Sara e Sandro
8) Col suo modo di scrivere fa passare l’idea che la nostra sia in una manovra commerciale. Credo che questa accusa si possa fare a qualunque ricerca. Se si fosse documentata, avrebbe osservato che sul sito decone forniamo gratuitamente test di valutazione della dislessia, test di valutazione delle abilità attentive, training basati su metodi attentivi e fonologici (https://www.dpg.unipd.it/en/deconelab/materials) . Credo questi siano modi per far risparmiare soldi pubblici e privati. Potenzialmente giochi simili a quelli utilizzati potrebbero essere gratuitamente scaricati da siti internet emulatori di vecchi videogame. Noi non vendiamo e non riceviamo in nessun modo soldi da chi produce o vende training, e fuori dalle conferenze alle quali partecipiamo, nessuno vende libri o abbonamenti a siti con training basati su dati delle nostre ricerche o simili.
RispondiEliminaQueste le pecche che trovo nel suo metodo di ragionamento e nella sua esposizione giornalistica. Posso condividere parte dei principi, accettiamo alcune critiche e sappiamo di essere lontano anni luce dalla perfezione, altre affermazioni però sono decisamente scorrette, e su certe cose secondo me dovrebbe documentarsi meglio. Quel che comunque non accetto è che possa criticare me e la collega. “Mi auguro che nel 2019 si sviluppi un maggiore senso di responsabilità in chi fa ricerca e in chi la comunica (Metitieri, 2018)”.
Sandro e Sara
Gent.mi Sandro Franceschini e Sara Bertoni,
Eliminavi ringrazio molto per questo lungo commento.
Da qui si comprendono meglio gli spunti e i limiti del vostro studio.
La mia critica è a come si comunicano le informazioni scientifiche: è diventata un'abitudine esagerarle, parlando sempre di grandi scoperte. Seguo questo modo di fare comunicazione scientifica e cerco di evidenziare l'altra faccia delle informazioni che non viene comunicata. Sono una neuropsicologa clinica, lavoro in ospedale e vedo come le famiglie siano sensibili a ogni news enfatica che condiziona i loro comportamenti e le loro scelte. A questo bisogna stare attenti, è questo quello che intendo per responsabilità. Non ho scritto e non penso che abbiate scopi commerciali. In ogni caso, non ritengo sia una cattiva pratica commercializzare nuovi prodotti - ce ne fossero di più in riabilitazione! - sulla base di solidi dati scientifici.
Quanto alle mie ricerche, vi ringrazio di aver prestato attenzione: le mie aree riguardano pazienti con condizioni più rare e sono descrizioni d'interesse clinico e con questo non nego le debolezze - espresse in ciascun lavoro - degli studi su piccoli gruppi.
Non penso che i risultati di una ricerca siano sacri.
Se ne può discutere, a partire dagli articoli scientifici. E per questo apprezzo la vostra risposta. Ma ripeto sono partita dalle news con quel titolo, non dal modo in cui conducete il vostro lavoro a Padova sulla cui integrità non ho dubbi né tanto meno dalle ipotesi sottostanti al lavoro di anni, che seguo dal punto di vista clinico.
Ho abbastanza chiare le evidenze scientifiche sugli interventi più efficaci nella dislessia e continuo a seguire la letteratura sull'argomento.
Non me ne vogliano i giornalisti se sono stata associata alla categoria.
Alcuni a volte amplificano la portata dei risultati di una ricerca che è già stata amplificata nel comunicato stampa dell'ente o università in cui è stata condotta. Tuttavia, senza il loro lavoro vivremmo nel buio confortante delle nostro piccole conoscenze settoriali.
Il mio augurio è che tutti contribuiamo a migliorare il modo di fare comunicazione scientifica, affinché diventi più trasparente e obbiettiva, a beneficio della collettività.
Buon lavoro!