tizianametitieri.net

domenica 30 dicembre 2018

Videogiochi d'azione contro la dislessia? Le cattive pratiche da lasciare nel 2018



A fine novembre è stata pubblicata su Il Bo Live una notizia dal titolo che mi è sembrato subito esagerato:



Alle Esagerazioni della comunicazione scientifica ho dedicato un'apposita sezione di questo blog.


La notizia non era neppure così originale.



Le conclusioni dell'articolo scritto da Francesca Bastianon su Il Bo Live recitano così:
Alla fine del training, i bambini sono stati suddivisi in due gruppi in base all’andamento dei punteggi nei videogiochi. Dai risultati finali si è constatato che il gruppo con punteggi di gioco più elevati era anche quello che ha ottenuto benefici maggiori nella lettura e nella memoria.

Nell'articolo non si fa menzione dell'esiguo numero di bambini sottoposti al training né dell'assenza di un gruppo di controllo, né degli artifici nell'analisi dei pochi dati raccolti per riuscire a spuntare una minima significatività statistica (mai inferiore a p=.02).

La notizia è stata diffusa anche da altre testate come Le Scienze e Galileo.
La notizia è stata data sempre allo stesso modo, riproducendo il comunicato stampa dell'Università di Padova.

Quindi ci sono due problemi:
- quello creato dai giornalisti nel diffondere notizie scientifiche senza una minima lettura critica;
- quello creato dai ricercatori che esagerano i propri risultati scientifici per attirare l'attenzione dei mezzi di comunicazione, anche quando il metodo seguito è molto debole.

Come ammoniva Ben Goldacre (How can we stop academic press releases misleading the public?), più di un terzo delle notizie scientifiche diffuse sui mezzi di comunicazione contiene esagerazioni. E non ne sono immuni neppure gli uffici stampa delle riviste scientifiche o – in questo caso - degli enti di ricerca. Si tratta di un problema serio, soprattutto negli ambiti della salute, perché oltre a condizionare le conoscenze del pubblico, ne limita o devia le eventuali richieste di diagnosi e trattamento.

(dal post Un marcatore genetico per la diagnosi precoce di dislessia? Che esagerazione!)




Nell’a.s. 2016/2017 il numero degli alunni con Disturbi Specifici dell’Apprendimento frequentanti le scuole italiane di ogni ordine e grado si è attestato complessivamente intorno alle 254.600 unità, pari al 2,9% del totale degli alunni.

In termini percentuali gli alunni con dislessia rappresentano l’1,6% del totale degli alunni che frequentano le scuole di ogni ordine e grado; gli alunni con disgrafia lo 0,7%, gli alunni con disortografia lo 0,8%, gli alunni con discalculia lo 0,7% .


La dislessia è dunque una condizione abbastanza frequente e nelle nostre scuole esistono norme e indicazioni ministeriali ben definite sia per il riferimento precoce ai fini della diagnosi sia per l'adozione delle strategie compensative e delle misure dispensative previste dal piano didattico personalizzato.

Nei primi anni della scuola primaria, inoltre, è possibile attuare interventi riabilitativi efficaci nel potenziare la decodifica automatica del codice alfabetico e la consapevolezza fonologica. Tali tipi di interventi sono i più studiati e hanno dimostrato i maggiori e persistenti benefici sulla lettura. L'invio preferenziale è ai logopedisti esperti a meno che non si constati, in rari casi, una elevata frequenza di altre difficoltà – di tipo visivo, visuospaziale, attentivo.

Una condizione così frequente non può non stuzzicare numerose idee commerciali: dalla vendita di appositi occhiali colorati ai pacchetti di ginnastica oculare degli esercizi optometrici oppure ancora dai farmaci ai videogiochi.

Si tratta di misure che, quando rigorosamente studiate, non hanno dimostrato un'efficacia nel migliorare le abilità di lettura di bambini e ragazzi con dislessia.






Leggendo l'articolo di Sandro Franceschini e Sara Bertoni - Improving Action Video Games Abilities Increases the Phonological Decoding Speed and Phonological Short-Term Memory in Children with Developmental Dyslexia - pubblicato sulla rivista Neuropsychologia balzano all'occhio tutte le debolezze metodologiche:

- sono soltanto 18 i soggetti testati - bambini e adolescenti - con una variabilità troppo ampia nella scolarità (dalla terza primaria alla terza secondaria di primo grado);

- la diagnosi di dislessia segue i criteri standardizzati ma usa il criterio lasso di -1.5 deviazioni standard dalla media in almeno uno di due test di lettura. Da un punto di vista clinico, tali criteri, se possono essere indicati negli ampi studi di popolazione, sono insufficienti per una diagnosi, mancando anche i dati di QI, di efficienza attentiva e tempi di reazione;

- solo dopo e in base ai punteggi – alti o bassi – ottenuti ai due videogiochi usati, i soggetti vengono ulteriormente divisi in due piccoli gruppi e confrontati sui dati trasformati delle prove di lettura: non viene argomentato il fatto che siano i più grandi a ottenere punteggi più alti rendendo la variabile età – che porta con sé maggiori abilità di lettura, più strategie compensative, maggiore esposizione ai videogiochi - un fattore confondente da controllare;
To differentiate between children that acquired good abilities in AVG performance and those that did not reach high game score, since we did not have a reference average score, we divided the total group of players with DD in those who showed a game score improvement greater than the median score (high learning player, HL, n= 8: 1 female and 3 males for Plants vs zombies, 1 female and 3 males for Nanostray 2) and those who showed an improvement lower or equal than the median score (low learning player, LL, n= 10 : 3 female and 2 males for Plants vs zombies, 3 female and 2 males for Nanostray 2).

Game score improvements in this group of children were correlated to age (r Spearman=.67, p=.047) and in the speed of the standardized pseudowords reading task measured in pre training (r Spearman=-.67, p=.045).

- il training consiste in 12 sessioni di 1 ora al giorno per due settimane e al termine vengono riproposte le stesse prove di lettura completate prima dell'ora supplementare di videogiochi: gli autori non fanno riferimento a versioni alternative delle prove di lettura fatte prima e dopo né argomentano sugli altamente probabili effetti dovuti alla ripetizione e quindi alla pratica nei test;

- passo sulla scelta dei due videogiochi (Plant versus zombies garden warfare e Nanostray 2) e sulle due console usate che rendono il disegno sperimentale ancora più eterogeneo;

- il dato cruciale è così presentato: il gruppo che ha ottenuto punteggi alti ai videogiochi (HL) ha migliorato, rispetto al gruppo che ha ottenuto punteggi bassi ai videogiochi (LL), il numero di sillabe lette per secondo nella prova di non-parole (indicate come valore assoluto e senza specificare il grado scolastico corrispondente) e questo miglioramento non è diverso da quello che viene raggiunto spontaneamente da un bambino con dislessia ogni anno.
A Wilcoxon signed-rank test showed that in the HL group, there was a significant improvement in syll/sec reading rate between pre- and post-training (Z=-2.24, p=.025). The clinical relevance of this result can be fully appreciated by noting that the pseudo-words decoding improvements obtained by this clinical AVG trainings in HL group of children with DD (mean .11 syll/sec) were not significantly different (Z=-.98, p=.327) than the mean improvements expected in a DD child (.15 syll/sec) after 1 year of spontaneous reading development (Tressoldi et al., 2001).


Quindi, al più e con tutte le enormi riserve per uno studio così debole in tutti i requisiti metodologici, giocare a quei due videogiochi per un'ora al giorno (in più rispetto al resto) per due settimane fa raggiungere a un bambino con dislessia quello che raggiungerebbe comunque in un anno.
In altre parole, per alcuni bambini/adolescenti svolgere una stessa e unica prova di lettura a distanza di due settimane ha un minimo vantaggio... ma non sappiamo bene a cosa sia dovuto e non possiamo escludere sia per la pratica!

Nell'articolo i due autori non citano neppure le prove negative alla loro ipotesi e che sono state dimostrate con metodi più rigorosi (maggior numero di soggetti, dati clinici completi, presenza di un gruppo di controllo, confronto tra un videogioco d'azione e un videogioco di tipo fonologico). 
Ad esempio, nel sommario allo studio di Magdalena Łuniewska e collaboratori (Sci Rep. 2018) si legge che “gli studi che esaminano l'efficacia dell'applicazione dei videogiochi d'azione (AVG) nella dislessia soffrono di significative debolezze metodologiche come le piccole dimensioni del campione e la mancanza di un gruppo di controllo senza training. Nel nostro studio, abbiamo testato due tipi di training in un gruppo di 54 bambini con dislessia: uno basato su videogiochi d'azione e uno su videogiochi fonologici non di azione (PNAVG). Sia la velocità che la correttezza della lettura sono migliorate dopo entrambi i training. Inoltre, entrambi i gruppi sono migliorati nella consapevolezza fonologica, nell'attenzione selettiva e nella denominazione rapida. Criticamente, i progressi nella lettura dei due gruppi non differivano da quelli di un gruppo di controllo di bambini con dislessia che non aveva partecipato ad alcun training. Pertanto, il miglioramento osservato nella lettura dopo un training con videogiochi può essere attribuito al normale sviluppo delle abilità di lettura per effetto della scolarizzazione oppure all'effetto della pratica nel test”.


Nell'attesa di vedere replicate eventuali ulteriori 'scoperte' nella dislessia, mi auguro che nel 2019 si sviluppi un maggiore senso di responsabilità in chi fa ricerca e in chi la comunica.

Fare ricerca in ambiti che hanno una ricaduta clinica comporta dare speranze e aspettative alle famiglie, determinare le loro scelte in materia di riabilitazione, cambiare le prospettive di miglioramento dei bambini, usare al meglio le risorse pubbliche e garantire l'uguaglianza nell'accesso a percorsi validati ed efficaci.

Ancor più in questi anni di grande rinnovamento metodologico della ricerca bio-medico-psico-sociale non si può ignorare la chiamata alle buone pratiche.

Lascerei nel 2018 l'opzione di illudere i cittadini che accedono al servizio sanitario nazionale, di fornire false informazioni sulla salute, di ignorare le conseguenze delle proprie interpretazioni scientifiche non replicate, di sprecare soldi pubblici...


Soprattutto, bisogna dimenticare la follia di pensare che un risultato, per essere pubblicabile, debba essere “originale” e sanzionare severamente l’uso dell’inferenza statistica come frenetico tentativo di trovare un modo di dimostrare che il risultato trovato è “significativo”.





4 commenti:

  1. Ottimo, dottoressa Metitieri, ora ci provo io: la seguo nel suo elegante ragionamento per farle vedere cosa ne viene fuori:
    credo che il sopracitato Ben Goldracre avesse pienamente ragione, e avrebbe potuto prendere questa pagina del suo blog come esempio per far vedere la coesistenza nella stessa pagina internet di due tipi di problemi. Qui vediamo un ricercatore (Metitieri) che ripetutamente negli anni esagera nel tirare conclusioni basandosi ad esempio su campioni di tre partecipanti (2013) sei partecipanti (2017) undici vs nove partecipanti (2017; il 2012 e il 2016 quindi si candidavano già ad anni per dare avvio alla buona ricerca, no? Io non credo assolutamente a questo modo di ragionare, altrimenti non leggerei con vero interesse anche le ricerche alla base delle teorie meta-fonologiche, sostenute anche da evidenze su gruppi di n 6 topi dietro l’ipotesi di Ramus del 2004, o modelli sull’illusory recovery (3 soggetti come nella sua ricerca) citati anche da Bishop e Snowling, sempre 2004, per trarne spunti che possono anche portare a buone intuizioni).
    Poi sempre Metitieri si applica nel ruolo di giornalista, commettendo inesattezze nel (corretto n.d.r.) tentativo di lettura critica. Elenco e intervengo su alcune di queste
    1) Meno 1,5 DS nelle prove di lettura è il punteggio che osservavamo somministrando test classici di valutazione della lettura in bambini che già avevano ricevuto diagnosi di dislessia (quindi rispondevano alle caratteristiche dettate in Italia riguardo al grado di difficoltà nelle abilità di lettura, QI, ed efficienza attentiva; sul test dei tempi di reazione mi risulta nuova esista questa direttiva visto che c’è chi sostiene sia proprio questo il problema delle persone con dislessia (Kail, 1991)) e che erano già stati trattati, non sappiamo quante volte avessero visto gli item di quel test, quindi a quali effetti di test re-test si andasse incontro misurando con questi strumenti.
    2) Come dichiarato, essendo quella pubblicata una ricerca con campione clinico, abbiamo utilizzato bambini afferenti centri che già avevano trattato questi con altri training, non li abbiamo selezionati per età perché non ci aspettavamo un effetto legato a questa variabile (vedi anche sotto). Come mi sembra di capire, anche lei nel corso degli anni si è scontrata con qualche problema di campionamento.
    3) L’incremento medio, in sillabe al secondo, nella lettura di non parole, in base alla letteratura italiana non varia in relazione al grado scolastico, fin forse oltre il liceo, quindi il paragrafo riguardante quest’aspetto, così com’è, non ha senso.
    4) “quindi, al più e con tutte le enormi riserve per uno studio così debole in tutti i requisiti metodologici, giocare a quei videogiochi per un ora al giorno (in più rispetto al resto il resto), fa raggiungere a un bambino con dislessia quello che raggiungerebbe comunque in un anno” Questo è esattamente quello che confidiamo sia l’effetto dei videogames sulla lettura (con tutti i dubbi del caso), e che avevamo ottenuto anche nella precedente ricerca del 2013 e in una replica del 2017). Non so a cosa si riferisca con in più a tutto il resto, altri eventuali training di altra natura o l’uso di videogame durante le 2 settimane erano vietate. Questa frase mi fa temere che non sappia che quella soglia a cui ci riferiamo è quella che in Italia si usa per valutare l’efficacia clinica, ma sicuramente ne sa più di me e quindi si è solo spiegata male generando ulteriore confusione.
    ...(continua nel commento successivo)
    Sara e Sandro

    RispondiElimina
  2. 5) Il test di lettura che utilizzavamo era diverso nelle due diverse valutazioni per ridurre il possibile effetto test re-test spesso ignorato nella ricerca italiana e non. In questa ricerca, è vero, non avevamo gruppo di controllo, lo avevamo nel 2013 (con anche lo stesso identico strumento di valutazione) e nel 2017, e non osservavamo un effetto test re-test.
    6) Nel nostro articolo citiamo i risultati di Luniewska et al. (2017). Immagino anche lei abbia letto attentamente l’articolo prima di citarlo a sua volta. Avrà quindi notato che utilizzando un campione più ampio dei nostri, e somministrando due training attivi, uno basato su action videogames, uno con esercizi fonologici e di associazione suono-lettere (mi sento di definirlo phonics) in forma di gioco, ottengono con entrambi i training risultati positivi su prove di lettura (ripeto perché importante, “lettura”) e di denominazione rapida. Attribuiscono però massivamente questi effetti semplicemente ad un probabile effetto test re-test (pur utilizzando prove con stimoli diversi e controbilanciati nelle due misurazioni della lettura). Difficile dar loro ragione, visto che entrambi i training, almeno dal mio punto di vista hanno il potenziale per risultare efficaci, vabbè, punti di vista. Per dimostrare che è così però, paragonano le performance dei bambini che hanno fatto uno dei due training con quelle di un gruppo di bambini che dal computer di casa risponde, col mouse, a compiti di decisione lessicale, ortografica e comprensione di frasi. In questi compiti, le performance non risultano diverse nei tre gruppi. Nel mio modo di vedere e degli autori della ricerca i compiti sono diversi, e non si parla nel secondo caso di compiti di lettura, ma connessi alla lettura, non so quanto sensibili a piccoli miglioramenti nella velocità di lettura. Comunque questo articolo, se mette in crisi i training con gli action videogame, potrebbe mettere in crisi anche quelli “tradizionali” che utilizzano la decodifica automatica del codice alfabetico e la consapevolezza fonologica.
    7) Rimanendo su questo punto, con questo articolo abbiamo cercato di dimostrare che se il training con i videogiochi può influenzare le abilità di lettura, può essere per l’effetto sulle abilità attenzionali coinvolte nella lettura. Con i training basati sul miglioramento della decodifica automatica del codice alfabetico e la consapevolezza fonologica (le ricordo che in termini di dimensioni dell’effetto si parla di un’efficacia, in lingue diverse dall’italiano, di un g=.3 (Trimmed=0.198, si calcoli a cosa corrisponde in sillabe al secondo una variazione di queste dimensioni, poi si gusti l’effetto osservato sulle ricerche in lingua italiana prima di scrivere il prossimo post; i dati sono in Galuschka et al., 2014), andando ad agire direttamente sull’insegnamento della lettura, si fa fatica a capire su quali variabili cognitive si stia lavorando. In parole semplici, se il training per migliorare la lettura si basa su esercizi di lettura e scrittura, si fa fatica a capire su quali delle diverse variabili in gioco si stia facendo leva col training. Non mi sembra gonfiare il dato dimostrare che il training che abbiamo proposto sembri a volte funzionare e a volte non funzionare, e dire quali parametri considerare per verificare se davvero stiamo manipolando le capacità attentive, e la lettura.
    ... (continua nel prossimo commento)

    Sara e Sandro

    RispondiElimina
  3. 8) Col suo modo di scrivere fa passare l’idea che la nostra sia in una manovra commerciale. Credo che questa accusa si possa fare a qualunque ricerca. Se si fosse documentata, avrebbe osservato che sul sito decone forniamo gratuitamente test di valutazione della dislessia, test di valutazione delle abilità attentive, training basati su metodi attentivi e fonologici (https://www.dpg.unipd.it/en/deconelab/materials) . Credo questi siano modi per far risparmiare soldi pubblici e privati. Potenzialmente giochi simili a quelli utilizzati potrebbero essere gratuitamente scaricati da siti internet emulatori di vecchi videogame. Noi non vendiamo e non riceviamo in nessun modo soldi da chi produce o vende training, e fuori dalle conferenze alle quali partecipiamo, nessuno vende libri o abbonamenti a siti con training basati su dati delle nostre ricerche o simili.
    Queste le pecche che trovo nel suo metodo di ragionamento e nella sua esposizione giornalistica. Posso condividere parte dei principi, accettiamo alcune critiche e sappiamo di essere lontano anni luce dalla perfezione, altre affermazioni però sono decisamente scorrette, e su certe cose secondo me dovrebbe documentarsi meglio. Quel che comunque non accetto è che possa criticare me e la collega. “Mi auguro che nel 2019 si sviluppi un maggiore senso di responsabilità in chi fa ricerca e in chi la comunica (Metitieri, 2018)”.

    Sandro e Sara

    RispondiElimina
    Risposte
    1. Gent.mi Sandro Franceschini e Sara Bertoni,
      vi ringrazio molto per questo lungo commento.
      Da qui si comprendono meglio gli spunti e i limiti del vostro studio.
      La mia critica è a come si comunicano le informazioni scientifiche: è diventata un'abitudine esagerarle, parlando sempre di grandi scoperte. Seguo questo modo di fare comunicazione scientifica e cerco di evidenziare l'altra faccia delle informazioni che non viene comunicata. Sono una neuropsicologa clinica, lavoro in ospedale e vedo come le famiglie siano sensibili a ogni news enfatica che condiziona i loro comportamenti e le loro scelte. A questo bisogna stare attenti, è questo quello che intendo per responsabilità. Non ho scritto e non penso che abbiate scopi commerciali. In ogni caso, non ritengo sia una cattiva pratica commercializzare nuovi prodotti - ce ne fossero di più in riabilitazione! - sulla base di solidi dati scientifici.
      Quanto alle mie ricerche, vi ringrazio di aver prestato attenzione: le mie aree riguardano pazienti con condizioni più rare e sono descrizioni d'interesse clinico e con questo non nego le debolezze - espresse in ciascun lavoro - degli studi su piccoli gruppi.
      Non penso che i risultati di una ricerca siano sacri.
      Se ne può discutere, a partire dagli articoli scientifici. E per questo apprezzo la vostra risposta. Ma ripeto sono partita dalle news con quel titolo, non dal modo in cui conducete il vostro lavoro a Padova sulla cui integrità non ho dubbi né tanto meno dalle ipotesi sottostanti al lavoro di anni, che seguo dal punto di vista clinico.
      Ho abbastanza chiare le evidenze scientifiche sugli interventi più efficaci nella dislessia e continuo a seguire la letteratura sull'argomento.
      Non me ne vogliano i giornalisti se sono stata associata alla categoria.
      Alcuni a volte amplificano la portata dei risultati di una ricerca che è già stata amplificata nel comunicato stampa dell'ente o università in cui è stata condotta. Tuttavia, senza il loro lavoro vivremmo nel buio confortante delle nostro piccole conoscenze settoriali.
      Il mio augurio è che tutti contribuiamo a migliorare il modo di fare comunicazione scientifica, affinché diventi più trasparente e obbiettiva, a beneficio della collettività.
      Buon lavoro!

      Elimina