C'è qualche ricerca/studio/sondaggio/… che ha cercato di stimare quanti abstracts di carta i ricercatori medici leggono quando preparano una revisione sistematica clinica?
Anche se questa sarà solo una risposta parziale, potrebbe aiutare a “capire meglio il processo di creazione di revisioni sistematiche”, come indicato nei commenti.
Una risposta ovvia da dare qui è: tutti gli abstract devono essere letti, una volta che gli articoli risultano “positivi” nella strategia di (ri)ricerca della letteratura. Dopo tutto devono essere valutati per l'inclusione o l'esclusione.
Se la domanda originale è intesa a chiedere il numero medio di studi effettivamente utilizzati, cioè un numero rigido di articoli inclusi nella revisione, allora la risposta è molto diversa:
Da Terri Pigott: Advances in Meta-Analysis, Springer, 2012:
Un'altra domanda comune è: Quanti studi mi servono per condurre una meta-analisi? Anche se io e i miei colleghi abbiamo spesso risposto “due” Valentine et al. 2010 ), la risposta più completa sta nel capire la potenza dei test statistici nella meta-analisi. In questo libro assumo l'approccio che la potenza dei test nelle meta-analisi, come la potenza di qualsiasi test statistico, deve essere calcolata a priori, utilizzando ipotesi sulla dimensione di un effetto importante in un dato contesto e sulle dimensioni tipiche del campione utilizzato in un dato campo. Ancora una volta, una profonda conoscenza sostanziale della letteratura di ricerca è fondamentale per un revisore al fine di fare ipotesi ragionevoli sui parametri necessari per la potenza.
Dipende quindi da quanto ben studiato e ricercato sia un campo o una domanda di ricerca da cui selezionare gli articoli recensiti. Argomenti molto alla moda con polemiche annesse avranno centinaia o migliaia tra cui scegliere, interessi di nicchia, sedi non redditizie forse solo poche. Richiedere una statistica su tutti questi campi di revisioni sistematiche cliniche è del tutto possibile. Ma uno dei problemi associati alle meta-analisi è il cosiddetto problema garbage-in-garbage-out: una tale impresa - di non solo “stimare quanti abstracts di carta i ricercatori medici leggono quando preparano una revisione sistematica clinica?” ma addirittura calcolare precisamente quel numero - potrebbe rischiare di produrre numeri senza senso, utili solo per i giornalisti o i politici.
Un articolo che fornisce proprio una meta-meta-analisi elenca tale numero come richiesto nella domanda per il sottocampo della psicologia: 51 (range 5-81). (doi: 10.1080/0027317100368018 A Meta-Meta-Analysis: Empirical Review of Statistical Power, Type I Error Rates, Effect Sizes, and Model Selection of Meta-Analyses Published in Psychology. ) Ma evidenzia anche i problemi inerenti a tale approccio abbastanza bene:
- Dimensioni degli effetti ed eterogeneità nella meta-analisi
- Scelta del modello: I modelli a effetti fissi sono stati usati con molta più frequenza dei modelli a effetti casuali, spesso senza dichiarare apertamente che tale modello veniva usato. D'altra parte, i modelli a effetti casuali sono stati utilizzati con una frequenza crescente nel tempo. Gli studi futuri dovrebbero implementare più abitualmente i modelli a effetti casuali, data la loro maggiore validità dal punto di vista dell'inferenza.
Infine, è importante considerare che l'uso di modelli a effetti casuali ridurrà la potenza dei test di significatività nella maggior parte dei casi (cioè, quando la varianza tra gli studi è maggiore di zero).
Più in generale potremmo guardarci dal fidarci ciecamente delle revisioni o delle meta-analisi in generale. Attualmente, il campo della medicina si sforza di ricostruire la sua conoscenza su un fondamento basato sull'evidenza, il che è naturalmente molto gradito. Ma nel perseguire questo obiettivo con una concentrazione troppo fiduciosa su dati quantitativi e modelli matematici, un bambino nella vasca da bagno potrebbe farsi male. Nominare, usare o semplicemente credere in qualsiasi tipo di “gold standard” (o variamente anche platino) sarà troppo da un lato estremo. Questo è raffigurato come segue:
Il più grande problema con questo quadro è che “il filtro” è abbastanza mal definito e regolarmente gli studi con maggiore potenza statistica o maggiore significatività sono scelti per essere inclusi. Pur sembrando logico all'inizio, questo viola i principi filosofici, per principio, come il Principio di Carnap Total Evidence “. Questo ragionamento meccanicistico introduce quindi il suo proprio insieme di distorsioni sistematiche.
Per affrontare molti di questi noti pericoli, insidie e carenze, il PRISMA statement è una iniziativa per almeno standardizzare gli approcci e documentare in modo trasparente la procedura scelta per questi tipi di analisi.
Altri problemi epistemologici sono condensati in Stegenga: "Is meta-analysis the platinum standard of evidence?” (2011):
[…] le meta-analisi non riescono a vincolare adeguatamente le valutazioni intersoggettive delle ipotesi. Questo perché le numerose decisioni che devono essere prese quando si progetta e si esegue una meta-analisi richiedono un giudizio e una competenza personali, e permettono ai pregiudizi personali e alle idiosincrasie dei revisori di influenzare il risultato della meta-analisi. Il fallimento di L'oggettività spiega almeno in parte il fallimento di Constraint: cioè, la soggettività richiesta per la meta-analisi spiega come meta-analisi multiple della stessa evidenza primaria possano raggiungere conclusioni contraddittorie riguardo alla stessa ipotesi. […] Tuttavia, la mia discussione sulle molte decisioni particolari che devono essere prese quando si esegue una meta-analisi suggerisce che tali miglioramenti possono arrivare solo fino a un certo punto.
Per almeno alcune di queste decisioni, la scelta tra le opzioni disponibili è del tutto arbitraria; le varie proposte per migliorare la trasparenza del reporting delle meta-analisi non sono in grado, in linea di principio, di arbitrare tra queste scelte arbitrarie. Più in generale, questa controreplica dei difensori della meta-analisi - che non dovremmo scartare del tutto la tecnica - sovrasta la forza della conclusione che ho sostenuto, che non è che la meta-analisi sia in generale un cattivo metodo per amalgamare le prove, ma piuttosto è che la meta-analisi non dovrebbe essere considerata il miglior tipo di prova per valutare le ipotesi causali in medicina e nelle scienze sociali. Non ho sostenuto che la meta-analisi non può fornire alcuna prova convincente, ma piuttosto, contrariamente alla visione standard, ho sostenuto che la meta-analisi non è lo standard di platino delle prove.
