CHI È IL PIÙ CIALTR0NE DEL REAME? Una lettera aperta a The Lancet mette in evidenza ben più che i problemi di un articolo
Scrivevo ieri delle critiche devastanti che l'articolo su
Lancet di Mehra e colleghi sui danni dell'idrossiclorochina ai malati di COVID-19 sta ricevendo da parte di esperti di statistica e di metodologia, di gestione dei dati ed etica delle sperimentazioni:
Dora ha scritto: ↑giovedì 28 maggio 2020, 11:18
Mentre la decisione dell'OMS di fermare i bracci di SOLIDARITY sulla clorochina ha spinto altri Paesi oltre all'Italia - ad esempio
la Francia - a sospendere la somministrazione di clorochina/idrossiclorochina a persone con COVID-19 al di fuori di trial controllati in ospedale, e mentre attendiamo le valutazioni sulla pericolosità del farmaco fatte dal DSMB del trial SOLIDARITY, la discussione sulle anomalie metodologiche e statistiche del lavoro di Mehra et al pubblicato su
Lancet è molto intensa e coinvolge statistici, esperti di Big Data, persone che lavorano sui numeri e non sulle parole - a differenza dei tanti blogger complottisti che si stanno scatenando in Rete a fomentare la crociata pro-clorochina e intanto fare campagna elettorale per Trump o dipingere Bill Gates come figlio del demonio.
I problemi dell'articolo su
Lancet sono assai seri, mettono gravemente in dubbio la correttezza del referaggio della rivista, aprono alla possibilità di una richiesta di ritrattazione del paper, e chi volesse averne una visione più profonda rispetto ai pochi accenni che ho fatto nel mio post di due giorni fa può leggere il
moltiplicarsi delle critiche in PubPeer e seguire le discussioni in ben tre post sul blog di Andrew Gelman, professore di statistica alla Columbia University:
Suggerisco anche come molto istruttiva la lettura del post che Mostapha Benhenda, un Data scientist, ha scritto in
AI & data science for precision medicine and drug discovery, il blog che tiene su melwy.com, un laboratorio online di intelligenza artificiale e data science dedicato alla medicina di precisione e alla ricerca farmacologica:
Gli autori dell'articolo rispondono, ma di fatto non rispondono a nessuna delle critiche, in un post nel sito aziendale, che sembra più uno spot per Surgisphere che una seria disamina delle anomalie del loro lavoro:
Queste critiche si sono concretizzate oggi in una lettera aperta che 120 tra medici, scienziati, epidemiologi e statistici di tutto il mondo hanno mandato agli autori dell'articolo e a Richard Horton che, in quanto editor in chief di
Lancet, della pubblicazione dell'articolo porta la responsabilità ultima:
An open letter to Mehra et al and The Lancet - Conncerns regardingthe statistical analysis and data integrity
Open letter to MR Mehra, SS Desai, F Ruschitzka, and AN Patel, authors of “Hydroxychloroquine or chloroquine with or without a macrolide for treatment of COVID-19: a multinational registry analysis”. Lancet. 2020 May 22:S0140-6736(20)31180-6. doi: 10.1016/S0140-6736(20)31180-6. PMID: 32450107
and to Richard Horton (editor of The Lancet).
Concerns regarding the statistical analysis and data integrity
The retrospective, observational study of 96,032 hospitalized COVID-19 patients from six continents reported substantially increased mortality (~30% excess deaths) and occurrence of cardiac arrhythmias associated with the use of the 4-aminoquinoline drugs hydroxychloroquine and chloroquine. These results have had a considerable impact on public health practice and research.
The WHO has paused recruitment to the hydroxychloroquine arm in their SOLIDARITY trial. The UK regulatory body, MHRA, requested the temporary pausing of recruitment into all hydroxychloroquine trials in the UK (treatment and prevention), and France has changed its national recommendation for the use of hydroxychloroquine in COVID-19 treatment and also halted trials.
The subsequent media headlines have caused considerable concern to participants and patients enrolled in randomized controlled trials (RCTs) seeking to characterize the potential benefits and risks of these drugs in the treatment and prevention of COVID-19 infections. There is uniform agreement that well conducted RCTs are needed to inform policies and practices.
This impact has led many researchers around the world to scrutinize in detail the publication in question. This scrutiny has raised both methodological and data integrity concerns. The main concerns are listed as follows:
- 1. There was inadequate adjustment for known and measured confounders (disease severity, temporal effects, site effects, dose used).
2. The authors have not adhered to standard practices in the machine learning and statistics community. They have not released their code or data. There is no data/code sharing and availability statement in the paper. The Lancet was among the many signatories on the Wellcome statement on data sharing for COVID-19 studies.
3. There was no ethics review.
4. There was no mention of the countries or hospitals that contributed to the data source and no acknowledgments to their contributions. A request to the authors for information on the contributing centres was denied.
5. Data from Australia are not compatible with government reports (too many cases for just five hospitals, more in-hospital deaths than had occurred in the entire country during the study period). Surgisphere (the data company) have since stated this was an error of classification of one hospital from Asia. This indicates the need for further error checking throughout the database.
6. Data from Africa indicate that nearly 25% of all COVID-19 cases and 40% of all deaths in the continent occurred in Surgisphere-associated hospitals which had sophisticated electronic patient data recording, and patient monitoring able to detect and record “nonsustained [at least 6 secs] or sustained ventricular tachycardia or ventricular fibrillation”. Both the numbers of cases and deaths, and the detailed data collection, seem unlikely.
7. Unusually small reported variances in baseline variables, interventions and outcomes between continents (Table S3).
8. Mean daily doses of hydroxychloroquine that are 100 mg higher than FDA recommendations, whereas 66% of the data are from North American hospitals.
9. Implausible ratios of chloroquine to hydroxychloroquine use in some continents
10. The tight 95% confidence intervals reported for the hazard ratios are unlikely. For instance, for the Australian data this would need about double the numbers of recorded deaths as were reported in the paper.
The patient data have been obtained through electronic patient records and are held by the US company Surgisphere. In response to a request for the data Professor Mehra has replied; “Our data sharing agreements with the various governments, countries and hospitals do not allow us to share data unfortunately.”
Given the enormous importance and influence of these results, we believe it is imperative that:
- 1. The company Surgisphere provides details on data provenance. At the very minimum, this means sharing the aggregated patient data at the hospital level (for all covariates and outcomes)
2. Independent validation of the analysis is performed by a group convened by the World Health Organization, or at least one other independent and respected institution. This would entail additional analyses (e.g. determining if there is a dose-effect) to assess the validity of the conclusions
3. There is open access to all the data sharing agreements cited above to ensure that, in each jurisdiction, any mined data was legally and ethically collected and patient privacy aspects respected
In the interests of transparency, we also ask The Lancet to make openly available the peer review comments that led to this manuscript to be accepted for publication.
This open letter is signed by clinicians, medical researchers, statisticians, and ethicists from across the world. The full list of signatories and affiliations can be found below. [
seguono le firme]
La lettera è stata pubblicizzata dal
Guardian, che le dedica oggi
un lungo articolo.
Che il direttore di
Lancet sia in guerra aperta con l'amministrazione Trump e a favore dell'OMS lo dice non solo la sua storia personale, ma anche
il commento che ha pubblicato sulla sua rivista ad aprile, quando Trump ha annunciato che gli Stati Uniti avrebbero sospeso i finanziamenti all'OMS a causa della sua gestione della pandemia e di un eccesso di vicinanza alla Cina. Horton ha definito la decisione "un crimine contro l'umanità" e naturalmente non è la prima volta che spinge la sua rivista a prendere una posizione politica (cfr
la vigliaccata contro Israele e il modo in cui ha dovuto rimangiarsela).
Che l'OMS sia in guerra aperta con l'amministrazione Trump lo sappiamo.
Che l'AIFA abbia l'autonomia di un moscerino ... beh, anche questo avremmo dovuto saperlo.
Quindi
Lancet ha pubblicato un pessimo articolo, che a molti (fra quanti evidentemente ne hanno letto solo il titolo o al più l'abstract) è sembrato affossare l'idrossiclorochina e quindi dare uno schiaffo direttamente in faccia a Trump.
Quindi l'OMS si è aggrappata alla prima ciofeca disponibile senza andare troppo per il sottile e ha sospeso i bracci del suo trial in cui si sperimentava l'idrossiclorochina.
Quindi l'AIFA ha seguito a ruota l'OMS.
Ora la mia domanda è: dato che l'articolo fa schifo e dovrebbe essere ritrattato all'istante (ma sappiamo che
Lancet ci ha messo 12 anni a ritrattare la spazzatura di Wakefield), chi è il più cialtr0ne della compagnia?
La rivista, che ha pubblicato spazzatura solo perché poteva fare un dispetto a Trump?
L'OMS, che ha usato questa spazzatura per affossare un farmaco che era promosso da Trump?
L'AIFA, che non ha neppure letto l'articolo, ma ha seguito l'OMS dimostrando di non avere neppure una briciola di autonomia intellettuale?
I vari superespertoni, che hanno letto l'articolo, non hanno capito niente, ma hanno deciso che confermava i loro bias affossando l'idrossiclorochina e dunque andava bene così? Tanto esperti da non capire una cippa? Tanto esperti da non riconoscere di essere biased? Tanto esperti, ma l'odio per Trump e per quello che lui rappresenta vince su tutto? [
*]
Ma davanti a centinaia di migliaia di morti potete permettervi tutta questa cialtronaggine?
Ma non provate neppure un'ombra di vergogna?
[
*]
Detesto Trump, non mi piace lui, mi fa paura quello che lui rappresenta, non mi piace l'America che lo sostiene, se fossi americana non l'avrei votato.
E non mi piace neppure Raoult, non mi piacciono i suoi sostenitori francesi, divisi fra estrema destra ed estrema sinistra, fra complottisti e ultracattolici antisemiti, omofobi e razzisti.
Ma questa pandemia ha mostrato la miseria intellettuale e la profonda disonestà di così tante persone che non so, quando tutto questo sarà finito, se riuscirò ancora a leggere quello che scrivono con gli stessi occhi di prima.
EDIT: su
Liberation di oggi, nella sezione dedicata al fact-checking (una parte della loro professione che ai giornalisti nostrani piace poco) un articolo sulla brutta vicenda del lavoro su
Lancet dei 4 dell'Ave Maria:
Une étude publiée en 2003 dans «The Lancet» démontre-t-elle l’absence de risque de la chloroquine?
Poiché si nota che
une même revue peut publier des études divergentes, vengono intervistati gli autori del
fameux article de 2003 su
Lancet Infectious Diseases, Roberto Cauda e Andrea Savarino che, dopo aver ricordato che l'idrossiclorochina
n’est ni une solution miracle, ni [un poison violent] qui assassine des milliers de personnes, giustamente stigmatizza la politicizzazione che ha fatto strame della scienza in questa occasione - dice infatti
qu’il n’aurait jamais imaginé, en 2003, que le sujet sur lequel il travaillait «deviendrait un champ de bataille politique dans l’élection présidentielle américaine en 2020», et déplore le fait que ces recherches soient «instrumentalisées à des fins politiques».