[Thread de vɇnǥɇȺnȼɇ BIO-STAT]

Avec l’actualité sur la 𝓬𝓸𝓵𝓬𝓱𝓲𝓬𝓲𝓷𝓮, c’est peut être bien le moment de s’intéresser au 𝒓𝒊𝒔𝒒𝒖𝒆 𝒂𝒍𝒑𝒉𝒂, à son risque d’inflation, notamment dans le cas des analyses intermédiaires.

Parce qu'entre :
• les analyses intermédiaires,
• les analyses en sous-groupe,
• le « approached statistical significance » sur l’ITT,
il faudra clairement être vigilant quant au risque d’𝒊𝒏𝒇𝒍𝒂𝒕𝒊𝒐𝒏 𝒅𝒖 𝒓𝒊𝒔𝒒𝒖𝒆 𝒂𝒍𝒑𝒉𝒂 à la lecture de l’essai ColCORONA.

Mais avant de commencer, petit pré-test histoire de revoir les basiques.

Qu'est qu’un test statistique ? Un outil pour :

🄰 trancher du fromage
🄲 trancher dans le vif
🄱 trancher entre deux hypothèses
🄳 rattraper une ganache tranchée

PS : pour toute remarque concernant cette précédente question, veuillez vous adresser à @DavidHajage.

Le 𝒓𝒊𝒔𝒒𝒖𝒆 𝒂𝒍𝒑𝒉𝒂 correspond au risque de conclure que :

🄰 >> alors qu’en réalité ==
🄱 == alors qu’en réalité >>
🄲 est efficace
🄳 D la réponse D

nouveau traitement
placebo

Le 𝒓𝒊𝒔𝒒𝒖𝒆 𝒂𝒍𝒑𝒉𝒂 augmente :

🄰 en cas d’analyses intermédiaires
🄱 en cas d’analyses en sous-groupes
🄲 en cas de critères de jugement multiples
🄳 les 3 mon capitaine

C’est votre ultime bafouille pour les 3 questions ?!

Alors, si vous avez répondu 🄱, 🄰, 🄳, c’est pas si 🄱🄰🄳 puisque vous avez tout juste.
Sinon, si vous voulez revoir ces différentes notions, vous pouvez retourner sur le fil de @DavidHajage

https://twitter.com/DavidHajage/status/1351601661282816008?s=20

Mais pourquoi est-on est aussi attentif au 𝒓𝒊𝒔𝒒𝒖𝒆 𝒂𝒍𝒑𝒉𝒂 ?
Parce que le risque alpha correspond au risque de conclure à l’efficacité d’un traitement qui, en fait, est inefficace..

Dis autrement, c’est le risque de commercialiser un traitement qui ne sert à rien.

Et cette situation n’est JA-MAIS acceptable car un traitement sans bénéfice thérapeutique a quand même un risque d’effets [sɇȼønđȺɨɍɇs] indésirables donc une balance [bénéfice / risque] défavorable.

Et puis bon, c’est pas comme si la 𝓬𝓸𝓵𝓬𝓱𝓲𝓬𝓲𝓷𝓮 avait un super profil de sécurité... hein… donc on veut des garanties sur son efficacité pour évaluer correctement sa balance [bénéfice / risque].

Sinon, il y en a qui risquent de manger des colchiques par les racines...

Justement parce qu’on veut absolument maitriser ce 𝒓𝒊𝒔𝒒𝒖𝒆 𝒂𝒍𝒑𝒉𝒂, la règle d’or de l’essai thérapeutique c’est :
• 1 question
• 1 essai contrôlé randomisé
• 1 critère de jugement principal
• 1 population d’analyse
• 1 test statistique

Et encore, seulement après avoir inclus le "bon" nombre de sujets.
D'ailleurs, pour voir ce qu’est le « bon nombre de patients, c’est par ici https://twitter.com/Clara_Locher/status/1317811071781163008?s=20

Petit aparté, pourquoi le 𝒓𝒊𝒔𝒒𝒖𝒆 𝒂𝒍𝒑𝒉𝒂 est quasi systématiquement fixé à 5% ? 
PARCE QUE !!! Voilà, je n’ai pas d’autre argument. Désolée, c’est un seuil purement arbitraire

Maintenant, si vous voulez vous représenter concrètement ce 𝒓𝒊𝒔𝒒𝒖𝒆 𝒂𝒍𝒑𝒉𝒂, il faut alors imaginer
• 100 essais cliniques démarrés pour tester versus
• en sachant que dans la réalité == (bref, ne sert à rien)

Dans ces conditions,
• 95 essais concluront == pas d'erreur !
• 5 essais concluront >> [à cause des fluctuations d’échantillonnages] erreur !

Si problème sur la notion de fluctuations d’échantillonnages, c’est par ici https://twitter.com/Clara_Locher/status/1317925747286224897?s=20

Le problème, c’est que dans la vrai vie, un essai, c’est long, parfois même très long.
Les données s’accumulent au fur et à mesure des inclusions et on a très envie d’aller jeter un coup d’œil aux données pour satisfaire notre curiosité… et plus encore en pleine pandémie…

Mais si vous posez la question

« dit, on peut jeter un coup d’œil aux données et tester si >> ? »

à un méthodologiste comme @DavidHajage, il risquerait de s’étouffer en buvant son café…

Pourquoi ? A cause de l’𝒊𝒏𝒇𝒍𝒂𝒕𝒊𝒐𝒏 𝒅𝒖 𝒓𝒊𝒔𝒒𝒖𝒆 𝒂𝒍𝒑𝒉𝒂.

En effet, si vous testez plusieurs fois la différence entre et , le 𝒓𝒊𝒔𝒒𝒖𝒆 𝒂𝒍𝒑𝒉𝒂 𝒈𝒍𝒐𝒃𝒂𝒍 n’est plus de 5% mais augmente fortement à chaque analyse.

Pour vous donner une idée, si chaque test est réalisé avec le seuil de 5% alors :
• 2 tests risque alpha global ~ 10%
• 4 tests risque alpha global ~ 20%

Dans le dernier cas… presque 1 « chance » sur 5 de commercialiser un traitement inefficace… pfiou, ça craint.

Vous ne me croyez pas ? Alors mise en situation grâce à ce graphique emprunter à @cucherat :

100 essais cliniques sont démarrés pour tester versus

Analyse 1 : 5% des 100 RCT (N=5) déclarent « efficace » à tord. Les inclusions continuent pour les 95 autres.

Analyse 2 : 5% des 95 RCT (N~5) déclarent « efficace » à tord. Les inclusions continuent pour les 90 autres.

Analyse 3 : 5% des 90 RCT (N~5) déclarent « efficace » à tord. Les inclusions continuent pour les 85 autres.

Analyse 4 : 5% des 90 RCT (N~5) déclarent « efficace » à tord.

Soit au total 5+5+5+4 = 19 essais cliniques / 100 déclarent efficace alors qu’il ne l’est pas.

C’est beaucoup trop et totalement inacceptable.

Pourtant les analyses intermédiaires ont de réels avantages :
• Arrêt pour efficacité si on avait sous-estimé le bénéfice réel
• Arrêt pour futilité si on avait sur-estimé bénéfice réel
• Arrêt pour toxicité si le traitement a des effets délétères

Donc allons chercher une solution pour rendre les analyses intermédiaires possibles sans risquer de conclure à l’efficacité d’un traitement qui ne l’est pas.

Et en fait, la solution est très simple : on réduit le risque alpha de chaque test pour que le risque global soit maitrisé et autour de 5%.

En pratique, il existe plein de méthode pour consommer le risque alpha. Dans le cadre des analyses intermédiaires, on peut notamment citer :
• Pocok
• O’Brien & Fleming
• Lan & DeMets
• Peto

Ce qui les distingue, c’est la façon de répartir le risque alpha entre les analyses.

• Pocok ne se casse pas trop la tête : le même risque à chaque analyse. Inconvénient : l’analyse finale se fait avec un risque très inférieur à 5% parce qu’on en a beaucoup consommer sur les tests précédents.

• Peto ne se casse pas trop la tête non plus : il ne consomme quasiment rien sur les analyses intermédiaires pour que l’analyse finale se fasse avec un seuil très proche de 5%. Résultat, il est quasiment impossible de s’arrêter pour efficacité pendant une analyse intermédiaire…

Bref en pratique ces 2 méthodes sont peu utilisées.

Reste O’Brien & Fleming ou Lan & Demest qui ont proposé plusieurs fonction de dépense du risque alpha.

Il existe également d’autres méthodes dites séquentielles tel que le test triangulaire. Mais bien qu’ayant d’excellentes propriétés statistiques, le TT est très peu utilisé car… personne ou presque ne le connait.

En théorie, les analyses intermédiaires permettent de réduire de 30 à 40% le nombre de patients inclus par rapport à une analyse unique et donc de répondre beaucoup plus rapidement à la question posée par le RCT.

Mais ça, c'est la théorie et la pratique... On verra une autre fois ;) Parce que je sens que j'ai perdu tout le monde là !