{"id":480,"date":"2019-04-15T06:30:39","date_gmt":"2019-04-15T04:30:39","guid":{"rendered":"https:\/\/www.statsimprove.com\/it\/?p=480"},"modified":"2020-09-21T23:50:34","modified_gmt":"2020-09-21T21:50:34","slug":"test-multipli-quando-dobbiamo-correggere-per-la-multiplicity-dei-test","status":"publish","type":"post","link":"https:\/\/www.statsimprove.com\/it\/2019\/04\/15\/test-multipli-quando-dobbiamo-correggere-per-la-multiplicity-dei-test\/","title":{"rendered":"Test Multipli: quando dobbiamo correggere per la multiplicity dei test?"},"content":{"rendered":"\n

In questo post cerchiamo di dare qualche indicazione che possa aiutare lo sperimentatore a rispondere alla fatidica domanda: devo correggere o non correggere i livelli di significativit\u00e0 statistica per la multiplicity dei tes<\/strong>t?<\/strong><\/p>\n\n\n\n

Il problema dei test multipli (multiplicity) \u00e8 un problema che riguarda la quasi totalit\u00e0 dei lavori scientifici e che non ha ancora trovato una soluzione condivisa e definitiva. Anzi, sono moltissime le pubblicazioni scientifiche che ignorano la molteplicit\u00e0 delle ipotesi testate e l\u2019inflazione dell\u2019errore di primo tipo. Per farti capire l’entit\u00e0 del problema, un paper del 2014<\/a>, ad esempio, stima la percentuale di questi lavori a circa il 50% nei trial multibraccio.<\/p>\n\n\n\n

C\u2019\u00e8 da dire, per\u00f2, che a tal proposito, manca un consenso nella comunit\u00e0 scientifica e nell\u2019ambito delle autorit\u00e0 regolatorie. Ad esempio, le direttive sul problema della multiplicity fornite dall’EMA’s<\/a> (Agenzia Europea dei Medicinali) lasciano spazio a mille interpretazioni, anche per il fatto che i possibili disegni di studio di un clinical trial sono potenzialmente infiniti.<\/p>\n\n\n\n

Insomma: bisogna armarsi di un po’di buon senso, di spirito di chiarezza e verit\u00e0, e possedere qualche criterio decisionale.<\/p>\n\n\n\n

Il problema dei test multipli (multiplicity) in breve<\/h2>\n\n\n\n

Anche se non \u00e8 possibile affrontare in profondit\u00e0 il problema dei test multipli, prima di partire cerchiamo di capire in breve a cosa andiamo incontro quando ignoriamo la presenza di pi\u00f9 test all\u2019interno del nostro studio e non aggiustiamo il livello di significativit\u00e0 statistica.<\/p>\n\n\n\n

Diciamo che tu stia conducendo una sperimentazione con due farmaci anti-asma e che voglia misurare la differenza tra i due misurando due endpoint diversi: il primo \u00e8 un endpoint di efficacia, diciamo la FEV1, e il secondo invece \u00e8 la misura della qualit\u00e0 della vita dei pazienti (misurata attraverso un particolare questionario).
\nTu conduci i tuoi due test e dichiari il limite della significativit\u00e0 statistica considerata al 5%.
\nOra, considerando il limite al 5% per entrambi i test, la tua possibilit\u00e0 di commettere un errore del primo tipo in almeno uno dei due test non sar\u00e0 del 5% ma del 9,75%.
\nLa formuletta dalla quale viene questo 9,75% \u00e8 molto semplice:
\nP=(1-(1-a)k
\nDove:
\nP \u00e8 la probabilit\u00e0 di almeno un test significativo;
\na \u00e8 il livello di significativit\u00e0;
\nk \u00e8 il numero di test condotti.<\/p>\n\n\n\n

In soldoni: pi\u00f9 test di ipotesi conduci in un esperimento, pi\u00f9 il livello di almeno un errore di primo tipo aumenta.
\nIn realt\u00e0 bisognerebbe tenere conto anche di altri fattori, come ad esempio la correlazione tra i test, ma ne parleremo in qualche altro articolo.<\/p>\n\n\n\n

Come facciamo a tutelarci da queste possibili “false positivit\u00e0”? Esistono una serie di tecniche che ci permettono di distribuire quel fatidico 5% di significativit\u00e0 suddividendolo tra i diversi test che vengono condotti all’interno dello studio. La tecnica pi\u00f9 diffusa \u00e8 la correzione di Bonferroni, ma ce ne sono mille altre. <\/p>\n\n\n\n

Non \u00e8 in questo post che parleremo delle tante tecniche di gestione della multiplicity. L’obiettivo di questo articolo \u00e8 invece capire:<\/p>\n\n\n\n

come decidere se correggere o meno per questa molteplicit\u00e0 dei test?<\/p>\n\n\n\n

Quanto leggerai di seguito \u00e8 una mia personalissima opinione, ma che \u00e8 in buona parte supportata dalla letteratura scientifica.<\/p>\n\n\n\n

Partiamo.<\/p>\n\n\n\n

Gli scenari pi\u00f9 comuni di multiplicity e come regolarsi<\/h2>\n\n\n\n

La strategia pi\u00f9 solida da utilizzare \u00e8 quella di stabilire la natura dello studio e del test eseguito: esplorativo o confermativo?
\nIn generale, quando il tuo studio \u00e8 di natura esplorativa (come lo sono ad esempio molti studi in cui non vi \u00e8 una stima del sample size, o comunque una power-analysis formale) la strategia potrebbe essere:
\nnon correggere per multiplicity;
\ndichiarare molto chiaramente la natura esplorativa dello studio;
\nnei metodi dello studio indicare che non si \u00e8 corretto per la multiplicity (data, appunto, la natura esplorativa dello studio) ed eventualmente commentare i risultati alla luce di questo problema.<\/p>\n\n\n\n

Quando invece lo studio e i test sono di natura confermativa allora l’obiettivo \u00e8 “essere cauti” e considerare la possibilit\u00e0 di ottenere risultati falsamente significativi.<\/p>\n\n\n\n

Vediamo di seguito un elenco degli scenari pi\u00f9 frequenti.<\/p>\n\n\n\n

Endpoint multipli<\/h3>\n\n\n\n

Quando hai endpoint multipli dove nessuno di questi \u00e8 considerabile principale, allora diventa necessario correggere per multiplicity. Un esempio banalissimo: 3 endpoint cardiovascolari (diciamo: pressione arteriosa, frequenza cardiaca, alterazioni del tracciato elettrocardiografico) in cui nessuno di essi ha una rilevanza clinica superiore a quella degli altri due e ognuno testato attraverso un test ad hoc separatamente dagli altri.<\/p>\n\n\n\n

Diventa allo stesso modo necessario correggere per multiplicity se il successo dello studio \u00e8 decretabile se i test di tutti gli endpoint sono risultati statisticamente significativi.<\/p>\n\n\n\n

Misure ripetute<\/h3>\n\n\n\n

Quando il tuo studio ha misure ripetute nel tempo e il test viene effettuato a diversi timepoints (ad esempio per vedere l’effetto di un trattamento dopo 2 mesi, 6 mesi e 12 mesi), allora anche qua diventa necessaria la correzione.<\/p>\n\n\n\n

Trial multibraccio<\/h3>\n\n\n\n

Quando hai uno studio confermativo multibraccio (cio\u00e8 con pi\u00f9 di due trattamenti) e con pi\u00f9 confronti pairwise (ad esempio: trattamento 1 vs 2, 2 vs 3, 1 vs 3), allora \u00e8 indicato correggere. In questo caso in realt\u00e0, alcuni autori sostengono che bisognerebbe considerare quanto i trattamenti siano o meno “della stessa natura”.<\/p>\n\n\n\n

Ad esempio: se i tre bracci dello studio sono due dosi di farmaco e un placebo, allora la correzione \u00e8 opportuna<\/p>\n\n\n\n

Quando invece i bracci sono di natura completamente scorrelata il problema multiplicity pu\u00f2 diventare superfluo.
Ad esempio, in un trial vogliamo valutare la gestione dell\u2019alcolismo randomizzando nei seguenti tre bracci di studio:
un protocollo rieducativo;
un protocollo farmacologico;
un braccio di controllo.
i confronti “protocollo rieducativo vs controllo\u201d e
“protocollo farmacologico” vs \u201ccontrollo\u201d, sono considerabili come due trial diversi e diventa addirittura concettualmente sbagliato correggere per la multiplicity.<\/p>\n\n\n\n

Analisi Subgroup e Post-Hoc<\/h3>\n\n\n\n

Le analisi per sottogruppo e tutti gli altri test post-hoc sono quasi sempre considerate esplorative per cui diventa inutile la correzione. Ho scritto “quasi sempre” perch\u00e9 in alcuni casi le analisi sottogruppo possono avere un ruolo confermativo per ipotesi non correlate all’ipotesi principale dello studio.
Ad esempio: studio con due bracci, trattamento farmacologico vs programma educativo per la cura di una dipendenza. L’analisi principale \u00e8 la valutazione dell’efficacia del trattamento famacologico. L’analisi su un sottogruppo pu\u00f2 avere come obiettivo, per esempio, l’identificazione del legame tra il grado di alcolismo e il livello di fertilit\u00e0 dei maschi.
In questo caso, per quella che \u00e8 la mia modesta opinione, diventa inutile correggere per multiplicity (l’analisi \u00e8 secondaria e scorrelata dall’analisi principale) ma allo stesso tempo bisogna anche considerare che molto spesso queste analisi accessorie per quanto confermative ambiscano ad essere, hanno problemi di potenza statistica. E questo andrebbe accuratamente misurato e discusso.<\/p>\n\n\n\n

Dataset differenti<\/h3>\n\n\n\n

Quando stai usando due dataset per effettuare la stessa analisi (ad esempio il dataset “per protocol” oppure quello “intention to treat”) in generale non \u00e8 necessario correggere per la multiplicity.<\/p>\n\n\n\n

Analisi ad interim<\/em><\/h3>\n\n\n\n

Quando conduci analisi ad interim \u00e8 necessario correggere per multiplicity. In questi casi la strategia \u00e8 quasi sempre usare un livello di significativit\u00e0 molto elevata per l’analisi ad interim (ad esempio 1%) in modo da lasciare un restante 4% per il test finale dello studio.<\/p>\n\n\n\n

E negli studi osservazionali?<\/h3>\n\n\n\n

Per quanto riguarda gli studi osservazionali, sempre a mio parere, la situazione non cambia. Rimane necessario stabilire molto chiaramente quali siano i test confermativi dello studio e quali i test esplorativi. C’\u00e8 da dire, a riguardo, che negli studi osservazionali questo sforzo di chiarezza \u00e8 sempre meno comune rispetto ai clinical trials e spesso si infarciscono gli studi con decine di p-value quasi sempre inutili.<\/p>\n\n\n\n

Interessante il giudizio di Kenneth Rothman, uno dei padri dell’epidemiologia moderna. Secondo il buon Kenneth la correzione per multiplicity andrebbe sempre evitata perch\u00e9 farebbe diventare la ricerca scientifica troppo conservativa. Meglio, cio\u00e8, ottenere studi falsamente significativi ed esplorare ulteriormente le ipotesi in studi successivi, invece di “castrare ingiustamente\u201d troppe evidenze abbassando in modo eccessivo gli alfa-levels.<\/p>\n\n\n\n

Ti serve aiuto? Contattaci<\/h2>\n\n\n

[contact-form-7 id=”140″ title=”Modulo di contatto 1″]<\/p>\n\n\n\n

<\/p>\n","protected":false},"excerpt":{"rendered":"

In questo post cerchiamo di dare qualche indicazione che possa aiutare lo sperimentatore a rispondere alla fatidica domanda: devo correggere o non correggere i livelli di significativit\u00e0 statistica per la multiplicity dei test? Il problema dei test multipli (multiplicity) \u00e8 un problema che riguarda la quasi totalit\u00e0 dei lavori scientifici e che non ha ancora… Leggi tutto »Test Multipli: quando dobbiamo correggere per la multiplicity dei test?<\/span><\/a><\/p>\n","protected":false},"author":5,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_monsterinsights_skip_tracking":false,"neve_meta_sidebar":"","neve_meta_container":"","neve_meta_enable_content_width":"","neve_meta_content_width":0,"neve_meta_title_alignment":"","neve_meta_author_avatar":"","neve_post_elements_order":"","neve_meta_disable_header":"","neve_meta_disable_footer":"","neve_meta_disable_title":"","_themeisle_gutenberg_block_has_review":false,"_ti_tpc_template_sync":false,"_ti_tpc_template_id":""},"categories":[3],"tags":[],"aioseo_notices":[],"yoast_head":"\nTest Multipli: quando dobbiamo correggere per la multiplicity dei test? - StatsImprove<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.statsimprove.com\/it\/2019\/04\/15\/test-multipli-quando-dobbiamo-correggere-per-la-multiplicity-dei-test\/\" \/>\n<meta property=\"og:locale\" content=\"it_IT\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Test Multipli: quando dobbiamo correggere per la multiplicity dei test? - StatsImprove\" \/>\n<meta property=\"og:description\" content=\"In questo post cerchiamo di dare qualche indicazione che possa aiutare lo sperimentatore a rispondere alla fatidica domanda: devo correggere o non correggere i livelli di significativit\u00e0 statistica per la multiplicity dei test? Il problema dei test multipli (multiplicity) \u00e8 un problema che riguarda la quasi totalit\u00e0 dei lavori scientifici e che non ha ancora… Leggi tutto »Test Multipli: quando dobbiamo correggere per la multiplicity dei test?\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.statsimprove.com\/it\/2019\/04\/15\/test-multipli-quando-dobbiamo-correggere-per-la-multiplicity-dei-test\/\" \/>\n<meta property=\"og:site_name\" content=\"StatsImprove\" \/>\n<meta property=\"article:published_time\" content=\"2019-04-15T04:30:39+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2020-09-21T21:50:34+00:00\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Scritto da\" \/>\n\t<meta name=\"twitter:data1\" content=\"gianfranco\" \/>\n\t<meta name=\"twitter:label2\" content=\"Tempo di lettura stimato\" \/>\n\t<meta name=\"twitter:data2\" content=\"6 minuti\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebSite\",\"@id\":\"https:\/\/www.statsimprove.com\/it\/#website\",\"url\":\"https:\/\/www.statsimprove.com\/it\/\",\"name\":\"StatsImprove\",\"description\":\"Statistics Improve Your Projects\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/www.statsimprove.com\/it\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"it-IT\"},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/www.statsimprove.com\/it\/2019\/04\/15\/test-multipli-quando-dobbiamo-correggere-per-la-multiplicity-dei-test\/#webpage\",\"url\":\"https:\/\/www.statsimprove.com\/it\/2019\/04\/15\/test-multipli-quando-dobbiamo-correggere-per-la-multiplicity-dei-test\/\",\"name\":\"Test Multipli: quando dobbiamo correggere per la multiplicity dei test? - StatsImprove\",\"isPartOf\":{\"@id\":\"https:\/\/www.statsimprove.com\/it\/#website\"},\"datePublished\":\"2019-04-15T04:30:39+00:00\",\"dateModified\":\"2020-09-21T21:50:34+00:00\",\"author\":{\"@id\":\"https:\/\/www.statsimprove.com\/it\/#\/schema\/person\/914fc4bf93820662fc24f6ed5fe66da6\"},\"breadcrumb\":{\"@id\":\"https:\/\/www.statsimprove.com\/it\/2019\/04\/15\/test-multipli-quando-dobbiamo-correggere-per-la-multiplicity-dei-test\/#breadcrumb\"},\"inLanguage\":\"it-IT\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/www.statsimprove.com\/it\/2019\/04\/15\/test-multipli-quando-dobbiamo-correggere-per-la-multiplicity-dei-test\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/www.statsimprove.com\/it\/2019\/04\/15\/test-multipli-quando-dobbiamo-correggere-per-la-multiplicity-dei-test\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\/\/www.statsimprove.com\/it\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Test Multipli: quando dobbiamo correggere per la multiplicity dei test?\"}]},{\"@type\":\"Person\",\"@id\":\"https:\/\/www.statsimprove.com\/it\/#\/schema\/person\/914fc4bf93820662fc24f6ed5fe66da6\",\"name\":\"gianfranco\",\"image\":{\"@type\":\"ImageObject\",\"@id\":\"https:\/\/www.statsimprove.com\/it\/#personlogo\",\"inLanguage\":\"it-IT\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/5e17e118aa99660d02d82ded19b4f3b5?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/5e17e118aa99660d02d82ded19b4f3b5?s=96&d=mm&r=g\",\"caption\":\"gianfranco\"},\"description\":\"Specialista in Statistica Medica\",\"url\":\"https:\/\/www.statsimprove.com\/it\/author\/gianfranco\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Test Multipli: quando dobbiamo correggere per la multiplicity dei test? - StatsImprove","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.statsimprove.com\/it\/2019\/04\/15\/test-multipli-quando-dobbiamo-correggere-per-la-multiplicity-dei-test\/","og_locale":"it_IT","og_type":"article","og_title":"Test Multipli: quando dobbiamo correggere per la multiplicity dei test? - StatsImprove","og_description":"In questo post cerchiamo di dare qualche indicazione che possa aiutare lo sperimentatore a rispondere alla fatidica domanda: devo correggere o non correggere i livelli di significativit\u00e0 statistica per la multiplicity dei test? Il problema dei test multipli (multiplicity) \u00e8 un problema che riguarda la quasi totalit\u00e0 dei lavori scientifici e che non ha ancora… Leggi tutto »Test Multipli: quando dobbiamo correggere per la multiplicity dei test?","og_url":"https:\/\/www.statsimprove.com\/it\/2019\/04\/15\/test-multipli-quando-dobbiamo-correggere-per-la-multiplicity-dei-test\/","og_site_name":"StatsImprove","article_published_time":"2019-04-15T04:30:39+00:00","article_modified_time":"2020-09-21T21:50:34+00:00","twitter_card":"summary_large_image","twitter_misc":{"Scritto da":"gianfranco","Tempo di lettura stimato":"6 minuti"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebSite","@id":"https:\/\/www.statsimprove.com\/it\/#website","url":"https:\/\/www.statsimprove.com\/it\/","name":"StatsImprove","description":"Statistics Improve Your Projects","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.statsimprove.com\/it\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"it-IT"},{"@type":"WebPage","@id":"https:\/\/www.statsimprove.com\/it\/2019\/04\/15\/test-multipli-quando-dobbiamo-correggere-per-la-multiplicity-dei-test\/#webpage","url":"https:\/\/www.statsimprove.com\/it\/2019\/04\/15\/test-multipli-quando-dobbiamo-correggere-per-la-multiplicity-dei-test\/","name":"Test Multipli: quando dobbiamo correggere per la multiplicity dei test? - StatsImprove","isPartOf":{"@id":"https:\/\/www.statsimprove.com\/it\/#website"},"datePublished":"2019-04-15T04:30:39+00:00","dateModified":"2020-09-21T21:50:34+00:00","author":{"@id":"https:\/\/www.statsimprove.com\/it\/#\/schema\/person\/914fc4bf93820662fc24f6ed5fe66da6"},"breadcrumb":{"@id":"https:\/\/www.statsimprove.com\/it\/2019\/04\/15\/test-multipli-quando-dobbiamo-correggere-per-la-multiplicity-dei-test\/#breadcrumb"},"inLanguage":"it-IT","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.statsimprove.com\/it\/2019\/04\/15\/test-multipli-quando-dobbiamo-correggere-per-la-multiplicity-dei-test\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/www.statsimprove.com\/it\/2019\/04\/15\/test-multipli-quando-dobbiamo-correggere-per-la-multiplicity-dei-test\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/www.statsimprove.com\/it\/"},{"@type":"ListItem","position":2,"name":"Test Multipli: quando dobbiamo correggere per la multiplicity dei test?"}]},{"@type":"Person","@id":"https:\/\/www.statsimprove.com\/it\/#\/schema\/person\/914fc4bf93820662fc24f6ed5fe66da6","name":"gianfranco","image":{"@type":"ImageObject","@id":"https:\/\/www.statsimprove.com\/it\/#personlogo","inLanguage":"it-IT","url":"https:\/\/secure.gravatar.com\/avatar\/5e17e118aa99660d02d82ded19b4f3b5?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/5e17e118aa99660d02d82ded19b4f3b5?s=96&d=mm&r=g","caption":"gianfranco"},"description":"Specialista in Statistica Medica","url":"https:\/\/www.statsimprove.com\/it\/author\/gianfranco\/"}]}},"_links":{"self":[{"href":"https:\/\/www.statsimprove.com\/it\/wp-json\/wp\/v2\/posts\/480"}],"collection":[{"href":"https:\/\/www.statsimprove.com\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.statsimprove.com\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.statsimprove.com\/it\/wp-json\/wp\/v2\/users\/5"}],"replies":[{"embeddable":true,"href":"https:\/\/www.statsimprove.com\/it\/wp-json\/wp\/v2\/comments?post=480"}],"version-history":[{"count":5,"href":"https:\/\/www.statsimprove.com\/it\/wp-json\/wp\/v2\/posts\/480\/revisions"}],"predecessor-version":[{"id":490,"href":"https:\/\/www.statsimprove.com\/it\/wp-json\/wp\/v2\/posts\/480\/revisions\/490"}],"wp:attachment":[{"href":"https:\/\/www.statsimprove.com\/it\/wp-json\/wp\/v2\/media?parent=480"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.statsimprove.com\/it\/wp-json\/wp\/v2\/categories?post=480"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.statsimprove.com\/it\/wp-json\/wp\/v2\/tags?post=480"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}