Jaroslav Janošek
Před pár týdny na serveru Inovace republiky vyšel můj rozhovor s panem Robinem Čumpelíkem. Mimo jiné jsem se v něm vyjadřoval negativně o obecné kvalitě vědeckých studií a jako příklad uváděl metaanalýzu, kterou zaslal profesor Zdeněk Hel jako důkaz, že vakcinace nemůže na plodnost mít žádný účinek.
To jej pravděpodobně rozčílilo a vytvořil poměrně dlouhý text, v němž hájí kvalitu dané metaanalýzy, poukazující mimo jiné na to, že:
- Do samotné metaanalýzy autoři vybrali pouze 20 nejvíce kvalitních studií obsahujících relevantní data. Dr. Janošek proces výběru studií do metanalýzy zřejmě nepochopil.
K tomu bych rád řekl, že hodnocení kvality studií provedli autoři pouze u těch, které už do finální analýzy zahrnuli (je to snadno ověřitelné, pokud srovnáte čísla citací u studií zahrnutých do systematického review a metaanalýzy a ve výsledcích hodnocení kvality, viz výstřižky níže). To, že u jednoho typu zahrnutých studií (u tzv. kohortových studií) bylo 53,3 % z nich špatné kvality (tedy splňovaly méně než polovinu kritérií kvality), 33,3% střední (50-75 % kritérií kvality) a pouze 13,3 % dobré kvality (více než 75 %), jsou slova autorů, ne má (viz výstřižek níže).
U druhého typu studií (druhý odstavec druhého výstřižku) dokonce nebyla jako kvalitní vyhodnocena ani jedna. Toto by bylo samo o sobě v pořádku, problém je v tom, že studie nízké kvality nevyřadili. Jinými slovy, autoři zhodnotili, že většina studií je nedostatečné kvality, a pak je ZAHRNULI do vyhodnocení a vyvozovali z nich závěry (abych předešel možné námitce – nezohlednili kvalitu ani tím, že by v metaanalýze přidělili lepším studiím větší váhu). Je to podobné, jako by děti pečlivě zhodnotily hladinu rybníka, zjistily, že voda je pouze 10 cm hluboká, a pak do rybníka skočily z přilehlé desetimetrové skály. To je samo o sobě takový faul, že se dále metaanalýzou nemá cenu zabývat.
2. Profesor Hel správně říká, že ideální postup je požádat autory původních studií o surová data a ta pak zanalyzovat, proto nevadí, že některé články jsou v ruštině. Tyto tzv. pooled analyses surových dat sice nejsou při metaanalýze povinností, je to nicméně optimální postup. V každém případě však se toto v případě daného článku zjevně nestalo – autoři metaanalýzy sami v metodice píšou, že pouze „získali plnou verzi článků“ (viz první výstřižek) a extrahovali z nich údaje (kapitola 2.4), ani slovo o tom, že by kontaktovali autory původních studií. Jakým způsobem tedy analyzovali kvalitu studií, které byly kompletně (kromě abstraktu) v ruštině, zůstává nezodpovězeno.
3. Žádné abstrakty o 200 slovech do metanalýzy 20 studií zařazeny nebyly.
Doporučuji panu profesorovi podívat se na citaci 2. Možná slov není 200, ale 300 (jednotlivá slova v pdf jsem nepočítal), ale jedná se evidentně o konferenční abstrakt. Možná jsou tam i další, analyzoval jsem jen prvních osm studií.
4. „Dr. Janošek pravděpodobně kritizuje studii Barda et al. (následuje obhajoba této studie)… I zde se tedy Dr. Janošek naprosto plete a vykazuje nepochopení použité metodologie.
Měl jsem na mysli „studii“ číslo 23 (Gonzalez a kol.), studie 7 (panem profesorem obhajovaná Barda a kol.) je jedna z těch dvou, o kterých jsem říkal, že mohou být v pořádku – projdou přinejmenším filtrem „není to nesmysl na první pohled“. Je pak úsměvné (nebo smutné?), jak profesor Hel na základě svého osobního mylného předpokladu píše, že se Dr. Janošek „naprosto plete a nechápe metodologii“.
V následujícím bodě však pan profesor správně píše, že o tom, v kterém ročním období je hladina spermií nejvyšší, se vedou spory. V tomto bodě má pravdu, záleží na geografické lokalitě i na faktorech na úrovni jednotlivců. Na tom, že variabilita kvality spermatu s časem existuje, se však drtivá většina studií zabývajících se tímto tématem shoduje – a o to důležitější pak je mít kontrolní skupinu, která umožní odfiltrovat efekt sledovaného zásahu od přirozeného vývoje. Takováto kontrolní skupina však ve studii Gonzaleze a kol. chybí. Mé tvrzení z rozhovoru, že „v zimě je přirozeně hladina spermií nejnižší a na jaře nejvyšší“ je nicméně tím pádem jedním ze dvou tvrzení v rozhovoru, za kterými si nestojím (i když principiálně je argumentace o potřebě kontroly správná, jak jsem vysvětlil výše). Tím druhým mylným tvrzením pak přirozeně je, že „pokud si tu metaanalýzu pan profesor přečte, určitě pochopí, že je špatná“.
Zdeněk Hel se také podivuje nad tím, že jsem si vybral z 50 studií tuto. Důvod je samozřejmě naprosto jednoduchý: jedná se o metaanalýzu, tedy formát, který je v pyramidě medicíny založené na důkazech vysoko a má obsahovat již jen ty nejkvalitnější studie (jak pan doktor sám správně řekl). Proto je přirozené, že jsem sáhl nejprve po ní, stejně jako to, že po prohlédnutí prvních osmi studií jsem se již nedíval dále – proč taky, když je článek evidentně špatně? Pokud uvidíte, že se vám snaží prodejce prodat auto, kterému chybí motor, kola a převodovka, nebudete dále zkoumat barvu potahů – víte, že si ho nekoupíte.
Chtěl bych ještě tímto požádat pana profesora Hela, aby rozlišoval mezi „antivaxerstvím“ a objektivně kritickým pohledem na vědu. Pokud vím, nikdo ze sdružení SMIS nekritizoval vakcinaci ohrožených skupin v době, kdy vakcinace byla spuštěna. Naše kritika celou dobu směřovala k výběru skupin, které z vakcinace mohou benefitovat, namísto plošné vakcinace a k potřebě férového zhodnocení rizika a benefitů pro jednotlivé skupiny. V daném rozhovoru jsem na pana profesora neútočil – kritizoval jsem jím předloženou metaanalýzu, dokonce jsem jej označil za inteligentního člověka. Nemám problém s relevantní diskuzí, nicméně nálepkování a osobní útoky rozhodně součástí relevantní diskuze nejsou. Nesmírně mě zajímá, jestli pan profesor Hel i po přečtení tohoto textu bude trvat na tom, že diskutovaná metaanalýza je standardní a kvalitní vědeckou prací. Pokud ne, domnívám se, že je na místě to přiznat a omluvit se za použité formulace typu, že nerozumím metodologii. Pokud bude nicméně i nadále přesvědčen, že daná metaanalýza je (téměř) vrcholem správné evidence-based medicine, další diskuze pravděpodobně skutečně nemá význam.