Nenápadný půvab studií s pozitivními výsledky

Leopold však netestoval podávání antibiotik, nýbrž rozhodování recenzentů. Sepsal „falešné“ studie, jež byly zcela totožné co do formální stránky rukopisu i uspořádání experimentu, lišily se jen ve výsledku. Jedna studie „odhalila“ významný rozdíl mezi oběma způsoby podávání antibiotika. Druhá statistický průkazný rozdíl neodhalila.

Leopolda zajímalo, zda budou recenzenti hodnotit obě studie stejným metrem. Ukázalo se, že u mnohých recenzentů převládla „slabost pro pozitivní výsledky“. Studii, která odhalila rozdíl, doporučilo ke zveřejnění 98 % recenzentů. Studii, jež rozdíl nezjistila, doporučilo 71 % recenzentů. Přitom by pro prevenci pooperačních komplikací byly stejně důležité jak výsledky, jež by shledaly mezi ošetřeními významný rozdíl, tak i výsledky, které by rozdíl neprokázaly.

Recenzenti byli ke studii, jež neodhalila žádný rozdíl, podstatně přísnější. Nacházeli v ní výrazně více chyb. U studie, která prokázala rozdíl, nacházel každý recenzent v průměru 0,3 chyby, u té, co rozdíl neodhalila, byl průměrný počet odhalených chyb na recenzenta 0,7. Hodnocení studie využívalo pro jednotlivé kapitoly rukopisu známky od 1 do 10. Například kapitola popisující materiál a metody byla u studie s pozitivním výsledkem hodnocena v průměru známkou o stupeň vyšší, i když byl text popisující použitý materiál a metody u obou studií prakticky identický.

Leopoldova studie dokazuje, že i recenzenti vědeckých textů jsou jen lidé, kteří se nedokáží zbavit subjektivního náhledu. Člověk podvědomě očekává, že nové věci budou fungovat lépe, a když se očekávání nenaplní, dostaví se určitá deziluze. To vše se do recenzního řízení promítá.

Zajímavou zkušenost získal Seth Leopold při podobném experimentu s recenzenty lékařského časopisu Clinical Orthopaedics and Related Research. Také jim předložil dvě shodné studie s různými výsledky. Recenzenti opět tíhli k lepšímu hodnocení studie s pozitivními výsledky, rozdíl však nebyl statisticky průkazný.

Má snad Clinical Orthopaedics and Related Research objektivnější recenzenty než Journal of Bone and Joint Surgery? Zřejmě nikoli. Redakce Clinical Orthopaedics and Related Research dala recenzentům na vědomí, „kolikátí“ jsou v pořadí recenzentů.

Není obvyklé, aby rukopis posuzovalo více než pět recenzentů. Dá se proto předpokládat, že většina recenzentů ze svého „pořadového čísla“ vytušila, že nejde o běžný rukopis, ale o jakýsi test. S tímto vědomím pak k hodnocení textu přistoupili.

Obvykle převládá názor, že nedostatek studií, které neodhalily průkazné rozdíly, vyvěrá z autocenzury autorů. Ti mají mnohem větší chuť do publikování experimentů, jež přinesly pozitivní výsledek. Pokusy odhalující, že „tudy cesta nevede“, zůstávají zhusta v šuplíku. Leopoldova studie, jejíž výsledky byly předneseny na Sixth International Congress of Peer Review and Biomedical Publication konaném v kanadském Vancouvru, však dokazuje, že zdrojem posunu ve prospěch pozitivně vyznívajících studií je mimo jakoukoli pochybnost i samotné recenzní řízení.

Zdroj: Medical Tribune