У која истраживања можете да верујете?
Свако ко чита Свет психологије редовно већ зна за проблеме у многим студијама које финансира индустрија. Али овај чланак сугерише да проблеми са рецензираним истраживањима иду много дубље од једноставне предрасуде о профиту. Научници су пристрасни на много, много начина (не само ради новчане добити). И та пристрасност се неизбежно показује у послу који обављају - научном истраживању.
Ово за мене није нови бубањ - говорио сам о пристрасности истраживача 2007. године и о томе како истраживачи дизајнирају студије како би пронашли конкретне резултате (овај пример укључује истраживаче који су пронашли веб странице са методама самоубиства када су тражили - сачекајте - „методе самоубиства ”У Гоогле-у). Приметили смо како се практично свака студија у часописима попут Психолошка наука ослањају се готово искључиво на студенте прикупљене из једног кампуса као предмете - значајно ограничење које се ретко помиње у самим студијама.
Међутим, овде је стварни забрињавајући аспект - ове врсте пристрасних студија појављују се у свим врстама часописа. ЈАМА, НЕЈМ и БМЈ нису имуни на објављивање усраних, мањкавих студија из медицине и психологије. Мислимо на „угледност“ часописа као на некакав знак улоге чувара капије - да студије које се појављују у најпрестижнијим часописима морају у основи бити здраве.
Али то једноставно није тачно. Цар није само гол - његови поданици су сакрили његову одећу како би наставили сопствену каријеру.
Питање необјективних студија које су објављене први пут је било у центру пажње давне 2004. године, када су ГлакоСмитхКлине тужили генерали државног тужиоца због скривања података о истраживању Пакила. Од тада су на видело изашле десетине студија, а од тада су објављене и друге студије које показују како се чини да фармацеутске компаније редовно крију релевантне податке о истраживањима. Ови подаци обично показују да лек који се проучава није био ефикасан у поређењу са таблетама за шећер у лечењу било којег поремећаја коме је намењен. (Блогови попут Клиничка психологија и психијатрија: Изблиза и Царлат Псицхиатри Блог имају више детаља о овим студијама.)
Али шта је са другим врстама пристрасности? Да ли нас занимају само студије у којима је пристрасност тако очигледна или не би требало да нас брине било која врста пристрасности која може утицати на поузданост резултата?
Одговор је, наравно, требало би да нас занимају сви облици пристрасности. Све што може утицати на крајње резултате студије значи да закључци студије могу бити под знаком питања.
Јохн Иоаннидис, професор на Универзитету Иоаннина, заинтересовао се за ово питање у медицинским истраживањима. Тако је саставио стручни тим истраживача и статистичара да дубље истраже и виде колико је проблем био лош. Оно што је открио није изненадило истраживаче, али ће изненадити већину лаика -
Збуњен, почео је да тражи специфичне начине на које студије иду по злу. Убрзо је открио да је низ погрешака који су почињени запањујући: од питања која су постављали истраживачи, преко начина постављања студија, преко пацијената које су регрутовали за студије, до којих мерења су вршили, до тога како су анализирали податке , како су представили своје резултате, како су поједине студије објављене у медицинским часописима. […]
„Студије су биле пристрасне“, каже он. „Понекад су били отворено пристрасни. Понекад је било тешко уочити пристрасност, али било је ту “. Истраживачи су кренули у своје студије желећи одређене резултате - и, ето, добили су их. Сматрамо да је научни процес објективан, ригорозан, па чак и немилосрдан у одвајању онога што је истина од онога што само желимо да буде истина, али у ствари је лако манипулисати резултатима, чак и ненамерно или несвесно.
„У сваком кораку процеса постоји простор за искривљење резултата, начин да се изнесе јача тврдња или одабере шта ће се закључити“, каже Јоанидис. „Постоји интелектуални сукоб интереса који притиска истраживаче да пронађу оно што је највероватније за њихово финансирање.“
Иоаннадис је саставио сложени математички модел који би предвидео колико истраживања могу бити погрешна на основу свих ових променљивих. Његов модел је предвидео да ће се „80 посто нерандомизираних студија (убедљиво најчешћи тип [- нарочито у психолошким истраживањима]) [показати] погрешно, као и 25 посто наводно златних стандардних рандомизираних испитивања, и као чак 10 процената великих рандомизираних испитивања са платином “.
Затим је тај модел ставио на тест на 49 студија које су садржавале најцјењеније налазе истраживања у медицинским истраживањима у протеклих 13 година. То су били у најцитиранијим медицинским часописима и сами су били најцитиранији чланци.
Од 49 чланака, 45 је тврдило да су открили ефикасне интервенције. Тридесет и четири од ових тврдњи су поново испитане, а за 14 од њих, или 41 одсто, убедљиво је показано да су погрешне или да су знатно преувеличане. Ако се између трећине и половине најцењенијих медицинских истраживања показало непоузданим, обим и утицај проблема били су неспорни. […]
Од тих 45 суперцитираних студија на које се Јоаннидис усредсредио, 11 никада није поново тестирано. Можда и горе, Јоанидис је открио да, чак и када се истраживачка грешка уклони, она обично траје годинама или чак деценијама. Прегледао је три истакнуте здравствене студије из 1980-их и 1990-их, које су касније биле добро оповргнуте, и открио да су истраживачи наставили да наводе оригиналне резултате чешће него неисправне - у једном случају најмање 12 година након што су резултати дискредитовани .
Толико о научницима који поново тестирају објављене резултате других - једини коначни начин борбе против пристрасности. Како готово 25 посто најцитиранијих медицинских студија у последњих 13 година никада није било поново тестирано? Запањујуће.
Резултат већине нас је да је готово немогуће да било ко каже да ли одређено истраживање заиста показује позитивне, нове и снажне резултате. Без уласка у детаљну анализу студије - и свих претходника студије - стављање новог истраживања у контекст дуг је и тежак задатак. Даље, Јоанидисов модел сугерише да је велика већина психолошких истраживања - можда чак 80 процената - вероватно погрешна. Овде заиста нема сребрне облоге.
Осим што можда истраживачки тимови попут Јоанидиса раде на томе да покажу како пристрасност може да се инфилтрира чак и у истраживање „златног стандарда“.
Промена овде у великој мери зависи од тога да ли поједини истраживачи уче о тим пристрасностима и много више раде на томе да осигурају да их студије немају. Али пошто ниједан вратар заправо не проверава дизајн студије или статистичке методе, мало је подстицаја за промену. Финансијски и каријерни подстицаји за истраживаче да наставе да објављују онако како то традиционално имају како би одржали свој академски и професионални положај и даље су незадрживо јаки.
Цео чланак вреди вашег времена: Лажи, проклете лажи и медицинске науке
Иако није идеално, ево нашег упутства од пре неколико година о томе како уочити сумњива истраживања - да ли је истраживање добро?
