Да ли је истраживање добро?

Желите да будете бољи потрошач истраживања друштвених наука? Ево кратког листа за јаслице за утврђивање опште легитимности и генерализације практично било које студије друштвених наука. Имајте на уму да овај креветић неће бити 100% тачан или релевантан за примењивање на сваку студију о којој можда читате. Али то је добар кратки водич који ће вам помоћи да започнете.

Какво је то истраживање било?

Најснажније, најбоље студије запошљавају експерименталну и контролну групу. Студије које изостављају контролну групу обично су мање корисне од оних које то чине. Истраживање је најмање моћан тип истраживања које се може спровести, јер нема експерименталну или контролну групу, али може бити корисно за идентификовање трендова или нулу концепата или хипотеза које се могу дубље проучити.

Колика је била студија?

Студија на мање од 50 људи у практично било ком експерименталном дизајну имаће врло, врло ограничену генерализацију (јер им готово увек недостаје довољна статистичка снага). То значи да, иако резултати могу бити потенцијално занимљиви, док се не копирају у другу групу (и пожељно већу групу), требало би да их узимате са резервом. (Нека истраживања, попут експерименталних дизајна за појединачне случајеве, такође могу пружити појединачне тачке интереса или будућа истраживања, али углавном нам могу мало рећи о ширим трендовима или третманима.)

Ко је био у радној соби?

Добро истраживање настоји да користи учеснике који су репрезентативни за популацију уопште. Што је узорак репрезентативнији, то се више може лако генерализовати из резултата. Дакле, студија од 200 учесника која је уравнотежена према полу, раси, социјално-економском статусу и историји је далеко боља од студије о 200 студената на Харварду или ОСУ.

Колико дуго су људи студирали?

Студија која испитује учеснике краће од 12 недеља за било коју врсту лечења је практично бескорисна. Ниједан клиничар или лекар за које знам да никада нису имали ниједан типичан, уобичајени тип лечења који је функционисао за мање од 12 недеља. Анкета која анкетира групу људи у једном тренутку значи да су пронађени резултати добри за тај одређени тренутак.

Постоје добри и разумни изузеци од овог правила за лечење анксиозности (лекови се често узимају по потреби, а не сваки дан) и за ствари попут акутне психозе или маније. Студије које испитују ове специфичне проблеме могу трајати краће време и још увек пружају драгоцене информације.

Заправо, пружа нам било која студија која је краћа (попут 4 или 8 недеља) неки информације. Само што су те информације снимак типичног режима лечења и не дају нам потпуну слику као дужа студија лечења. Трајање студије мање забрињава било коју студију која није посебно испитивање лечења менталног поремећаја.

Ко је финансирао студију?

Генерално, већина студија које се финансирају од стране државе показаће мање пристрасности од оних које финансира компанија (као што је фармацеутска компанија) са директним интересом за постизање одређеног резултата. Практично се све студије спроводе у оквиру универзитета или болнице, међутим, тако да информације о финансирању можда неће бити лако доступне (удружења истраживача обично пружају мало података о томе како је студија финансирана). Државно финансирање не значи да студија не може бити лоше дизајнирана или спроведена, већ само значи да не морате да бринете да ли ће „пристрасност финансирања“ утицати на резултате.

Како аутори говоре о својим резултатима?

Аутори би требало да буду понизни и опрезни у погледу својих резултата и да не доносе прешироке генерализације или резиме закључке (посебно о узрочности ако узрочност није предвиђена у студији, као што то обично није). Аутори би такође требали јасно да опишу ограничења тренутне студије у било ком чланку часописа; чланке који изостављају такве информације треба гледати скептично, јер свака студија има ограничења.

Аутори такође морају јасно уочити разлику између клиничке и статистичке значајности у студијама лечења. Промена од 2 или 3 тачке на скали за мерење депресије може бити статистички значајна (што резултира „позитивним“ резултатом), али има мали клинички значај за већину учесника. (Погледајте примере за овај чланак или овај чланак.) Иако је информативно знати да се експериментална група статистички разликује (нпр. Боља од шансе) од контролне групе, та разлика за већину нас можда неће имати стварно значење .

Пазите се и студија које се у потпуности ослањају на мере или скале које су оценили клиничари, без икаквих вага по оцени пацијента. Ко боље може да вам каже да лечење делује од самог пацијента?

* * *

Захваљујемо ЦЛ Псицх-у на прегледу ранијег нацрта овог чланка.