Шта значи недостатак поновљивости у истраживањима психологије?

Прошле недеље су стигли резултати највећег светског напора да се репродукују резултати пронађени у истраживањима психологије. Пројекат репродуктивности Брајана Носека прегледао је резултате 100 психолошких експеримената објављених 2008. из само три главна часописа о психологији. Покушала је да репродукује студију како би видела какве ће резултате добити.

У идеалном свету неко би могао помислити да је нешто од 75 или чак 80 посто студија требало да да сличне резултате, зар не? Јер су нова истраживања једноставно поново спровела на другој популацији истраживачи који су пажљиво следили оригиналне методе истраживача. У већини случајева истраживачи су такође имали директан контакт и сарадњу оригиналних истраживача.

Али у проналаску се завртило десетак различитих начина откако је објављен прошле недеље Наука часопис, Пројекат се није приближио на 75 процената. Само 36 процената репликација дало је значајне резултате - у поређењу са 97 процената од првобитних 100 студија.

Шта ово значи за психологију?

Упркос томе што су неки покушали да ово откриће заврте као неочекивано или „не толико лоше колико је могло бити“, ово не представља ништа добро за психолошку науку. Сваког месеца се објави стотине нових студија психологије. Укратко, ово откриће значи да се већини налаза тих студија не може веровати. Они су у ствари лажни.

Од Атлантик покривеност:

„Стопа успеха је нижа него што бих мислио“, каже Јохн Иоаннидис са Универзитета Станфорд, чији је класични теоријски рад Зашто су већина објављених налаза истраживања лажна је био громобран за покретљивост репродукције.

„Осећам се лоше кад видим да су нека моја предвиђања потврђена. Волео бих да је доказано да нису у праву. “

Још један лош налаз новог истраживања је да су мерених ефеката обично 50 одсто мање од оних које су пронашли првобитни истраживачи. То значи да чак и када су нови истраживачи репродуковали резултате, утицај променљивих које су проучаване није био ни приближно важан колико се првобитно мислило.

Разлози за лошу поновљивост у истраживањима психологије

Постоји десетак различитих разлога за ово лоше показивање психолошким истраживањима. Али пре него што прегледамо неке од њих, ово је хладно прскање стварности водом узимајући резултате из једне студије и генералишући их. Или још горе, веровање да је нешто истина када то више од једне студије тек треба да покаже истинитим.

Ако студија није двоструко слепа - јер већина њих то није - пристрасност истраживача може суптилно утицати на то како се подаци прикупљају или анализирају. Ако је истраживач управо провео 8 или 18 месеци прикупљајући податке само да не би нашао значајне резултате, он може да оде у експедицију за риболов података како би пронашао неки други однос података који може да објави.1 Истраживачи тада мењају своје првобитне хипотезе како би одговарали ономе што су подаци заправо пронађена (пошто већина истраживача још увек не региструје своја истраживања услугом праћења - иако се то полако мења).

Други сугеришу да је можда „изненађење“ друго објашњење - да се часописи данас фокусирају на објављивање изненађујућих открића, јер су популарнији и занимљивији читаоцима. Када у могућност додавања могућности регресије додате средину - да варијабле могу бити најекстремније када се мере први пут, али мање екстремне када се мере други или трећи пут - сугестија је да се ова два фактора комбинују да подстакну објављивање студија које су суштински тешке репродуковати.

Шта то значи за психолошку науку?

Људска природа је бескрајно сложена. Психолошка наука покушава да деконструише људско понашање и осећања на ситне комаде како би боље разумела целину. Међутим, ако истраживање не може репродуковати науку која стоји иза студија, то сугерише да се такође не може веровати великом делу онога што поље објави сваке године.

Међутим, такође не знамо статистику поновљивости већине науке, јер никада раније није било покушаја као што је Пројекат поновљивости у другим областима. Може бити да је ово мана коју трпи већина науке, или може бити мана која више утиче на друштвене науке него на друге науке.

Али у кратком року, ово наглашава нешто што сам увек говорио - налаз психолошке науке није нешто на шта можете окачити капу док је други истраживач не репродукује. За налазе који се могу репродуковати каже се да су „робусни“ и да им се зато верује.

Потражите ову врсту информација када процењујете или читате новинске чланке на основу нове студије. Иако нису тако секси као нова, „изненађујућа“ сазнања, истраживања која потврђују или доводе у питање оно што већ мислимо да знамо подједнако су важна.

За даље информације…

Атлантик: Колико су поуздане студије психологије?

Тхе Гуардиан: Студија доноси суморну пресуду о ваљаности резултата психолошког експеримента

Миндхацкс: Не зовите то повратком

Референца

Отворена научна сарадња. (2015). Процена поновљивости психолошке науке. Наука, 28.

Пројекат поновљивости: Психологија - сирови подаци

Фусноте:

1. Иначе је сво то време, новац и труд изгубљен, јер мало истраживача може или жели да објави ништавне резултате. [↩]
2. И заиста доводи у питање широко уопштавање аутора о применљивости њихових налаза, пронађено у скоро сваком одељку за расправу недавних студија психологије. [↩]