Нека подаци говоре? Не, не увек
Франк Л. Сцхмидт, угледни професор и истраживач на Универзитету у Ајови, одржао је у суботу на 20. конвенцији Удружења за психолошке науке говор о томе како научни подаци могу да лажу. Да, то је тачно, емпиријски подаци - чак и они објављени у угледним часописима са рецензијом - редовно не говоре истину.
Сцхмидтов говор био је добро посећен у једној од највећих балских дворана хотела Схератон анд Товерс у Чикагу где се одржава конгрес. Иако неравномерна презентација, наишле су Сцхмидтове главне тачке.
Један од њих је да је наивно тумачење више скупова података често вероватно најтачније - Оццамов бријач („најједноставније решење је обично најбољи одговор“). Сцхмидт тврди да добро истраживање проналази једноставну структуру у основи сложених података.
Резимирао је два су главна разлога због којих подаци могу „лежати“ у истраживању - грешке узорковања и грешке мерења.
Највећа Сцхмидтова критика била је усмерена на фетиш психолошке науке тестирањем значаја - на пример, статистичке значајности. Жели да се психологија удаљи од свог ослањања и фасцинације статистичким значајем, јер је то слаба, пристрасна мера која у основи мало говори о основним подацима или хипотезама.
Шмит је описао шест митова о испитивању значаја околине. Један од митова је био да је добра вредност п показатељ значаја, када је то заправо само показатељ нивоа снаге студије. Друга је била да ако није пронађен ниједан значај, то значи да није пронађена веза између променљивих (у ствари, то може једноставно значити да студији недостаје довољна снага).
Сцхмидтова решења су једноставна - уместо тога пријавите величине ефеката (процене тачака) и интервале поузданости и потпуно де-нагласите тестирање значаја.
Завршио је истицањем новооткривеног нагласка на метаанализи у психолошким истраживањима, посебно позивајући часопис Психолошки билтен. У студији која тек треба да се објави, он и други истраживачи испитали су све мета-анализе објављене у Психолошки билтен од 1978-2006 - укупно 199 студија.
Истраживачи су открили да је 65% ових испитиваних студија користило модел „фиксних ефеката“ за своју мета-анализу. Сцхмидт је тврдио да су у моделима са фиксним ефектима односи података потцењени (за чак 50%) и да истраживачи превише процењују колико су прецизни (колико мало грешке постоји у тој процени). Уместо тога, Сцхмидт преферира моделе „случајних ефеката“ који боље објашњавају ове варијације.
Такође је приметио да у 90% испитиваних студија нису извршене исправке грешке мерења - један од главних разлога које наводи да подаци могу да „леже“ у психолошким истраживањима.
С обзиром на ову анализу, Сцхмидт сугерише да велики број метаанализа објављених у рецензираним часописима доноси нетачне или погрешне закључке.
Нажалост, мало је вероватно да ће се ово стање ствари ускоро променити. Иако су многи психолошки часописи усвојили строже стандарде за објављивање истраживања који се боље придржавају Сцхмидтових сугестија, многи још увек немају и изгледа да немају намеру да се промене.
Просечном човеку ово значи да не можете веровати свакој објављеној студији само зато што се она појављује у рецензираном часопису, који се затим у медијима објављује као „чињеница“ путем саопштења за штампу. Такве чињенице су податне, променљиве и неисправне. Само пажљивим читањем и анализом таквих студија можемо разумети вредност података које они представљају.
