Рангирање партијских школа пристрасно, самоиспуњавајуће пророчанство?

Тхе Принцетон Ревиев објављује годишње листе колеџа „Најбоље од ...“ засноване на анкети студената на сваком колеџу која је тренутно на мрежи. Процес анкете описују као:

Истраживање Принцетон Ревиев поставља студентима 80 питања о академицима / администрацији њихове школе, животу у кампусу, студентском телу и њима самима. Стопе за рангирање овог издања засноване су на анкетама од 120.000 ученика (око 325 по кампусу) у 366 школа у књизи (не у свим школама у земљи) током 2006-07 и / или претходне две школске године.

Што све звучи фино и добро, све док не прочитате ситни тисак:

Наше истраживање је квалитативно и анегдотално, а не квантитативно. Да бисмо се заштитили да не направимо запис који није на нивоу било ког колеџа, у административном контакту у свакој школи шаљемо копију профила који намеравамо да објавимо, са довољно могућности да одговоримо корекцијама, коментарима и / или изравно. приговори. У сваком случају у којем примимо захтеве за промене, предузимамо пажљиве мере да бисмо прегледали предлоге школе у ​​односу на податке анкете ученика које смо прикупили и извршили одговарајуће промене када је то оправдано.

Оно што нас највише наговара на то колико су репрезентативни налази наше анкете је следеће: Молимо ученике који учествују у анкети - након што су је попунили - да прегледају информације које смо објавили о њиховој школи у претходној години и оцене нас о њеној тачности и пуноважност. Из године у годину смо добили високе оцене: Ове године је 81 одсто ученика рекло да смо у праву.

Дакле, у основи признају да су подаци њихових анкета намењени пружању субјективне наративне слике колеџа - а не ствари из којих можете извући широке генерализације. Па ипак, управо то је Принцетон Ревиев наставља да се бави њиховим подацима - извући широке генерализације из својих анкета и рангирати колеџе на квантитативни начин. Сами факултети могу извршити неки непознати додатни утицај на то да ли се њихова школа налази на било којој датој листи.Ако се чини да је поступак рангирања мање транспарентан и прикривен мистеријом, то је намерно.

Како истраживачи могу претворити анегдотске податке у квантитативне податке? Па, научно, не можете (на пример, не постоји поступак заснован на истраживању, јер је то дословно поређење јабука или поморанџи). Када оваква организација учини нешто такве природе, можете изнети аргумент да су било које такве лествице само мишљења људи који су саставили списак, на основу мишљења других људи о онима који су заиста похађали школу.

Све би то било у реду, осим што Преглед ставља све ове ствари на листе што сугерише да имају уопштено значење кад немају. Списак „Топ 20 партијских школа“ није ништа друго него мишљења неких људи заснована на „комбинацији анкетних питања која се тичу употребе алкохола и дрога, сати учења сваког дана и популарности грчког система“. Могли су једнако лако да одаберу другачији скуп одговора на који би могли другачије гледати који би искривио рангирање школа.

Веће школе са већим бројем ученика вероватно се неће значајно разликовати у погледу величине њиховог грчког система (великог) и широког спектра социјалних и других неакадемских могућности које нуде својим ученицима (што резултира са мање сати учења сваког дана) . Да ли због тога већа вероватноћа да ће таква школа бити „забавна школа“ у комбинацији са гледањем онога што ученици кажу колико пију? Наравно да не. То може само значити да је школа одлично место за учење и дружење.

Плакат представљен протеклог викенда на АПС-у, под називом „Самоиспуњавајуће пророчанство и Принцетон Ревиев: описи или рецепти за пиће на факултету?“ у главу ми ставио предлог који мери попут Принцетон Ревиев имају неку сумњиву ваљаност. Истраживачи су погледали стварне податке о употреби алкохола током једне деценије за један средњи универзитет који се налази у западном делу Њујорка и упоредили су га са разним сродним ранг листама у Принцетон Ревиев. Пронашли су ранг листу у Принцетон Ревиев нема систематску корелацију са било којим подацима о употреби алкохола који су испитали. Открили су да су подаци о конзумацији алкохола у корелацији са објављеним ранг листама након што су објављени - што сугерише самоиспуњавајуће пророчанство.

Истраживачи су приметили да би, пошто је њихова студија спроведена на само једном универзитету, истраживање требало поновити на другим колеџима и универзитетима пре него што се генералише из налаза. Али налази су ипак занимљиви за напоменути.

Референца:

Цларк, Ц.Д. ет. ал. (2008). Самоиспуњавајуће пророчанство и Принцетон Ревиев: описи или рецепти за пиће на факултету? Постер представљен на 20. годишњој конвенцији Удружења за психолошке науке, Цхицаго ИЛ, 24. маја.