Лоше истраживање: упоређивање брзина читања са иПад-а, Киндле-а и књига
Ми волимо студију употребљивости као и следећа особа. Али ми волимо добро осмишљене, елегантне студије које с правом указују на своја ограничења и штампају се у часописима са рецензијом, највише од свега. Имамо мање љубави према студијама које делују као пропаганда или истраживачима који доносе закључке који нису поткрепљени сопственим подацима.Лоша истраживања могу се наћи било где - чак и консултанти који живе од истраживања о употребљивости. Добронамерни људи попут Јакоба Ниелсена. Недавно је на својој веб страници објавио студију о употребљивости Киндле-а, иПад-а, рачунара и књиге за читање дела кратке фантастике.
Након што су приметили да није било статистичке разлике између читања на Киндле-у или иПад-у, а затим и да подаци нису достигли статистичку значајност за иПад у односу на књигу, аутори овог извештаја и даље изјављују да „Књиге брже од таблета“.
Па, да, то је истина на први поглед. Али поента истраживања и статистичке анализе у првом реду је да се превазиђе оно што чини се бити истинит и видети да ли је разлика значајна или не.Напокон, подаци могу изгледати као да нешто значе, али ако статистика то не подржава, појава значења је само илузија. Онај који не треба истицати у нечијим поднасловима, јер је обмањујући.
У ствари, подаци из ове одређене студије открили су да се само читање на Киндлу статистички разликује од читања књиге. Али то је далеко мање секси закључак од ширег, „Књиге брже од таблета“.
У овој студији нису понуђена алтернативна објашњења резултата, што је очигледан пропуст. Најочигледније алтернативно објашњење за пронађене резултате једноставно је да људи имају велико познавање и искуство са читањем штампане речи у књизи - често пута вредној деценијама! С друге стране, време и искуство проведено у читању са новијих уређаја - било да је то Киндле или иПад или чак ПЦ - изузетно су ограничени. У сваком случају, људи нису провели деценије читајући књиге са једног од ових уређаја. Дакле, могло би се једноставно радити о познавању - књиге су лаки, познати начини уношења материјала за читање. Киндле и иПад још увек нису.
Ово алтернативно објашњење такође објашњава разлику између налаза података Киндле и иПад (Киндле је био статистички значајно спорији од књиге, док иПад није). ИПад користи екран са којим је већина људи већ упозната, а Аппле-ова стручност у употребљивости у овим врстама ручних уређаја је добро препозната. Киндле, с друге стране, користи технологију екрана са којом се мало људи икада срело. И док је далеко употребљивији у свакодневним ситуацијама (као што је читање на отвореном или небрига о свакодневном пуњењу), Киндле је једноставно непознати уређај који користи непознату технологију.
Ограничења студије укључују дизајн и предметни фонд. Иако нам 24 испитаника могу дати довољну снагу за статистичку анализу, стилови читања људи су довољно различити да би нам већи експеримент могао дати робусније и коначније резултате. Тражити од особе да прочита исту причу од 17 минута четири пута заредом такође се чини мање од идеалног. Иако је редослед уређаја на коме читају насумично, не могу да не помислим како би било досадно и монотоно читати исту причу изнова и изнова, 4 пута заредом.
Понуда различитих врста материјала за читање - и белетристике и нефикције - такође би искључила све могуће ефекте да врста садржаја који се користи као мера ненамерно утиче и на брзину читања. Хемингваи - аутор кориштен у тренутном истраживању - је сјајан аутор, али тешко да бих рекао да је свима по вољи или укусу. Читање материјала који вас слабо занима такође може утицати на време читања.
Оно што је ова студија показала је да различити стони рачунски уређаји за читање дела кратке фантастике не утичу значајно на време читања за оне који немају одређено познавање уређаја (осим на Киндле-у, где је време читања било знатно спорије). Није изненађујуће што су иПад, Киндле и боок имали сличне оцене задовољства корисника, што показује да уређаји немају значајних проблема са употребљивошћу који умањују задовољство крајњег корисника због њихове употребе.