Стављање кул испред науке: ТвеетПсицх

Нова услуга коју је ове недеље покренуо веб програмер по имену Дан Заррелла под називом ТвеетПсицх. Заррелла је такође менаџер маркетинга за ХубСпот, компанију за онлајн маркетинг. Заррелла себе назива „научником“, јер претпостављам да звучи секси од „веб програмера“ или „менаџера маркетинга“, али не наводи никаква академска акредитива. (Не бих поменуо научника или део акредитива, осим да Заррелла износи специфичне научне тврдње о својој новој служби.)

Занимљива нова услуга продаје се као „психолошко профилисање“ на основу онога што објавите на Твиттеру. Али то је заправо само услуга анализе садржаја, која користи два психолошка речника и ваших претходних 1.000 твеетова. Заррелла тврди да ова анализа „гради психолошки профил особе“. Право психолошко профилисање је наука и обично се ради са много више од само једног дела човековог живота (као што је оно што они пишу на услузи микро-блогова). ТвеетПсицх тада износи контрадикторну тврдњу да је то „само у забавне сврхе“. Која је то?

Постоје проблеми са једним од речника које Заррелла користи и у анализи. Један речник - ЛИВЦ - је важећа база података психолошке лингвистике. Али други, Речник енглеских регресивних слика (РИД), је далеко мање. РИД се састоји од око 3.200 речи и корена додељених 43 категорије мишљења и расположења. Примарни проблем РИД-а је тај што он у основи нема подршку истраживању (упркос Заррелином цитирању веб странице због чега се чини као да то чини). Развио га је један професионалац, који је затим написао гомилу књига о томе и другим психоаналитичким процесима. Књига није исто што и чланак са рецензираним истраживачким часописом (као што истраживачи знају), а РИД-у у потпуности недостаје било каква емпиријска подлога. То сугерише да је половина анализе неваљана пре него што смо и започели.

Други речник, Лингвистичко испитивање и бројање речи (ЛИВЦ), заснован је првенствено на писаној речи - писању људи - или изговореној речи - попут терапијске сесије или разговора двоје људи. Није развијен за анализу вештачки кратких уноса од 140 знакова, попут оних на Твиттеру. Људи скраћују речи када твеетују, због ограничења броја знакова, и није јасно да ли ће једноставним резањем прецизно анализирати све речи написане са несталним скраћеницама у лету. Шта је са поновним твитовима? Особа која нешто ретвитује није нужно „говорење“, већ делује као усник за туђе речи. Да ли се услуга разликује? Без познавања обима проблема, не бисте имали појма да ли је ваша анализа вештачки пристрасна на неки начин (осим ако прво нисте посебно проучили ове врсте проблема). Ови проблеми се могу решити, али нису решени у овој услузи.

Заррелина способност да брзо анализира 1.000 твитова и упореди сав текст који се у њима налази са ова два речника за неколико секунди је дивљење за језичко програмирање. Изазов са којим се тада суочио је: „Како да представим резултате анализе на промишљен, интуитиван и реалан начин?“ Ово је део када ТвеетПсицх једноставно не успева да испоручи.

Будући да Заррелла очигледно има мало психологије, резултати психологије су прилично незадовољавајући. Добићете листу „карактеристика“ (ваше личности? Вашег твитовања?) Које укључују ствари попут „Занимање и посао“. Поред њега је користан опис „Много причате о пословима и свом послу“ и оцена.

Боже, хвала на сјајном увиду.

Немате појма шта значи оцена, јер за то нема контекста. Да ли је 47,87 за посао добро или лоше? Који је просек? Остале карактеристике укључују „Садашње време“, „Кретање нагоре“, „Позитивне емоције“, „Негативне емоције“ и три десетине других категорија.

Овај део анализе, заснован на ЛИВЦ, такође је добар колико и основни речник ЛИВЦ. Иако су категорије као што су рад, постигнућа и слободно вријеме „тренутне бриге“ које ЛИВЦ може идентификовати, он нема категорију за нешто попут „забринутости у вези“. Али то не бисте знали да нисте познавали ЛИВЦ. То би могло бити нешто што бисте споменули људима који узимају анализу. Остали популарни тематски садржаји о којима се редовно објављују - попут политике, технологије и познатих личности - такође нису део ЛИВЦ. Па се опет неће никада појавити у анализи, чак иако је то све о чему причате. Дакле, информације које ЛИВЦ - и, у продужетку, ТвеетПсицх - може пружити, су ограничене. (Коришћење прилагођеног речника решава неке од ових проблема, али то није речник који нуди ТвеетПсицх.)

„Примордијални, концептуални и емотивни садржај“ из РИД-а не садржи апсолутно никакве описе, а опет, ништа што ставља ваше резултате у било коју врсту контекста или разумевања. Али пошто то за почетак није научни речник, оцене у сваком случају можете прилично игнорисати. Могли су бити случајно развијени и пружити исто толико корисних информација.

Последњи део тренутне анализе је „Други попут вас“, уобичајена компонента сваке услуге друштвених мрежа. Занимљиво је да ова компонента недостаје у првој верзији овог алата. На основу искључиво онога што објављујете у Твиттеру, он тврди „Неки људи који мисле попут вас“, а затим вам даје списак других људи који су отишли ​​на ТвеетПсицх и ушли у своје корисничко име ради анализе.

Наравно да јесте не људи који мисле попут вас - то су људи који цвркућу попут вас. Ово је важна разлика. Услуга која свакодневно анализира мали део онога што пишете, а на основу анализе која може бити оштећена широком употребом скраћеница својих корисника, сигурно не може тврдити да анализира оно што размисли.

Колико је поуздан ТвеетПсицх? Па, данас, док сам писао овај чланак, приметио сам да су се сви резултати Дана Заррелле променили због једног твита (данас је само једном објавио твеет). Оцена „занимања и посла“ пала му је за 20%, а оцена „садашње време“ порасла је за 16%. Његов резултат апстрактног мишљења смањио се за 16%. Како се све ово могло догодити из само једног твита? Један твит - у поређењу са његових 999 осталих твеетова - не би требало да утиче толико на резултат. Осим ако се нешто друго не догађа.(Упоредите снимак екрана у наставку, снимљен у 14:55 по источном времену, са оним горе, снимљен данас у 9:00 по источном времену.)

Моји сопствени резултати у анализи Зарреллиних претходних 1.000 твитова у програму ЛИВЦ2007 показују нешто сасвим друго. Не знам Заррелину методологију (јер је није делио), али узео сам текст његових претходних 1.000 твеетова и обрађивао их у два облика кроз ЛИВЦ - матични и „такви какви јесу“. Ниједан није дао ништа блиско ономе што се појављује на ТвеетПсицх. То би могло бити због његове употребе старије верзије речника или неке врсте променљиве трансформације коју додаје у ТвеетПсицх коју није открио. Резултате ове анализе ЛИВЦ2007 можете погледати овде. (Истакнуо сам жутим стварима ТвеетПсицх је истакао, а зеленом остале области које ТвеетПсицх више није истакнуо; имајте на уму значајну разлику у бодовању.) Чини се да се питате шта се тачно догађа са услугом. Ако су његова психометријска поузданост и валидност упитни, колико је корисна?

ТвеетПсицх добива пуно позитивне штампе, убацује се само делић скептицизма. ЦНет-ов Јосх Ловенсохн написао је о услузи и само у пролазу приметио: „То чини мање психологијом, а више вашим личним лексиконом, али резултати су и даље прилично забавно." Да, забавно! Бен Паттерсон код Иахоо! Тецх је рекао: „Нажалост, психолошки профили које ТвеетПсицх издаје нису кохерентна, наративна разноликост коју бисте могли чути од психијатра који борави у одељку„ Закон и ред: злочиначка намера “.“ Па ипак, није ли кохерентни наратив много кориснији него неке неодређене категорије? Нико од новинара, као ни оригинални чланак о Масхабле-у (где, изненађење !, Заррелла је сарадник), не примећује недостатак психолошке позадине коју Заррелла износи на сто. Нико није повезао тачке зашто су резултати толико незадовољавајући у њиховим интерпретацијама. Очигледно су технички новинари сјајни у прерасподели сопствених позитивних саопштења за штампу, али не толико сјајни у томе што су стварни новинари који се баве науком о таквој услузи која се тврди.

Наравно, сам Заррелла признаје да није много размишљао о служби, као што је рекао НИ Пост, „„ Људи једноставно воле да се упоређују са другим људима и да покушавају да „уђу“ у туђе главе “, каже Заррелла. „То је као да сте мува на зиду на терапијској сесији.“ „Терапијској сесији? Да ли је заиста тако проницљиво пронаћи некога ко говори о „кретању нагоре?“ У журби да се услуга постави на мрежу, Заррелла очигледно никада није поставио питање: „Да ли је било која од ових информација заиста корисна?“ Служба, каква постоји данас, недовршена је мисао коју ће мало ко поново посјетити.

ТвеетПсицх је, упркос ограничењима, отворио врата будућим услугама које заправо пружају употребљиве, корисне и корисне информације које би вероватно имале већу ваљаност. Замислите да узмете не само твеетове неке особе, већ и информације садржане у њиховом Фацебоок профилу, блогу итд., И ставите их све у један огроман механизам за анализу ... Такав мотор би можда могао да пружи истински психолошки увид у појединца заснован на на оно што кажу на мрежи.

До тог времена имамо напоре бруцоша попут ТвеетПсицх, који би заиста требало звати „ТвеетФун!“ Јер иако је заиста забавно играти се са њим, пружа мало психолошког увида - осим оне најплитке врсте - у било кога.

(Додатне недоумице везане за ТвеетПсицх, аутора Тилер Хаиес, можете прочитати овде.)