Веза између легализације марихуане и аутомобилских несрећа? Глупости

У октобру су Институт података о губицима на аутопутевима и Институт за осигурање на путевима објавили самообјављени извештај који сугерише да постоји јака корелациона веза између стопе саобраћајних несрећа и легализације марихуане у државама. Ово би била застрашујућа вест да се налаз заснива на јаким научним доказима.

На несрећу ових института, подаци о истраживању су у најбољем случају мутни. А пошто су ове организације саме објавиле извештај, уместо да пролазе кроз процес научне рецензије, тешко је озбиљно схватити њихове налазе.

Пре него што почнемо да гледамо податке, читаоци би требало да схвате да иако су Институт података о губицима на аутопутевима (ХЛДИ) и Институт осигурања за сигурност на путевима (ИИХС) два различита правни организације, деле исто више руководство, исту физичку адресу и вероватно много више. Чини се да је реч о две независне, неповезане организације које су пронашле сличне резултате када су удружиле колективне умове, али то није случај.

Такође овај чланак морам започети уобичајеним научним подсетником - корелација није једнака узрочности. Ако проведем студију о ефектима људи који отварају кишобране у градском центру града, наћи ћу врло јаку позитивну корелацију између те акције и присуства кише. Али знамо да отварање кишобрана не доводи до пада кише. Ипак, наука ће спремно показати снажну корелацију између њих двоје - наводећи неке тужне, несвесне истраживаче да сугеришу да сигурно постоји узрочна веза.

Изаберите своје државе контроле

У новој студији истраживач је проучио податке о падовима аутопута за три циљне државе у којима је марихуана постала легализована изван медицинске употребе (Монфорт, 2018). Затим је упоредио стопе несрећа ових држава са пет контролних држава (држава које су се углавном граничиле са државама легализоване марихуане). На пример, Колорадо је добио три државе: Небраска, Јута и Вајоминг.

Већ видите проблем, зар не? Колорадо се дели са шест држава, а не само са три: Аризоном, Новим Мексиком и Канзасом. Сличан проблем видимо и са осталим одабраним контролним државама. Контролне државе Орегона биле су Идахо (одговарајућа држава за поређење) и Монтана - држава без излаза на море са којом дели мало заједничког и нема границу.

Истраживач је оправдао ове изборе јер је сестринска организација ИИХС објавила претходни извештај бирајући та стања. Ти неименовани истраживачи изабрали су државе на основу корелације - понекад не баш јаке - сличности између брзине података о падовима. Не демографски, земљописни (извитоперени планински путеви насупрот равним пољима) или неки други разлог.1 Спорно је да ли су „сезонски обрасци судара пре 2014. године“ легитимна научна променљива поређења за одабир контролних стања, када се друге променљиве чине далеко прикладнијима.

У накнадном имејлу са гласноговорником ИИХС-а, рекао је да истраживач жели „да користи два различита скупа података и да види да ли ће резултати бити слични. Коришћење различитих контролних стања не би имало смисла “.

Као што дугогодишњи читаоци знају, истраживачи могу прилично манипулисати својим подацима, анализом или хипотезом како би показали резултате које желе да пронађу. То је један од разлога зашто су многи људи генерално скептични према истраживањима. Постоји толико много начина на које истраживач може манипулисати подацима - често из врло легитимних, добрих разлога - да откривање уведене пристрасности може бити изазовно.

Међутим, то није био случај са овом студијом. Мислим да су пристрасности, по мом мишљењу, прилично јасно постављене.

11 анализа, али само 3 значајне

Други знак да је овај истраживачки извештај крајња бесмислица је да чак и када је шпил карата био сложен на начин који је сам истраживач одабрао, још увек није могао да нађе велики значај у подацима за већину статистичких анализа које је водио. Погледајте и сами:

Видиш те три звездице? То су једине три анализе које су биле статистички значајне. Приметите како се само једна од тих звездица појављује у стварном поређењу државе са државом - између Колорада и Јуте. Све остале анализе држава-држава нису показале значајну разлику између контролне државе и марихуане-правне државе.

У седам само државних анализа, само је једна била значајна. То је прилично значајно откриће које је прекривено у извештају (а ИИХС га уопште није поменуо). У мојим истраживачким круговима ово бисмо назвали „слабим“.

Удружимо податке!

Тек када је истраживач објединио читав низ контролних држава, нашао је још две значајне корелације.

Генерално схватам да се истраживачи уздржавају од удруживања података из различитих извора, осим ако не могу да оправдају одлуку да то учине, и уверавају да су основне променљиве хомогене (или сличне).

Не само да то морате осигурати за групу држава, као у садашњем истраживању. Али истраживач је такође објединио податке током више година.

Није очигледно какво је оправдање истраживач користио за одабир година које је урадио (2012-2016), осим што је рекао да су то биле године када су такви подаци били доступни у свим тим државама. Међутим, у мојој површној претрази сваке веб странице владине државе ове државе, углавном сам пронашао поуздано доступне податке о падовима од 2005. године.

Знамо да годишњи подаци о падовима нису хомогени - могу се знатно разликовати из године у годину. На пример, у свим државама проценат падова порастао је у 2014., 2015. и 2016. - без обзира на државу. Дакле, оно што истраживач покушава да измери да ли се пораст Идаха за 7,84 процента у 2015. разликује од повећања Орегона за 7,09 процената погодног за марџиуану. Или да ли се стопа колорада у Колораду, која погодује марихуани из 2015. године, повећала за 4,37 процената у односу на 2014. годину у односу на 2014. годину, значајно разликује од пораста у држави Утах за 9,96 процената или од Новог Мексика за 10,19 процената.

Даље, различите државе су добиле различите величине базена током испитиваних месеци, у зависности од тога када је њихова малопродајна продаја марихуане ступила на снагу. То је значило за Орегон, истраживач је 2012., 2013., 2014. и већи део 2015. повезао као један скуп података, а 2016. + 2 месеца у 2015. као други скуп података (46 месеци у односу на 14 месеци). Али Колорадо је легализовао марихуану у јануару 2014. године, тако да је имао само две године података пре легализације и три године података након легализације.

У поштеном и тачном научном поређењу, сви скупови података требало би да буду сличне величине у погледу временског периода који се испитује пре и после променљиве коју покушавате да измерите у својој анализи. Поготово када ти подаци, знамо, нису хомогени.

Па шта показују подаци?

Истраживач није пружио уобичајене детаље који су потребни за понављање његовог дела. Зато морамо испитати необрађене податке и само погледати очигледнија питања.

Ако погледамо Колорадо, можемо упоредити његову стопу незгода током времена са две друге државе. Пре 2013. године, Колорадо је имао међугодишњи пад укупних стопа несрећа (сви подаци са веб локације сваке поједине државе). Тада је 2013. држава забележила скок од 6,29 процената у падовима, који се наставио у 2014. (6,79 процената) и 2015. (4,37 процената). У 2016. години држава је забележила раст од само 0,35 одсто.

Упоредите ове бројеве са једном од контролних држава, Јута, коју је истраживач укључио. Утаха је такође забележила раст броја падова у 2013. години (9,05 процената), који су опали у 2014. години (-2,96 процената). Стопе пада те државе поново су порасле у 2015. и 2016. години (9,96 процената, односно 3,94 процента).

Сада упоредимо те бројеве са једним од контролних стања које није изабрао истраживач, Нови Мексико. У 2013. години забележен је пад стопе судара (-4,78 одсто), али потом две године раста у 2014. и 2015. години (3,64 и 10,19 процента). 2016. године у Новом Мексику је забележен пад од -0,53 одсто.

Верујем да је разлог због којег је Јута изабрана за Нови Мексико једноставан. Стопе падова у 2014-2016. Години (кључне су године за поређење марихуане у Колораду) повећале су кумулативно само 10,94 процената. Да су институти уместо тога користили Нови Мексико, стопа пада у истом временском периоду износила је 13,3 процента. У поређењу са кумулативних 11,51 одсто у Колораду, можете видети да је Јута нижа - али Њу Мексико (такође суседна држава Колорадо) је скоро 2 процентна поена више.

Све то баците у анализу која узима у обзир „државне карактеристике“ (која је укључивала само стопу незапослености и временске прилике), и воила! Подаци који наизглед показују да продаја марихуане утиче на стопе пада.

Шта ово значи за марихуану?

Подаци, чак и из тренутног истраживања, у основи не показују статистички значај између малопродаје марихуане и броја аутомобилских несрећа у некој држави. Ако корелација уопште постоји, она је врло слаба и пронађена је тек када је истраживач, по мом мишљењу, користио сумњиве анализе у студији. Неке државе суседне Колораду - на пример, Нови Мексико - нису биле укључене у анализу и показале су већи пораст раста стопа њихових несрећа током истог временског периода него што је то учинио Колорадо.

Верујем да се овакав извештај лоше одражава и на ИИХС и ХЛДИ. По мом мишљењу, ове организације, које првенствено финансирају осигуравајуће компаније, објављују застрашујуће налазе како би постигле политички и пословни циљ. Ова открића називају „истраживањем“, упркос чињеници да се понекад објављују само на сопственој веб страници организације и очигледно нису рецензирани, као што се то ради у традиционалним научним истраживањима. („Наше најновије истраживање о рекреативној легализацији марихуане и полицијским несрећама пријављено је за објављивање у часопису Анализа и превенција несрећа“, Примећује портпарол ИИХС.)

Овде имамо оно што бих назвао „лажним истраживањем“ - истраживање које се протеже како би показало значајну везу где очигледно постоји само велики знак питања. Па чак и ако је постојао корелацијски значај, ово истраживање нема никакву подршку узрочној вези. Обраћали смо се организацијама за коментар, а они су нас у основи управо упутили назад у студију да бисмо добили одговоре. На пример, портпарол ИИХС изјавио је, „Подаци о падовима марихуане у студији ИИХС нису обједињени, већ су појединачни резултати из сваке државе комбиновани у метаанализи, што је прихваћена метода истраживања. Појединачни резултати за Колорадо и Вашингтон у анализи ХЛДИ су статистички значајни. “

Када сам истакао да је тренутна студија показала значај само за једну државу - Колорадо (и тада само у поређењу са једном другом државом, Јута) - портпарол ме је упутио на претходну студију. Очигледно несвесни да ако новије истраживање је у супротности са ранијим истраживањима, не можете само непрестано указивати на то да су и даље ваљана. Оно што нова студија из ИИХС показује је да више нема значајне корелације између марихуане и падова у Вашингтону - управо супротно од онога што портпарол тврди.

ИИХС је организација која покушава да едукује и информише креаторе политика када је у питању безбедност аутомобилиста. На жалост, већина политичара и грађана неће разумети или схватити да су преварени, и уместо тога верују да је оваква студија заправо научна.

Укратко, нема јаких података који повезују малопродају марихуане са порастом аутомобилских несрећа. Подаци које имамо показују само врло ограничену, слабу корелацију - а не узрочност - путем статистичких трикова.

Од сада ћу бити много скептичнији према било чему што објављују ИИХС или ХЛДИ.

Фусноте:

1. Конкретно, „Контролна стања су изабрана на основу близине стања студије, као и на основу сличности сезонских образаца судара пре 2014. Ова сличност је заснована на корелацији између месечних учесталости у држави студије и сваког потенцијалног стања контроле током 24 месеца 2012–13. Пеарсонов коефицијент корелације за Колорадо и Небраску био је 0,85; за Вајоминг, 0,79; а за Јуту 0,60. За Вашингтон су државе Монтана (0,67) и Ајдахо (0,63) изабране као контроле. За Орегон су коришћене државе Идахо (0,67) и Монтана (0,83) “. [↩]