Nu sunt sigur când am auzit prima dată de teorema lui Bayes. Dar am început cu adevărat să-i acord o atenție doar în ultimul deceniu, după ce câțiva dintre studenții mei înrăiți l-au promovat drept un ghid aproape magic pentru a naviga prin viață. teoremei de pe Wikipedia și din alte părți, pe care am găsit-o fie prea înăbușită, fie prea complicată. Am convenit în mod convenabil că Bayes era o modă trecătoare, care nu merită o investigație mai profundă. Dar acum febra Bayes a devenit prea omniprezentă pentru a fi ignorată.
Statisticile bayesiene „trec prin toate, de la fizică la cercetarea cancerului, ecologie și psihologie”, relatează New York Times. Fizicienii au propus interpretări bayesiene ale mecanicii cuantice și apărarea bayesiană a șirurilor și a teoriilor multiverse. Filozofii afirmă că știința în ansamblu poate fi privită ca un proces bayesian și că Bayes poate distinge știința de pseudoștiință mai precis decât falsificarea, metoda popularizată de Karl Popper.
Cercetătorii de inteligență artificială, inclusiv proiectanții mașinilor cu conducere automată Google, folosesc software Bayesian pentru a ajuta mașinile să recunoască tiparele și să ia decizii. Programele Bayesian, potrivit Sharon Bertsch McGrayne, autorul unei istorii populare a teoremei Bayes, „sortează spam din e-mail, evaluează riscurile medicale și de securitate internă și decodează ADN-ul, printre altele. ” Pe site-ul Edge.org, fizicianul John Mather se îngrijorează că mașinile bayesiene ar putea fi atât de inteligente încât îi fac pe oameni „învechiți”.
Oamenii de știință cognitivi presupun că creierul nostru încorporează algoritmi bayesieni pe măsură ce percep, deliberează, decid. În noiembrie, oamenii de știință și filosofii au explorat această posibilitate la o conferință la Universitatea din New York, numită „Este creierul bayezian?” (Discut întâlnirea pe Bloggingheads.tv și în această postare ulterioară „Are Brains Bayesian?”)
Zeloții insistă că dacă mai mulți dintre noi ar adopta raționamente Bayesiene conștiente (spre deosebire de procesarea Bayesiană inconștientă) creierul nostru se presupune că se folosește), lumea ar fi un loc mai bun. În „O explicație intuitivă a teoremei lui Bayes”, teoreticul AI Eliezer Yudkowsky (cu care am discutat odată Singularitatea pe Bloggingheads.tv) recunoaște fervoarea cultă a bayezienilor:
„De ce un concept matematic generează acest entuziasm ciudat în studenții săi? Care este așa-numita Revoluție Bayesiană care străbate acum științele, care pretinde că subsumează chiar și metoda experimentală ca un caz special? Care este secret pe care îl cunosc adepții lui Bayes? Care este lumina pe care au văzut-o? În curând veți ști. În curând veți fi unul dintre noi. ” Yudkowsky glumește. Sau oare?
Având în vedere toate aceste hoopla, am încercat să ajung odată pentru totdeauna în fundul Bayes. Din nenumăratele explicații de pe web, am găsit în special utile sunt eseul lui Yudkowsky, articolul de pe Wikipedia și piese mai scurte ale filosofului Curtis Brown și informaticienilor Oscar Bonilla și Kalid Azad. În această postare, voi încerca să explic – în primul rând în beneficiul meu – despre ce este Bayes. cititorii vor indica, ca de obicei, orice erori. *
Numit după inventatorul său, ministrul presbiterian Thomas Bayes din secolul al XVIII-lea, teorema lui Bayes este o metodă de calcul al validității credințelor (ipoteze, pretenții, propuneri) bazate pe cele mai bune dovezi disponibile (observații, date, informații). Iată descrierea cea mai amețită: Credință inițială plus dovezi noi = credință nouă și îmbunătățită.
Iată o versiune mai completă: Probabilitatea ca o credință este adevărată, dat fiind dovezi noi, egală cu probabilitatea ca credința să fie adevărate Această dovadă este mai mare decât probabilitatea ca dovezile să fie adevărate, dat fiind faptul că credința este adevărată, împărțit la probabilitatea ca dovezile să fie adevărate, indiferent dacă credința este adevărată. Ai asta?
Testarea medicală servește adesea pentru a demonstra formula. Să presupunem că ai fost testat pentru un cancer estimat să apară la un procent din persoanele de vârsta ta. Dacă testul este 100% fiabil, nu aveți nevoie de teorema lui Bayes pentru a ști ce înseamnă un test pozitiv, dar să folosim teorema oricum, doar pentru a vedea cum funcționează.
Pentru a rezolva pentru P ( B | E), conectați datele în partea dreaptă a ecuației Bayes. P (B), probabilitatea ca aveți cancer înainte de a fi testat, este de 1% sau 0,01. La fel și P (E), probabilitatea că veți fi pozitiv. Deoarece sunt în numerator și respectiv la numitor, se anulează reciproc și rămâneți cu P (B | E) = P (E | B) = 1. Dacă dați un rezultat pozitiv, aveți cu siguranță cancer și vice versa.
În lumea reală, testele sunt rare sau chiar total fiabile. Deci, să presupunem că testul dvs. este de 99% fiabil.Adică, 99 din 100 de persoane care suferă de cancer vor da rezultate pozitive, iar 99 din 100 care sunt sănătoși vor da rezultate negative. Acesta este încă un test grozav. Dacă testul dvs. este pozitiv, cât de probabil este că aveți cancer?
Acum teorema lui Bayes își arată puterea. Majoritatea oamenilor presupun că răspunsul este de 99% sau aproape de acesta. Cât de fiabil este testul, nu? Dar răspunsul corect, dat de teorema lui Bayes, este de numai 50%.
Dar despre numitorul P (E)? Aici lucrurile devin dificile. P (E) este probabilitatea de a da teste pozitive indiferent dacă aveți sau nu cancer. Cu alte cuvinte, include atât falsurile pozitive, cât și adevăratele pozitive.
Pentru a calcula probabilitatea unui fals pozitiv, înmulțiți rata falsului pozitiv, care este de 1 la sută, sau 0,01, ori procentul de oameni care nu au cancer, .99. Totalul ajunge la 0,0099. Da, testul dvs. minunat, cu o precizie de 99%, produce atât de mulți pozitivi falși, cât și de adevărați pozitivi.
Să terminăm calculul. Pentru a obține P (E), adăugați pozitive adevărate și false pentru un total de .0198, care atunci când este împărțit în .0099 ajunge la .5. Așadar, încă o dată, P (B | E), probabilitatea de a avea cancer dacă faceți test pozitiv, este de 50%.
Dacă sunteți testat din nou, vă puteți reduce incertitudinea enorm, deoarece probabilitatea având cancer, P (B), este acum cu 50% mai degrabă decât cu 1%. Dacă și al doilea test devine pozitiv, teorema lui Bayes îți spune că probabilitatea ta de a avea cancer este acum de 99 la sută, sau, 99. Așa cum arată acest exemplu, iterarea teoremei lui Bayes poate produce informații extrem de precise.
Dar dacă fiabilitatea testului dvs. este de 90%, ceea ce este încă destul de bun, șansele dvs. de a avea cancer chiar dacă sunteți pozitiv de două ori sunt încă mai puțin de 50%. (Verificați matematica cu ajutorul calculatorului la îndemână în această postare de pe blog.)
Majorității oamenilor, inclusiv medicilor, le este greu să înțeleagă aceste cote, ceea ce ajută la explicarea motivului pentru care suntem supra-diagnosticați și supra-tratați pentru cancer și alte tulburări. Acest exemplu sugerează că bayezienii au dreptate: lumea ar fi într-adevăr un loc mai bun dacă mai mulți oameni – sau cel puțin mai mulți consumatori și furnizori de servicii medicale – ar adopta raționamentul bayesian.
Pe de altă parte, Bayes „teorema este doar o codificare a bunului simț. După cum scrie Yudkowsky spre sfârșitul tutorialului său: „Până în acest moment, teorema lui Bayes” poate părea evident evident sau chiar tautologică, mai degrabă decât interesantă și nouă. Dacă da, această introducere a reușit în întregime în scopul său. ”
Luați în considerare cazul de testare a cancerului: teorema lui Bayes spune că probabilitatea dvs. de a avea cancer dacă dați test pozitiv este probabilitatea unui test pozitiv adevărat împărțit la probabilitatea tuturor testelor pozitive, false și adevărate. Pe scurt, ferește-te de falsurile pozitive.
Iată afirmația mea mai generală a acestui principiu: plauzibilitatea credinței tale depinde de gradul în care credința ta – și numai credința ta – explică dovezile pentru aceasta. Cu cât există mai multe explicații alternative pentru dovezi, cu atât credința dvs. este mai puțin plauzibilă. Aceasta este, pentru mine, esența teoremei lui Bayes.
„Explicații alternative” pot cuprinde multe lucruri. Dovezile dvs. ar putea fi eronate, distorsionate de un instrument care nu funcționează defectuos, analize defectuoase, prejudecăți de confirmare, chiar fraude. Dovezile dvs. ar putea fi solide, dar explicabile prin multe credințe sau ipoteze, altele decât ale voastre.
Cu alte cuvinte, nu există nimic magic în teorema lui Bayes. Se rezumă la adevărul că credința dvs. este la fel de valabilă. ca dovadă. Dacă aveți dovezi bune, teorema lui Bayes poate produce rezultate bune. Dacă dovezile dvs. sunt slabe, teorema lui Bayes nu va fi de prea mare folos. Gunoaiele intrate, gunoaiele exterioare.
Potențialul pentru abuzul Bayes începe cu P (B), estimarea inițială a probabilității credinței tale, numită adesea „priorul”. În exemplul de testare a cancerului de mai sus, ni s-a dat un prior frumos și precis de 1%, sau 0,01, pentru prevalența cancerului. În lumea reală, experții nu sunt de acord cu privire la modul de diagnosticare și numărare a cancerelor. Anteriorul dvs. va consta adesea dintr-o serie de probabilități, mai degrabă decât dintr-un singur număr.
În multe cazuri, estimarea priorului este doar presupuneri, permițând factorilor subiectivi să se strecoare în calculele dvs. S-ar putea să ghiciți probabilitatea unui lucru care – spre deosebire de cancer – nici măcar nu există, cum ar fi șirurile, multiversurile, inflația sau Dumnezeu. S-ar putea să citați apoi dovezi dubioase pentru a vă susține credința dubioasă. În acest fel, teorema lui Bayes poate promova pseudostiința și superstiția, precum și rațiunea.
Înglobat în teorema lui Bayes este un mesaj moral: Dacă nu sunteți scrupulos în căutarea de explicații alternative pentru dovezile dvs., dovezile va confirma doar ceea ce credeți deja. Oamenii de știință nu reușesc adesea să țină cont de acest dictum, ceea ce explică de ce atât de multe afirmații științifice se dovedesc a fi eronate. Bayezienii susțin că metodele lor pot ajuta oamenii de știință să depășească părtinirea confirmării și să producă rezultate mai fiabile, dar am îndoielile mele.
Și, așa cum am menționat mai sus, unii entuziaști de șiruri și multiversuri îmbrățișează analiza bayesiană. De ce? Deoarece entuziaștii s-au săturat să audă că teoriile șirului și multiversului sunt nefalsificabile și, prin urmare, neștiințifice, iar teorema lui Bayes le permite să prezinte teoriile într-o lumină mai favorabilă. În acest caz, teorema lui Bayes, departe de a contracara părtinirea confirmării, o permite.
Așa cum a spus recent scriitorul științific Faye Flam în The New York Times, statisticile Bayesiene „nu ne pot salva de știința rea. ” Teorema lui Bayes este un instrument universal care poate servi oricărei cauze. Reprezentantul statistic Bayesian Donald Rubin de la Harvard a servit ca consultant pentru companiile de tutun care se confruntă cu procese pentru daune cauzate de fumat.
Sunt totuși fascinat de teorema lui Bayes. Îmi amintește de teoria evoluției, o altă idee care pare tautologic simplă sau descurajantă de profundă, în funcție de modul în care o vedeți și care a inspirat prostii abundente, precum și informații profunde.
Poate pentru că creierul meu este bayezian, dar am început să detectez aluzii la Bayes peste tot. În timp ce scrutam lucrările complete ale lui Edgar Allen Poe pe Kindle-ul meu recent, am dat peste această frază în Povestea lui Arthur Gordon Pym din Nantucket: „În niciun caz lucruri de simplă prejudecată, pro sau contra, deducem deduceri cu deplină certitudine, chiar și din cele mai simple date. ”
Ține cont de avertismentele lui Poe înainte de a sări pe vagonul Bayes.
* Prietenii mei Greg, Gary și Chris au scanat această postare înainte ca eu să p l-a publicat, așa că ar trebui să li se dea vina pentru orice erori.
Postscript: Andrew Gelman, un statistician bayesian la Columbia, pe blogul căruia am legat mai sus (în observația despre Donald Rubin), mi-a trimis acest comentariu solicitat : „Lucrez la științe și politici sociale și de mediu, nu la fizică teoretică, așa că nu pot să comentez într-un fel sau altul cu privire la utilizarea Bayes pentru a argumenta teorii de șiruri și multiverse! De fapt, nu-mi place încadrarea în care rezultatul este probabilitatea ca o ipoteză să fie adevărată. Acest lucru funcționează în unele setări simple în care ‘ipotezele’ sau posibilitățile sunt bine definite, de exemplu verificarea ortografică (vezi aici: http://andrewgelman.com/2014/01/22/spell-checking-example/). Dar nu cred că are sens să ne gândim la probabilitatea ca unele ipoteze științifice să fie adevărate sau false; vezi această lucrare: http://andrewgelman.com/2014/01/22/spell-checking-example/. Pe scurt, cred că metodele bayesiene sunt o modalitate excelentă de a face inferență în cadrul unui model, dar nu în general un mod bun de a evalua probabilitatea ca un model sau o ipoteză să fie adevărată (într-adevăr, cred că „probabilitatea ca un model sau o ipoteză este adevărat este în general o afirmație fără sens, cu excepția celor menționate în anumite exemple înguste, deși importante). De asemenea, am observat acest paragraf al vostru: „În multe cazuri, estimarea anterioară este doar presupuneri, permițând factorilor subiectivi să se strecoare în calculele tale. S-ar putea să ghiciți probabilitatea unui lucru care – spre deosebire de cancer – nici măcar nu există, cum ar fi șirurile, multiversurile, inflația sau Dumnezeu. S-ar putea să citați apoi dovezi dubioase pentru a vă susține credința dubioasă. În acest fel, teorema lui Bayes poate promova pseudostiința și superstiția, precum și rațiunea. ”Cred că acest citat este oarecum înșelător în sensul că toate părțile unui model sunt presupuneri subiective. Sau, altfel spus, tot un model statistic trebuie înțeles și evaluat. Mă opun atitudinii că modelul de date este presupus corect, în timp ce distribuția anterioară este suspectă. Iată ceva ce am scris despre subiect: http://andrewgelman.com/2015/01/27/perhaps-merely-accident-history-skeptics-subjectivists-alike-strain-gnat-prior-distribution-swallowing-camel-likelihood/. ”
Lecturi suplimentare:
Sunt creierele bayeziene?
Am greșit despre sfârșitul științei?
O săpătură prin fișiere vechi îmi amintește de ce sunt atât de critic în ceea ce privește știința.
Studiul relevă o creștere uimitoare a hype-ului științific. >