Nejsem si jistý, kdy jsem poprvé slyšel o Bayesově větě. Ve skutečnosti jsem tomu ale začal věnovat pozornost až v posledním desetiletí, poté, co to několik mých vyhraněných studentů vyprávělo jako téměř magického průvodce navigací v životě.
Výkřiky mých studentů mě zmátly, stejně jako vysvětlení věty na Wikipedii a jinde, které mi připadaly buď příliš otupělé, nebo příliš komplikované. Pohodlně jsem se rozhodl, že Bayes je pomíjivý výstřelek, který nestojí za hlubší vyšetřování. Ale nyní je Bayesova horečka příliš všudypřítomná, než aby ji bylo možné ignorovat.
Bayesovské statistiky „se vlní ve všem od fyziky přes výzkum rakoviny, ekologii až po psychologii,“ uvádí New York Times. Fyzici navrhli Bayesovské interpretace kvantové mechaniky a Bayesova obrana teorií strun a multiverse. Filozofové tvrdí, že na vědu jako celek lze pohlížet jako na Bayesovský proces a že Bayes dokáže přesněji odlišit vědu od pseudovědy než od padělání, metody popularizované Karlem Popperem.
Výzkumníci umělé inteligence, včetně designérů samojízdných automobilů Google, využívají Bayesianský software, který pomáhá strojům rozpoznávat vzorce a rozhodovat. Bayesovské programy podle Sharon Bertsch McGrayne, autorky populární historie Bayesovy věty, „třídí spam z e-mailu, mimo jiné posoudit zdravotní a vnitřní bezpečnostní rizika a dekódovat DNA. “ Na webu Edge.org se fyzik John Mather obává, že Bayesovské stroje mohou být tak inteligentní, že způsobí, že lidé budou „zastaralí“.
Kognitivní vědci předpokládají, že naše mozky začleňují Bayesovské algoritmy, jak vnímají, uvažují a rozhodují. V listopadu vědci a filozofové tuto možnost prozkoumali na konferenci na Newyorské univerzitě s názvem „Je mozek Bayesian?“ (Diskutuji o schůzce na Bloggingheads.tv a v tomto navazujícím příspěvku „Are Brains Bayesian?“)
Zealoti trvají na tom, že pokud by si více z nás osvojilo vědomé Bayesianské uvažování (na rozdíl od nevědomého Bayesianského zpracování náš mozek údajně zaměstnává), svět by byl lepším místem. V „Intuitivním vysvětlení Bayesovy věty,“ uznává teoretik AI Eliezer Yudkowsky (s nímž jsem kdysi hovořil o Singularity na Bloggingheads.tv) Bayesianovu kultovní horlivost:
„Proč matematický koncept generuje u studentů toto podivné nadšení? Jaká je takzvaná Bayesiánská revoluce, která se nyní táhne vědami, které tvrdí, že za zvláštní případ lze považovat i samotnou experimentální metodu? Co je to tajemství, které vědí přívrženci Bayes? Jaké je světlo, které viděli? Brzy to poznáš. Brzy budeš jedním z nás. “ Yudkowsky si dělá srandu. Nebo ano?
Vzhledem k tomu všemu jsem se pokusil jednou a navždy dostat na dno Bayes. Z nesčetných vysvětlení na webu, které jsem našel obzvláště užitečné jsou Yudkowského esej, vstup na Wikipedii a kratší kousky od filozofa Curtise Browna a počítačových vědců Oscara Bonillu a Kalida Azada. V tomto příspěvku se pokusím vysvětlit – především pro můj vlastní prospěch – o čem Bayes je. čtenáři jako obvykle upozorní na jakékoli chyby. *
Pojmenovaný podle svého vynálezce, presbyteriánského ministra z 18. století Thomase Bayese, je Bayesova věta metodou pro výpočet platnosti víry (hypotézy, tvrzení, propozice) založené na nejlepších dostupných důkazech (pozorování, data, informace). Zde je ten nejhloupější popis: Počáteční víra plus nové důkazy = nová a vylepšená víra.
Zde je úplnější verze: Pravděpodobnost, že víra je pravdivá vzhledem k tomu, že nové důkazy se rovnají pravděpodobnosti, že je víra pravdivá s tohoto důkazu krát pravděpodobnost, že důkaz je pravdivý vzhledem k tomu, že víra je pravdivá, děleno pravděpodobností, že důkaz je pravdivý, bez ohledu na to, zda je víra pravdivá. Rozumíte?
Lékařské testování často slouží k předvedení vzorce. Řekněme, že jste testováni na rakovinu, u které se odhaduje výskyt u jednoho procenta lidí ve vašem věku. Pokud je test stoprocentně spolehlivý, nepotřebujete Bayesovu větu, abyste věděli, co znamená pozitivní test, ale stejně použijeme větu, abychom zjistili, jak funguje.
Řešení pro P ( B | E), připojíte data do pravé strany Bayesovy rovnice. P (B), pravděpodobnost, že máte rakovinu před testováním, je jedno procento, nebo 0,01. Stejně tak P (E), pravděpodobnost, že budete mít pozitivní test. Protože jsou v čitateli a jmenovateli, vzájemně se ruší a vám zbývá P (B | E) = P (E | B) = 1. Pokud máte pozitivní test, určitě máte rakovinu a zlozvyk naopak.
V reálném světě jsou testy zřídka, pokud vůbec, zcela spolehlivé. Řekněme, že váš test je 99% spolehlivý.To znamená, že 99 ze 100 lidí s rakovinou bude mít pozitivní test a 99 ze 100 zdravých bude mít negativní test. To je stále úžasný test. Pokud je váš test pozitivní, jak je pravděpodobné, že máte rakovinu?
Nyní Bayesova věta zobrazuje jeho sílu. Většina lidí předpokládá, že odpověď je 99 procent, nebo blízko ní. Tak spolehlivý je test, že? Ale správná odpověď, kterou poskytuje Bayesova věta, je pouze 50 procent.
A co jmenovatel P (E)? Tady je situace složitější. P (E) je pravděpodobnost pozitivního testování, zda máte nebo nemáte rakovinu. Jinými slovy, zahrnuje falešná pozitiva i skutečná pozitiva.
Chcete-li vypočítat pravděpodobnost falešně pozitivních výsledků, vynásobte míru falešných pozitivů, což je jedno procento nebo 0,01násobek procenta lidí, kteří nemají rakovinu, 0,99. Celková částka je 0,0099. Ano, váš úžasný 99% přesný test přináší tolik falešných pozitiv jako skutečných pozitiv.
Pojďme dokončit výpočet. Chcete-li získat P (E), přidejte pravdivé a nepravdivé pozitivy celkem 0,1998, což je při rozdělení na 0,0099 0,5. Takže opět P (B | E), pravděpodobnost, že máte rakovinu, pokud budete mít pozitivní test, je 50 procent.
Pokud se necháte znovu testovat, můžete svou nejistotu enormně snížit, protože vaše pravděpodobnost s rakovinou, P (B), je nyní 50 procent spíše než jedno procento. Pokud váš druhý test přijde také pozitivně, Bayesova věta vám řekne, že vaše pravděpodobnost rakoviny je nyní 99 procent, nebo 0,99. Jak ukazuje tento příklad, iterace Bayesovy věty může přinést extrémně přesné informace.
Pokud je však spolehlivost vašeho testu 90 procent, což je stále docela dobré, vaše šance na rakovinu, i když budete mít pozitivní test dvakrát je stále méně než 50 procent. (Podívejte se na moji matematiku pomocí praktické kalkulačky v tomto příspěvku na blogu.)
Většina lidí, včetně lékařů, těžko rozumí těmto šancím, což pomáhá vysvětlit, proč máme nadměrnou diagnózu a nadměrnou léčbu rakoviny a dalších poruch. Tento příklad naznačuje, že Bayesovci mají pravdu: svět by byl skutečně lepším místem, kdyby více lidí – nebo alespoň více spotřebitelů a poskytovatelů zdravotní péče – přijalo Bayesovské uvažování.
Na druhou stranu, Bayes „věta je pouze kodifikací zdravého rozumu. Jak Yudkowsky píše na konci svého tutoriálu: „V tomto bodě se Bayesova“ věta může zdát očividně zjevná nebo dokonce tautologická, spíše než vzrušující a nová. Pokud ano, tento úvod zcela splnil svůj účel. “
Zvažte případ testování na rakovinu: Bayesova věta říká, že vaše pravděpodobnost rakoviny, pokud budete mít pozitivní test, je pravděpodobnost skutečně pozitivního testu děleno pravděpodobnost všech pozitivních testů, falešných i pravdivých. Stručně řečeno, dejte si pozor na falešná pozitiva.
Zde je moje obecnější vyjádření k této zásadě: Věrohodnost vaší víry závisí na míře, v níž vaše víra – a pouze vaše víra – vysvětluje důkazy pro to. Čím více alternativních vysvětlení pro důkaz existuje, tím méně věrohodná je vaše víra. To je pro mě podstata Bayesovy věty.
„Alternativní vysvětlení“ může zahrnovat mnoho věcí. Vaše důkazy mohou být chybné, zkreslené nefunkčním nástrojem, chybnou analýzou, zkreslením potvrzení, dokonce i podvodem. Vaše důkazy mohou být zdravé, ale vysvětlitelné mnoha vírami nebo hypotézami, jinými než vašimi.
Jinými slovy, na Bayesově teorém není nic kouzelného. Snižuje se to na pravdivost, že vaše víra je platná jen jako platná jako důkaz. Máte-li dobré důkazy, může Bayesova věta přinést dobré výsledky. Pokud jsou vaše důkazy křehké, Bayesova věta nebude příliš užitečná. Odpadky, odpadky.
Potenciál u Bayesova týrání začíná P (B), váš počáteční odhad pravděpodobnosti vaší víry, často nazývaný „předchozí“. Ve výše uvedeném příkladu s testem na rakovinu jsme dostali pěknou a přesnou hodnotu jednoho procenta neboli 0,01 za prevalenci rakoviny. V reálném světě se odborníci neshodují v tom, jak diagnostikovat a počítat rakovinu. Váš předchozí bude často sestávat spíše z řady pravděpodobností než z jediného čísla.
V mnoha případech je odhadování předchozího pouze dohadování, což umožňuje, aby se do vašich výpočtů vkradly subjektivní faktory. Možná hádáte pravděpodobnost něčeho, co na rozdíl od rakoviny vůbec neexistuje, jako jsou struny, multivesmír, inflace nebo Bůh. Potom můžete uvést pochybné důkazy na podporu své pochybné víry. Tímto způsobem může Bayesova věta podporovat pseudovědu a pověry i rozum.
V Bayesově teorémě je morální poselství: Pokud nejste pečliví hledat alternativní vysvětlení svých důkazů, důkazy jen potvrdí to, čemu už věříte. Vědci často nedbají tohoto výroku, což vysvětluje, proč se tolik vědeckých tvrzení ukazuje jako chybných. Bayesians tvrdí, že jejich metody mohou vědcům pomoci překonat zkreslení potvrzení a přinést spolehlivější výsledky, ale pochybuji.
A jak jsem již zmínil výše, někteří nadšenci strun a multivesmíru přijímají Bayesianskou analýzu. Proč? Protože nadšence už nebaví slyšet, že teorie strun a multiverse jsou neomylné a tudíž nevědecké, a Bayesova věta jim umožňuje prezentovat teorie v příznivějším světle. V tomto případě to umožňuje Bayesova věta, která zdaleka nepůsobí proti zkreslení potvrzení.
Jak to nedávno uvedla vědecká spisovatelka Faye Flamová v The New York Times, Bayesiánská statistika „nás nemůže zachránit před špatnou vědou. “ Bayesova věta je všestranný nástroj, který může sloužit jakékoli příčině. Významný bayesovský statistik Donald Rubin z Harvardu sloužil jako konzultant pro tabákové společnosti, které čelí soudním sporům o náhradu škody způsobené kouřením.
Jsem nicméně fascinován podle Bayesovy věty. Připomíná mi to evoluční teorii, další myšlenku, která se zdá tautologicky jednoduchá nebo skličující hluboká, podle toho, jak ji vnímáte, a která inspirovala spoustu nesmyslů i hlubokých poznatků.
Možná je to tím, že můj mozek je Bayesian, ale začal jsem všude detekovat narážky na Bayese. Při orbě přes Kompletní díla Edgara Allena Poea na mém Kindle jsem narazil na tuto větu v příběhu Arthura Gordona Pyma z Nantucketu: „V žádném záležitosti pouhého předsudku, pro nebo proti, odvodíme závěry s úplnou jistotou, a to i z těch nejjednodušších údajů. “
Mějte na paměti Poeovu námitku, než skočíte na vůz Bayes.
* Moji přátelé Greg, Gary a Chris skenovali tento příspěvek, než jsem p ublished to, takže by měli být obviňováni z jakýchkoli chyb.
Postscript: Andrew Gelman, Bayesian statistik v Kolumbii, na jehož blog odkazuji výše (v poznámce k Donaldu Rubinovi), mi poslal tento vyžádaný komentář „Pracuji na společenské a environmentální vědě a politice, nikoli na teoretické fyzice, takže nemohu tak či onak komentovat použití Bayes k argumentaci pro teorii strun a multiverse! Vlastně se mi nelíbí rámování, ve kterém je výsledkem pravděpodobnost, že hypotéza je pravdivá. Funguje to v některých jednoduchých nastaveních, kde jsou dobře definovány „hypotézy“ nebo možnosti, například kontrola pravopisu (viz zde: http://andrewgelman.com/2014/01/22/spell-checking-example/). Ale nemyslím si, že by mělo smysl myslet na pravděpodobnost, že některá vědecká hypotéza je pravdivá nebo nepravdivá; viz tento dokument: http://andrewgelman.com/2014/01/22/spell-checking-example/. Stručně řečeno, myslím si, že Bayesovské metody jsou skvělým způsobem, jak odvodit závěry v rámci modelu, ale obecně to není dobrý způsob, jak posoudit pravděpodobnost, že model nebo hypotéza jsou pravdivé (opravdu si myslím, že „pravděpodobnost, že model nebo hypotéza je pravda “je obecně nesmyslné tvrzení, s výjimkou případů, které jsou uvedeny v určitých úzkých, i když důležitých příkladech). Také jsem si všiml tohoto vašeho odstavce: „V mnoha případech je odhadování předchozího pouze dohadem, který umožňuje, aby se do vašich výpočtů vkradly subjektivní faktory. Možná hádáte pravděpodobnost něčeho, co na rozdíl od rakoviny vůbec neexistuje, jako jsou struny, multivesmír, inflace nebo Bůh. Potom můžete uvést pochybné důkazy na podporu své pochybné víry. Tímto způsobem může Bayesova věta podporovat pseudovědu a pověry i rozum. “Myslím, že tento citát je poněkud zavádějící, protože všechny části modelu jsou subjektivními dohady. Nebo jinak řečeno, je třeba pochopit a vyhodnotit všechny statistické modely. Namietám proti postoji, že datový model je považován za správný, zatímco předchozí distribuce je podezřelá. Tady je něco, co jsem na toto téma napsal: http://andrewgelman.com/2015/01/27/perhaps-merely-accident-history-skeptics-subjectivists-alike-strain-gnat-prior-distribution-swallowing-camel-likelihood/. „
Další čtení:
Jsou Brains Bayesian?
Mýlil jsem se na konci vědy?
Výkop ve starých souborech mi připomíná, proč jsem tak kritický vůči vědě.
Studie odhaluje úžasný nárůst vědeckého humbuku.