Nie jestem pewien, kiedy po raz pierwszy usłyszałem o twierdzeniu Bayesa. Ale tak naprawdę zacząłem zwracać na to uwagę dopiero w ciągu ostatniej dekady, po tym, jak kilku moich najlepszych uczniów zachwalało go jako prawie magiczny przewodnik po życiu.
Tyły moich uczniów zdezorientowały mnie, podobnie jak wyjaśnienia twierdzenia na Wikipedii i w innych miejscach, które uważałem za zbyt głupie lub zbyt skomplikowane. Dogodnie zdecydowałem, że Bayes to przemijająca moda, nie warta głębszego badania. Ale teraz gorączka Bayesa stała się zbyt wszechobecna, by ją ignorować.
Statystyki bayesowskie „przewijają się przez wszystko, od fizyki po badania nad rakiem, od ekologii po psychologię” – donosi New York Times. Fizycy zaproponowali bayesowskie interpretacje mechaniki kwantowej i bayesowska obrona teorii strun i wieloświatów. Filozofowie twierdzą, że naukę jako całość można postrzegać jako proces bayesowski, i że Bayes może precyzyjniej odróżnić naukę od pseudonauki niż falsyfikację, metodę spopularyzowaną przez Karla Poppera.
Badacze zajmujący się sztuczną inteligencją, w tym projektanci samojezdnych samochodów Google, wykorzystują oprogramowanie bayesowskie, aby pomóc maszynom rozpoznawać wzorce i podejmować decyzje. Według Sharon Bertsch McGrayne, autorki popularnej historii twierdzenia Bayesa, programy bayesowskie „sortują spam z poczty e-mail, oceniać zagrożenia medyczne i wewnętrzne oraz dekodować DNA, między innymi ”. Na stronie Edge.org fizyk John Mather martwi się, że maszyny bayesowskie mogą być tak inteligentne, że czynią ludzi „przestarzałymi”.
Kognitywiści przypuszczają, że nasze mózgi wykorzystują algorytmy bayesowskie, gdy postrzegają, celowo, decydują. W listopadzie naukowcy i filozofowie zbadali tę możliwość na konferencji na Uniwersytecie Nowojorskim zatytułowanej „Is the Brain Bayesian?” (Omawiam spotkanie na Bloggingheads.tv oraz w kolejnym poście „Are Brains Bayesian?”)
Zeloci nalegają, aby jeśli więcej z nas przyjęło świadome rozumowanie bayesowskie (w przeciwieństwie do nieświadomego przetwarzania bayesowskiego świat byłby lepszym miejscem. W „Intuitive Explanation of Bayes Theorem”, teoretyk AI Eliezer Yudkowsky (z którym kiedyś omawiałem Osobliwość na Bloggingheads.tv) przyznaje, że Bayesian ma kultowy zapał:
„Dlaczego koncepcja matematyczna wywołuje u swoich uczniów ten dziwny entuzjazm? Czym jest tak zwana rewolucja bayesowska, która obecnie przetacza się przez nauki, która twierdzi, że nawet samą metodę eksperymentalną uznaje się za przypadek szczególny? sekret, który znają zwolennicy Bayesa? Jakie jest światło, które widzieli? Wkrótce się dowiesz. Wkrótce będziesz jednym z nas ”. Yudkowsky żartuje. A może on?
Biorąc pod uwagę te wszystkie bzdury, raz na zawsze próbowałem dotrzeć do sedna Bayesa. Spośród niezliczonych wyjaśnień w Internecie znalazłem te, które szczególnie pomocne są esej Yudkowskyego, wpis w Wikipedii i krótsze artykuły filozofa Curtisa Browna oraz informatyków Oscara Bonilli i Kalida Azada. W tym poście spróbuję wyjaśnić – przede wszystkim dla własnej korzyści – o co chodzi w Bayesie. czytelnicy, jak zwykle, zwrócą uwagę na wszelkie błędy. *
Twierdzenie Bayesa, nazwane na cześć swojego wynalazcy, prezbiteriańskiego ministra Thomasa Bayesa, jest metodą obliczania słuszności przekonań (hipotez, twierdzeń, twierdzenia) w oparciu o najlepsze dostępne dowody (obserwacje, dane, informacje). Oto najbardziej głupi opis: początkowe przekonanie plus nowe dowody = nowe i ulepszone przekonanie.
Oto pełniejsza wersja: prawdopodobieństwo, że przekonanie jest prawdziwe, biorąc pod uwagę nowe dowody, jest równe prawdopodobieństwo, że przekonanie jest prawdziwe s tego dowodu pomnożone przez prawdopodobieństwo, że dowód jest prawdziwy, biorąc pod uwagę, że przekonanie jest prawdziwe, podzielone przez prawdopodobieństwo, że dowód jest prawdziwy, niezależnie od tego, czy przekonanie jest prawdziwe. Rozumiesz?
Testy medyczne często służą do zademonstrowania wzoru. Powiedzmy, że przechodzisz testy na raka, który szacuje się, że występuje u 1% osób w Twoim wieku. Jeśli test jest w 100% wiarygodny, nie potrzebujesz twierdzenia Bayesa, aby wiedzieć, co oznacza test pozytywny, ale i tak skorzystajmy z twierdzenia, aby zobaczyć, jak to działa.
Aby znaleźć P ( B | E), podłączasz dane do prawej strony równania Bayesa. P (B), prawdopodobieństwo, że zachorujesz na raka przed badaniem, wynosi jeden procent lub 0,01. Podobnie jak P (E), prawdopodobieństwo, że wynik testu będzie pozytywny. Ponieważ są one odpowiednio w liczniku i mianowniku, znoszą się wzajemnie i pozostaje ci P (B | E) = P (E | B) = 1. Jeśli wynik testu jest pozytywny, na pewno masz raka i wady versa.
W prawdziwym świecie testy są rzadko, jeśli w ogóle, całkowicie wiarygodne. Powiedzmy, że Twój test jest wiarygodny w 99 procentach.Oznacza to, że 99 na 100 osób z rakiem będzie miało wynik pozytywny, a 99 na 100 zdrowych będzie miało wynik negatywny. To wciąż wspaniały test. Jeśli wynik testu jest pozytywny, jakie jest prawdopodobieństwo, że masz raka?
Twierdzenie Bayesa pokazuje swoją moc. Większość ludzi zakłada, że odpowiedź to 99 procent lub jest blisko. Oto jak wiarygodny jest test, prawda? Ale prawidłowa odpowiedź, uzyskana dzięki twierdzeniu Bayesa, to tylko 50 procent.
A co z mianownikiem, P (E)? Tutaj sprawy stają się trudne. P (E) to prawdopodobieństwo pozytywnego wyniku testu niezależnie od tego, czy masz raka. Innymi słowy, obejmuje zarówno fałszywe alarmy, jak i prawdziwe pozytywy.
Aby obliczyć prawdopodobieństwo fałszywie pozytywnego wyniku, należy pomnożyć współczynnik fałszywych trafień, który wynosi jeden procent lub 0,01 razy procent osób, które nie mają raka, 0,99. Suma wynosi 0,0099. Tak, Twój wspaniały, 99-procentowy test daje tyle samo fałszywych trafień, co prawdziwych pozytywów.
Skończmy obliczenia. Aby uzyskać P (E), dodaj wartości prawda i fałsz w sumie 0,0198, co po podzieleniu na .0099 daje 0,5. Więc ponownie, P (B | E), prawdopodobieństwo, że masz raka, jeśli uzyskasz pozytywny wynik testu, wynosi 50 procent.
Jeśli ponownie wykonasz test, możesz ogromnie zmniejszyć swoją niepewność, ponieważ Twoje prawdopodobieństwo z rakiem, P (B), wynosi teraz 50%, a nie 1%. Jeśli drugi test również wypadnie pozytywnie, z twierdzenia Bayesa wynika, że prawdopodobieństwo zachorowania na raka wynosi teraz 99 procent, czyli 0,99. Jak pokazuje ten przykład, iteracja twierdzenia Bayesa może dostarczyć niezwykle precyzyjnych informacji.
Ale jeśli wiarygodność twojego testu wynosi 90%, co jest nadal całkiem niezłe, twoje szanse na raka, nawet jeśli wynik testu jest pozytywny dwa razy to nadal mniej niż 50 proc. (Sprawdź moją matematykę za pomocą wygodnego kalkulatora w tym poście na blogu).
Większość ludzi, w tym lekarze, ma trudności ze zrozumieniem tych prawdopodobieństwa, co pomaga wyjaśnić, dlaczego jesteśmy nadmiernie diagnozowani i nadmiernie leczeni z powodu raka i innych chorób. Ten przykład sugeruje, że Bayesianie mają rację: świat rzeczywiście byłby lepszym miejscem, gdyby więcej ludzi – lub przynajmniej więcej konsumentów i dostawców usług zdrowotnych – przyjęło rozumowanie bayesowskie.
Z drugiej strony Bayes „twierdzenie jest po prostu kodyfikacją zdrowego rozsądku. Jak pisze Yudkowsky pod koniec swojego tutoriala: „W tym momencie twierdzenie Bayesa” może wydawać się raczej oczywiste, a nawet tautologiczne, niż ekscytujące i nowe. Jeśli tak, to wprowadzenie spełniło w pełni swój cel ”.
Rozważmy przypadek badania raka: twierdzenie Bayesa mówi, że prawdopodobieństwo zachorowania na raka w przypadku pozytywnego wyniku testu jest równe prawdopodobieństwu prawdziwie pozytywnego wyniku testu podzielonego przez prawdopodobieństwo wszystkich pozytywnych testów, fałszywych i prawdziwych. Krótko mówiąc, wystrzegaj się fałszywych trafień.
Oto moje bardziej ogólne stwierdzenie tej zasady: wiarygodność twojego przekonania zależy od stopnia, w jakim twoje przekonanie – i tylko twoje przekonanie – wyjaśnia dowody na to. Im więcej alternatywnych wyjaśnień dowodów, tym mniej wiarygodne jest twoje przekonanie. To jest dla mnie istota twierdzenia Bayesa.
„Alternatywne wyjaśnienia” mogą obejmować wiele rzeczy. Twoje dowody mogą być błędne, wypaczone przez wadliwie działające narzędzie, błędną analizę, błąd potwierdzenia, a nawet oszustwo. Twoje dowody mogą być rozsądne, ale możliwe do wyjaśnienia za pomocą wielu przekonań lub hipotez innych niż twoje.
Innymi słowy, nie ma nic magicznego w twierdzeniu Bayesa. Sprowadza się do truizmu, że twoje przekonanie jest tak samo ważne jako dowód. Jeśli masz dobre dowody, twierdzenie Bayesa może dać dobre wyniki. Jeśli twoje dowody są słabe, twierdzenie Bayesa nie będzie zbyt przydatne. Śmieci w wejściu, śmieci na zewnątrz.
Potencjał ponieważ nadużycia Bayesa zaczynają się od P (B), czyli początkowej oceny prawdopodobieństwa Twojego przekonania, często nazywanej „przeorem”. W powyższym przykładzie testu na raka otrzymaliśmy niezły, dokładny przed 1 procent, czyli 0,01, częstość występowania raka. W prawdziwym świecie eksperci nie są zgodni co do tego, jak diagnozować i liczyć nowotwory. Twój przeor często będzie składał się z zakresu prawdopodobieństw, a nie z pojedynczej liczby.
W wielu przypadkach szacowanie wcześniejszego jest tylko domysłem, pozwalającym subiektywnym czynnikom wkradać się do twoich obliczeń. Można się domyślać prawdopodobieństwa wystąpienia czegoś, co – w przeciwieństwie do raka – w ogóle nie istnieje, takiego jak struny, wieloświaty, inflacja lub Bóg. Możesz wtedy przytoczyć wątpliwe dowody na poparcie swojego wątpliwego przekonania. W ten sposób twierdzenie Bayesa może promować pseudonaukę i przesądy, a także rozum.
Twierdzenie Bayesa zawiera przesłanie moralne: jeśli nie jesteś skrupulatny w poszukiwaniu alternatywnych wyjaśnień dla swoich dowodów, dowody potwierdzi tylko to, w co już wierzysz. Naukowcy często nie uwzględniają tego stwierdzenia, co pomaga wyjaśnić, dlaczego tak wiele twierdzeń naukowych okazuje się błędnych. Bayesiści twierdzą, że ich metody mogą pomóc naukowcom przezwyciężyć błąd potwierdzający i dać bardziej wiarygodne wyniki, ale mam wątpliwości.
I jak wspomniałem powyżej, niektórzy entuzjaści strun i multiwersów przyjmują analizę bayesowską. Dlaczego? Ponieważ entuzjaści są zmęczeni słuchaniem, że teorie strun i wieloświatów są niefalsyfikowalne, a zatem nienaukowe, a twierdzenie Bayesa pozwala im przedstawić teorie w korzystniejszym świetle. W tym przypadku twierdzenie Bayesa, dalekie od przeciwdziałania błędom potwierdzającym, umożliwia to.
Jak pisarz naukowy Faye Flam ujął to niedawno w The New York Times, statystyki Bayesa „nie mogą uchronić nas przed złą nauką. ” Twierdzenie Bayesa to uniwersalne narzędzie, które może służyć każdej sprawie. Wybitny statystyk Bayesa, Donald Rubin z Harvardu, był konsultantem firm tytoniowych, którym wytoczono procesy sądowe o odszkodowanie za szkody spowodowane paleniem.
Niemniej jednak jestem zafascynowany przez twierdzenie Bayesa. Przypomina mi teorię ewolucji, kolejną ideę, która wydaje się tautologicznie prosta lub zniechęcająco głęboka, w zależności od tego, jak ją postrzegasz, i która zainspirowała liczne bzdury, a także głębokie spostrzeżenia.
Może dlatego, że mój mózg jest bayesowski, ale wszędzie zacząłem wykrywać aluzje do Bayesa. Podczas przeszukiwania dzieł wszystkich Edgara Allena Poe na moim Kindle niedawno natknąłem się na to zdanie w The Narrative of Arthur Gordon Pym z Nantucket: „In no Czy w sprawach zwykłych uprzedzeń, za lub przeciw, wyciągamy wnioski z całą pewnością, nawet na podstawie najprostszych danych ”.
Pamiętaj o zastrzeżeniu Poego, zanim wskoczysz na wagon Bayesa.
* Moi przyjaciele Greg, Gary i Chris zeskanowali ten post, zanim p zburzył go, więc należy ich winić za wszelkie błędy.
Postscript: Andrew Gelman, statystyka bayesowska z Kolumbii, do którego bloga zamieszczam link powyżej (w uwadze dotyczącej Donalda Rubina), przesłał mi ten upragniony komentarz : „Zajmuję się nauką i polityką społeczną i środowiskową, a nie fizyką teoretyczną, więc nie mogę w ten czy inny sposób komentować wykorzystania Bayesa do argumentowania na rzecz teorii strun i wieloświatów! Właściwie nie podoba mi się ujęcie, w którym wynikiem jest prawdopodobieństwo, że hipoteza jest prawdziwa. Działa to w niektórych prostych ustawieniach, w których „hipotezy” lub możliwości są dobrze zdefiniowane, na przykład sprawdzanie pisowni (patrz tutaj: http://andrewgelman.com/2014/01/22/spell-checking-example/). Ale nie sądzę, aby myślenie o prawdopodobieństwie, że jakaś hipoteza naukowa była prawdziwa lub fałszywa, ma sens; zobacz ten artykuł: http://andrewgelman.com/2014/01/22/spell-checking-example/. Krótko mówiąc, uważam, że metody bayesowskie są świetnym sposobem wnioskowania w modelu, ale ogólnie nie są dobrym sposobem oceny prawdopodobieństwa, że model lub hipoteza jest prawdziwa (w istocie myślę, że „prawdopodobieństwo, że model lub hipoteza jest prawdą ”jest na ogół stwierdzeniem pozbawionym znaczenia, z wyjątkiem przypadków wskazanych w pewnych wąskich, choć ważnych przykładach). Zauważyłem również ten twój akapit: „W wielu przypadkach szacowanie wartości wcześniejszej jest tylko domysłem, pozwalającym subiektywnym czynnikom wkradać się do twoich obliczeń. Można się domyślać prawdopodobieństwa wystąpienia czegoś, co – w przeciwieństwie do raka – nawet nie istnieje, takiego jak struny, wieloświaty, inflacja lub Bóg. Możesz wtedy przytoczyć wątpliwe dowody na poparcie swojego wątpliwego przekonania. W ten sposób twierdzenie Bayesa może promować pseudonaukę i przesądy, a także rozum. ”Myślę, że ten cytat jest nieco mylący, ponieważ wszystkie części modelu są subiektywnymi domysłami. Innymi słowy, cały model statystyczny musi zostać zrozumiany i oceniony. Sprzeciwiam się opinii, że model danych jest prawidłowy, podczas gdy wcześniejsza dystrybucja jest podejrzana. Oto coś, co napisałem na ten temat: http://andrewgelman.com/2015/01/27/perhaps-merely-accident-history-skeptics-subjectivists-alike-strain-gnat-prior-distribution-swallowing-camel-likelihood/. ”
Więcej informacji:
Czy mózgi są bayesowskie?
Czy myliłem się co do końca nauki?
Przeszukanie starych akt przypomina mi, dlaczego jestem tak krytyczny wobec nauki.
Badanie ujawnia niesamowity wzrost szumu naukowego.