ベイズの定理を最初に聞いたのはいつかわかりません。しかし、私は過去10年間で本当に注意を払い始めました。数人の不思議な学生が、人生をナビゲートするためのほとんど魔法のガイドとしてそれを宣伝した後です。
説明と同様に、私の学生の暴言は私を混乱させました。ウィキペディアや他の場所での定理の、私はあまりにも唖然としている、または複雑すぎると感じました。ベイズは一時的な流行であり、詳細に調査する価値はないと私は都合よく判断しました。しかし現在、ベイズ熱は無視できないほど蔓延しています。
ベイズ統計は「物理学から癌研究、生態学から心理学まであらゆるものに波及しています」とニューヨークタイムズは報告しています。物理学者は量子力学のベイズ解釈を提案しています。哲学者は、科学は全体としてベイズのプロセスと見なすことができ、ベイズはカール・ポッパーによって普及した方法である改ざんよりも正確に科学と疑似科学を区別できると主張しています。
Googleの自動運転車の設計者を含む人工知能研究者は、ベイズのソフトウェアを使用して、マシンがパターンを認識し、決定を下すのを支援しています。ベイズの定理の人気のある歴史の著者であるSharon Bertsch McGrayneによると、ベイズのプログラムは「スパムを分類するとりわけ、電子メールから、医療および国土のセキュリティリスクを評価し、DNAを解読します。」ウェブサイトEdge.orgで、物理学者のジョンマザーは、ベイジアンマシンが非常にインテリジェントであるため、人間を「時代遅れ」にする可能性があると懸念しています。
認知科学者は、私たちの脳が知覚、意図、決定するときにベイジアンアルゴリズムを組み込んでいると推測しています。 11月、科学者と哲学者は、ニューヨーク大学で開催された「脳ベイジアンですか？」という会議でこの可能性を探りました。 （私はBloggingheads.tvとこのフォローアップ投稿で、「脳はベイジアンですか？」で会議について話し合います）
ゼアロットは、私たちの多くが意識的なベイジアン推論を採用した場合（無意識のベイジアン処理とは対照的に） 「私たちの脳が採用していると思われる）、世界はより良い場所になるでしょう。「ベイズの定理の直感的な説明」で、AI理論家のエリエゼルユドコウスキー（私はかつてBloggingheads.tvで特異性について話しました）はベイズのカルト的な熱意を認めています：
「なぜ数学の概念がその学生にこの奇妙な熱意を生み出すのですか？実験方法自体さえも特別な場合として包含すると主張する、科学を席巻しているいわゆるベイズ革命とは何ですか？ベイズの支持者が知っている秘密？彼らが見た光は何ですか？すぐにあなたは知っているでしょう。すぐにあなたは私たちの一人になるでしょう。」ユドコウスキーは冗談です。それとも彼ですか？
このフープラをすべて与えて、私はベイズの底にたどり着こうとしました。ウェブ上の無数の説明の中で、私が見つけたもの特に役立つのは、ユドコウスキーのエッセイ、ウィキペディアのエントリ、哲学者のカーティスブラウン、コンピューター科学者のオスカーブニラとカリドアザドによる短い記事です。この投稿では、主に私自身の利益のために、ベイズのすべてについて説明しようと思います。読者はいつものように誤りを指摘します。*
その発明者である18世紀の長老派大臣トーマスベイズにちなんで名付けられたベイズの定理は、信念（仮説、主張、利用可能な最良の証拠（観察、データ、情報）に基づく）これが最もばかげた説明です：最初の信念と新しい証拠=新しく改善された信念。
これがより完全なバージョンです：その確率新しい証拠が信念が真実である確率に等しいことを考えると、信念は真実ですその証拠のsは、信念が真であると仮定して証拠が真である確率を、信念が真であるかどうかに関係なく証拠が真である確率で割ったものです。わかりましたか？
医療検査は、多くの場合、公式を実証するのに役立ちます。あなたがあなたの年齢の人々の1パーセントで発生すると推定される癌について検査を受けたとしましょう。テストの信頼性が100％の場合、陽性テストの意味を知るためにベイズの定理は必要ありませんが、それがどのように機能するかを確認するために、とにかく定理を使用しましょう。 B | E）、ベイズの方程式の右辺にデータを接続します。 P（B）は、検査を受ける前にがんになる確率で、1％、つまり.01です。 P（E）も同様で、テストで陽性になる確率です。それらはそれぞれ分子と分母にあるため、互いに打ち消し合い、P（B | E）= P（E | B）= 1のままになります。テストで陽性の場合、間違いなく癌になります。
現実の世界では、テストが完全に信頼できるとは言えません。したがって、テストの信頼性が99％であるとしましょう。つまり、癌を患っている100人中99人が陽性であり、健康な100人中99人が陰性です。それはまだ素晴らしいテストです。テストが陽性の場合、癌にかかっている可能性はどのくらいありますか？
ベイズの定理は、その力を示しています。ほとんどの人は、答えが99％、またはそれに近いと想定しています。それはテストの信頼性ですよね？しかし、ベイズの定理によって得られる正解はわずか50パーセントです。
分母のP（E）はどうですか？ここで物事がトリッキーになります。 P（E）は、がんの有無にかかわらず、検査で陽性となる確率です。つまり、偽陽性と真陽性が含まれます。
偽陽性の確率を計算するには、偽陽性率を1パーセント、つまり0.01倍のパーセンテージで乗算します。癌を持っていない人々の、.99。合計は.0099になります。はい、99％の精度で素晴らしいテストを行うと、真陽性と同じ数の偽陽性が得られます。
計算を終了しましょう。 P（E）を取得するには、真陽性と偽陽性を合計.0198で追加します。これを、.0099に分割すると、.5になります。繰り返しになりますが、P（B | E）は、テストで陽性になった場合に癌になる確率が50％です。
もう一度テストすると、不確実性を大幅に減らすことができます。癌を患っているP（B）は、1パーセントではなく50パーセントになりました。 2番目のテストでも陽性になった場合、ベイズの定理は、癌になる確率が99％、つまり.99であることを示しています。この例が示すように、ベイズの定理を繰り返すと、非常に正確な情報が得られます。
ただし、テストの信頼性が90％である場合、それでもかなり良好です。テストで陽性になったとしても、実際に癌になる可能性はあります。 2回はまだ50パーセント未満です。 （このブログ投稿の便利な計算機で私の計算を確認してください。）
医師を含むほとんどの人は、これらの確率を理解するのに苦労しています。これは、癌やその他の障害について過剰診断され、過剰治療されている理由を説明するのに役立ちます。この例は、ベイズが正しいことを示唆しています。より多くの人々、または少なくともより多くのヘルスケアの消費者とプロバイダーがベイズの推論を採用した場合、世界は確かにより良い場所になるでしょう。
一方、ベイズ定理は常識の成文化にすぎません。ユドコウスキーがチュートリアルの終わりに向かって書いているように、「この時点で、ベイズの定理」は、刺激的で新しいというよりも、露骨に明白であるか、トートロジーでさえあるように見えるかもしれません。もしそうなら、この導入はその目的に完全に成功しました。」
がん検査のケースを考えてみましょう。ベイズの定理によると、検査結果が陽性の場合にがんになる確率は、真陽性検査の確率をで割ったものです。すべての陽性テストの確率、偽と真。要するに、誤検知に注意してください。
その原則についての私のより一般的な声明は次のとおりです。あなたの信念の妥当性は、あなたの信念（そしてあなたの信念のみ）が証拠を説明する程度に依存しますそれ。証拠に対する代替の説明が多ければ多いほど、あなたの信念はもっともらしくありません。それがベイズの定理の本質です。
「別の説明」には多くのことが含まれます。証拠が間違っている、機器の誤動作、分析の誤り、確証バイアス、さらには詐欺である可能性があります。あなたの証拠は健全であるかもしれませんが、あなた以外の多くの信念や仮説によって説明できます。
言い換えれば、ベイズの定理には魔法のようなものは何もありません。証拠として。良い証拠があれば、ベイズの定理は良い結果をもたらすことができます。証拠が薄っぺらな場合、ベイズの定理はあまり役に立ちません。ガベージイン、ガベージアウト。
可能性ベイズの乱用は、P（B）で始まります。これは、「事前」と呼ばれることが多い、自分の信念の確率の最初の推定値です。上記のがん検査の例では、がんの有病率について、1％、つまり.01の正確な事前評価が与えられました。現実の世界では、専門家は癌を診断して数える方法について意見が分かれています。多くの場合、事前確率は単一の数値ではなく、さまざまな確率で構成されます。
多くの場合、事前確率の推定は単なる推測であり、主観的な要因が計算に忍び寄ることができます。文字列、多元宇宙、インフレ、神など、癌とは異なり、存在すらしない何かの確率を推測しているかもしれません。次に、疑わしい信念を裏付けるために疑わしい証拠を引用する場合があります。このように、ベイズの定理は疑似科学と迷信、そして理性を促進することができます。
ベイズの定理に埋め込まれているのは道徳的なメッセージです。証拠の代替説明を慎重に探さなければ、証拠あなたがすでに信じていることを確認するだけです。科学者はしばしばこの口述に注意を怠ります。これは、多くの科学的主張が誤っていることが判明した理由を説明するのに役立ちます。ベイジアンは、彼らの方法が科学者が確証バイアスを克服し、より信頼できる結果を生み出すのに役立つと主張していますが、私には疑問があります。
そして、前述したように、一部の文字列および多元宇宙の愛好家はベイズ分析を採用しています。どうして？なぜなら、熱狂者は、弦と多元宇宙の理論は偽りがなく、したがって非科学的であると聞くのにうんざりしており、ベイズの定理により、理論をより有利な観点から提示することができます。この場合、確証バイアスを打ち消すどころか、ベイズの定理がそれを可能にします。
サイエンスライターのフェイ・フラムが最近ニューヨークタイムズで述べたように、ベイズ統計は「悪い科学から私たちを救うことはできません。 」ベイズの定理は、あらゆる原因に対応できる万能ツールです。ハーバード大学の著名なベイズ統計学者のドナルドルービンは、喫煙による損害賠償訴訟に直面しているタバコ会社のコンサルタントを務めてきました。
それでも私は魅了されています。ベイズの定理による。それは、進化論を思い出させます。これは、見方によっては、トートロジー的に単純または途方もなく深いように見え、豊富なナンセンスと深い洞察に影響を与えた別のアイデアです。
私の脳がベイズのせいなのかもしれませんが、どこでもベイズへの言及を見つけ始めています。最近、Kindleでエドガーアレンポーの全集を調べているときに、ナンタケットのアーサーゴードンピムの物語でこの文に出くわしました。単なる偏見、賛否両論の問題で、最も単純なデータからでも、完全に確実に推論を推測しますか。」
ベイズの定理に飛び乗る前に、ポーの警告を覚えておいてください。
*私の友人のグレッグ、ゲイリー、クリスは私がpする前にこの投稿をスキャンしました
追記：コロンビアのベイズ統計学者であるAndrew Gelmanは、上記のブログ（Donald Rubinに関するコメント）にリンクして、この要請されたコメントを送ってくれました。 ：「私は理論物理学ではなく、社会環境科学と政策に取り組んでいるので、ベイズを使用して文字列理論と多元論を議論することについて、なんらかの形でコメントすることはできません。私は実際、結果が仮説が真である確率であるフレーミングが好きではありません。これは、スペルチェックなど、「仮説」または可能性が明確に定義されているいくつかの単純な設定で機能します（http://andrewgelman.com/2014/01/22/spell-checking-example/を参照）。しかし、ある科学的仮説が真か偽かという確率を考えるのは意味がないと思います。このペーパーを参照してください：http://andrewgelman.com/2014/01/22/spell-checking-example/。要するに、ベイズ法はモデル内で推論を行うための優れた方法だと思いますが、一般に、モデルまたは仮説が真である確率を評価するための良い方法ではありません（実際、モデルまたは仮説が真である確率） 「真である」は、重要な例ではありますが、特定の狭い範囲で言及されている場合を除いて、一般的に意味のないステートメントです。また、あなたのこの段落にも気づきました。「多くの場合、事前の見積もりは単なる推測であり、主観的な要因が計算に忍び寄ることができます。文字列、多元宇宙、インフレ、神など、癌とは異なり、存在すらしない何かの確率を推測しているかもしれません。次に、疑わしい信念を裏付けるために疑わしい証拠を引用する場合があります。このように、ベイズの定理は、疑似科学と迷信、そして理性を促進することができます。」この引用は、モデルのすべての部分が主観的な推測であるという点で、やや誤解を招くと思います。言い換えれば、すべての統計モデルを理解して評価する必要があります。事前分布が疑わしい間は、データモデルが正しいと見なされるという態度に反対します。このトピックについて私が書いたものは次のとおりです：http://andrewgelman.com/2015/01/27/perhaps-merely-accident-history-skeptics-subjectivists-alike-strain-gnat-prior-distribution-swallowing-camel-likelihood/。」
参考資料：
Brains Bayesianですか？
科学の終焉について間違っていましたか？
古いファイルを掘り下げると、なぜ私が科学にそれほど批判的であるかがわかります。
調査により、科学的誇大宣伝の驚くべき急増が明らかになりました。