No estoy seguro de cuándo escuché por primera vez sobre el teorema de Bayes. Pero solo comencé a prestarle atención durante la última década, después de que algunos de mis estudiantes más maravillosos lo promocionaran como una guía casi mágica para navegar por la vida.
Las peroratas de mis estudiantes me confundieron, al igual que las explicaciones. del teorema en Wikipedia y en otros lugares, que encontré demasiado tonto o demasiado complicado. Convenientemente decidí que Bayes era una moda pasajera, que no merecía una investigación más profunda. Pero ahora la fiebre de Bayes se ha vuelto demasiado generalizada para ignorarla.
Las estadísticas bayesianas «se están extendiendo por todo, desde la física hasta la investigación del cáncer, desde la ecología hasta la psicología», informa The New York Times. Los físicos han propuesto interpretaciones bayesianas de la mecánica cuántica y las defensas bayesianas de las teorías de cuerdas y multiverso. Los filósofos afirman que la ciencia en su conjunto puede verse como un proceso bayesiano, y que Bayes puede distinguir la ciencia de la pseudociencia con más precisión que la falsificación, el método popularizado por Karl Popper.
Los investigadores de inteligencia artificial, incluidos los diseñadores de los automóviles autónomos de Google, emplean software bayesiano para ayudar a las máquinas a reconocer patrones y tomar decisiones. Los programas bayesianos, según Sharon Bertsch McGrayne, autora de una historia popular del teorema de Bayes, «clasifican el spam desde el correo electrónico, evaluar los riesgos médicos y de seguridad nacional y decodificar el ADN, entre otras cosas «. En el sitio web Edge.org, el físico John Mather se preocupa de que las máquinas bayesianas puedan ser tan inteligentes que hagan «obsoletos» a los humanos.
Los científicos cognitivos conjeturan que nuestros cerebros incorporan algoritmos bayesianos a medida que perciben, deliberan y deciden. En noviembre, científicos y filósofos exploraron esta posibilidad en una conferencia en la Universidad de Nueva York llamada «¿Es el cerebro bayesiano?» (Hablo de la reunión en Bloggingheads.tv y en esta publicación de seguimiento, «¿Son los cerebros bayesianos?»)
Los fanáticos insisten en que si más de nosotros adoptamos el razonamiento bayesiano consciente (en contraposición al procesamiento bayesiano inconsciente nuestros cerebros supuestamente emplean), el mundo sería un lugar mejor. En «Una explicación intuitiva del teorema de Bayes», el teórico de la IA Eliezer Yudkowsky (con quien hablé una vez sobre la singularidad en Bloggingheads.tv) reconoce el fervor cultual de los bayesianos:
«¿Por qué un concepto matemático genera este extraño entusiasmo en sus estudiantes? ¿Cuál es la llamada Revolución Bayesiana que está arrasando ahora en las ciencias, que pretende subsumir incluso al método experimental en sí mismo como un caso especial? ¿El secreto que conocen los adherentes de Bayes? ¿Cuál es la luz que han visto? Pronto lo sabrás. Pronto serás uno de nosotros «. Yudkowsky está bromeando. ¿O no?
Dado todo este alboroto, he tratado de llegar al fondo de Bayes, de una vez por todas. De las innumerables explicaciones en la web, algunas que he encontrado especialmente útiles incluyen el ensayo de Yudkowsky, la entrada de Wikipedia y piezas más breves del filósofo Curtis Brown y los científicos informáticos Oscar Bonilla y Kalid Azad. En esta publicación, intentaré explicar, principalmente para mi propio beneficio, de qué se trata Bayes. los lectores, como de costumbre, señalarán cualquier error. *
El teorema de Bayes, que lleva el nombre de su inventor, el ministro presbiteriano del siglo XVIII Thomas Bayes, es un método para calcular la validez de las creencias (hipótesis, afirmaciones, proposiciones) basadas en la mejor evidencia disponible (observaciones, datos, información). Aquí está la descripción más simplificada: Creencia inicial más nueva evidencia = creencia nueva y mejorada.
Aquí está una versión más completa: La probabilidad de que una creencia es verdadera dada nueva evidencia es igual a la probabilidad de que la creencia sea verdadera independientemente s de esa evidencia multiplicada por la probabilidad de que la evidencia sea verdadera, dado que la creencia es verdadera dividida por la probabilidad de que la evidencia sea verdadera independientemente de si la creencia es verdadera. ¿Entendido?
Las pruebas médicas a menudo sirven para demostrar la fórmula. Supongamos que se hace la prueba de un cáncer que se estima que ocurre en el uno por ciento de las personas de su edad. Si la prueba es 100 por ciento confiable, no necesita el teorema de Bayes para saber qué significa una prueba positiva, pero usemos el teorema de todos modos, solo para ver cómo funciona.
Para resolver para P ( B | E), inserta los datos en el lado derecho de la ecuación de Bayes. P (B), la probabilidad de que tenga cáncer antes de hacerse la prueba, es uno por ciento o 0.01. También lo es P (E), la probabilidad de que dé positivo. Debido a que están en el numerador y en el denominador, respectivamente, se anulan entre sí y te queda P (B | E) = P (E | B) = 1. Si el resultado es positivo, definitivamente tienes cáncer, y viceversa. viceversa.
En el mundo real, las pruebas rara vez o nunca son totalmente confiables. Entonces, digamos que su prueba es 99 por ciento confiable.Es decir, 99 de cada 100 personas que tienen cáncer tendrán un resultado positivo y 99 de cada 100 que están sanos darán un resultado negativo. Sigue siendo una prueba estupenda. Si su prueba es positiva, ¿qué tan probable es que tenga cáncer?
Ahora el teorema de Bayes muestra su poder. La mayoría de la gente asume que la respuesta es 99 por ciento o casi. Así de confiable es la prueba, ¿verdad? Pero la respuesta correcta, obtenida por el teorema de Bayes, es solo el 50 por ciento.
¿Qué pasa con el denominador, P (E)? Aquí es donde las cosas se complican. P (E) es la probabilidad de dar positivo si tiene cáncer o no. En otras palabras, incluye tanto los falsos positivos como los verdaderos positivos.
Para calcular la probabilidad de un falso positivo, multiplica la tasa de falsos positivos, que es el uno por ciento, o 0,01, por el porcentaje. de personas que no tienen cáncer, .99. El total asciende a 0,0099. Sí, su excelente prueba con una precisión del 99 por ciento arroja tantos falsos positivos como verdaderos positivos.
Terminemos el cálculo. Para obtener P (E), agregue verdaderos y falsos positivos para un total de .0198, que cuando se divide en .0099 llega a .5. Entonces, una vez más, P (B | E), la probabilidad de que tenga cáncer si da positivo en la prueba, es del 50 por ciento.
Si se hace la prueba nuevamente, puede reducir enormemente su incertidumbre, porque su probabilidad de tener cáncer, P (B), es ahora el 50 por ciento en lugar del uno por ciento. Si su segunda prueba también da positivo, el teorema de Bayes le dice que su probabilidad de tener cáncer ahora es del 99 por ciento, o .99. Como muestra este ejemplo, iterar el teorema de Bayes puede producir información extremadamente precisa.
Pero si la confiabilidad de su prueba es del 90 por ciento, lo cual sigue siendo bastante bueno, sus posibilidades de tener cáncer en realidad incluso si la prueba es positiva dos veces son todavía menos del 50 por ciento. (Revise mis cálculos con la calculadora práctica en esta publicación de blog).
La mayoría de las personas, incluidos los médicos, tienen dificultades para comprender estas probabilidades, lo que ayuda a explicar por qué nos sobrediagnostican y sobretratan el cáncer y otros trastornos. Este ejemplo sugiere que los bayesianos tienen razón: el mundo sería un lugar mejor si más personas, o al menos más consumidores y proveedores de atención médica, adoptaran el razonamiento bayesiano.
Por otro lado, Bayes El teorema es solo una codificación del sentido común. Como escribe Yudkowsky hacia el final de su tutorial: el teorema de «En este punto, Bayes» puede parecer descaradamente obvio o incluso tautológico, en lugar de emocionante y nuevo. Si es así, esta introducción ha cumplido completamente su propósito ”.
Considere el caso de la prueba de cáncer: el teorema de Bayes dice que su probabilidad de tener cáncer si obtiene un resultado positivo es la probabilidad de un resultado positivo verdadero dividido por la probabilidad de todas las pruebas positivas, falsas y verdaderas. En resumen, tenga cuidado con los falsos positivos.
Aquí está mi declaración más general de ese principio: la plausibilidad de su creencia depende del grado en que su creencia, y solo su creencia, explica la evidencia de eso. Cuantas más explicaciones alternativas haya para la evidencia, menos plausible será su creencia. Eso, para mí, es la esencia del teorema de Bayes.
Las «explicaciones alternativas» pueden abarcar muchas cosas. Tu evidencia puede ser errónea, distorsionada por un instrumento que funciona mal, análisis defectuoso, sesgo de confirmación e incluso fraude. Tu evidencia puede ser sólida pero explicable por muchas creencias o hipótesis, además de la tuya.
En otras palabras, no hay nada mágico en el teorema de Bayes. Se reduce a la perogrullada de que tu creencia es tan válida como su evidencia. Si tiene buena evidencia, el teorema de Bayes puede producir buenos resultados. Si su evidencia es endeble, el teorema de Bayes no será de mucha utilidad. La basura entra, la basura sale.
El potencial porque el abuso de Bayes comienza con P (B), su estimación inicial de la probabilidad de su creencia, a menudo llamado el «anterior». En el ejemplo de la prueba de cáncer anterior, se nos dio una buena y precisa a priori del uno por ciento, o .01, para la prevalencia del cáncer. En el mundo real, los expertos no están de acuerdo sobre cómo diagnosticar y contar los cánceres. Su anterior a menudo consistirá en un rango de probabilidades en lugar de un solo número.
En muchos casos, estimar el anterior es solo una conjetura, lo que permite que los factores subjetivos entren en sus cálculos. Es posible que esté adivinando la probabilidad de algo que, a diferencia del cáncer, ni siquiera existe, como cadenas, multiversos, inflación o Dios. A continuación, puede citar evidencia dudosa para respaldar su creencia dudosa. De esta manera, el teorema de Bayes puede promover la pseudociencia y la superstición, así como la razón.
Incrustado en el teorema de Bayes hay un mensaje moral: si no eres escrupuloso al buscar explicaciones alternativas para tu evidencia, la evidencia simplemente confirmará lo que ya cree. Los científicos a menudo no prestan atención a esta máxima, lo que ayuda a explicar por qué tantas afirmaciones científicas resultan ser erróneas. Los bayesianos afirman que sus métodos pueden ayudar a los científicos a superar el sesgo de confirmación y producir resultados más fiables, pero tengo mis dudas.
Y como mencioné anteriormente, algunos entusiastas de las cuerdas y del multiverso están adoptando el análisis bayesiano. ¿Por qué? Porque los entusiastas están cansados de escuchar que las teorías de cuerdas y multiversos son infalsificables y, por lo tanto, poco científicas, y el teorema de Bayes les permite presentar las teorías bajo una luz más favorable. En este caso, el teorema de Bayes, lejos de contrarrestar el sesgo de confirmación, lo habilita.
Como lo expresó recientemente la escritora científica Faye Flam en The New York Times, las estadísticas bayesianas «no pueden salvarnos de la mala ciencia. » El teorema de Bayes es una herramienta multiusos que puede servir a cualquier causa. El destacado estadístico bayesiano Donald Rubin de Harvard se ha desempeñado como consultor de empresas tabacaleras que enfrentan demandas por daños y perjuicios por fumar.
Sin embargo, estoy fascinado por el teorema de Bayes. Me recuerda a la teoría de la evolución, otra idea que parece tautológicamente simple o desalentadoramente profunda, dependiendo de cómo la veas, y que ha inspirado abundantes tonterías así como profundas percepciones.
Tal vez sea porque mi cerebro es bayesiano, pero he comenzado a detectar alusiones a Bayes en todas partes. Recientemente, mientras revisaba las Obras completas de Edgar Allen Poe en mi Kindle, encontré esta oración en The Narrative of Arthur Gordon Pym de Nantucket: «In no asuntos de mero prejuicio, a favor o en contra, deducimos inferencias con total certeza, incluso a partir de los datos más simples ”.
Tenga en cuenta la advertencia de Poe antes de subirse al vagón de Bayes.
* Mis amigos Greg, Gary y Chris escanearon esta publicación antes de que yo p lo publicó, por lo que se les debe culpar por cualquier error.
Posdata: Andrew Gelman, un estadístico bayesiano de Columbia, a cuyo blog he vinculado anteriormente (en el comentario sobre Donald Rubin), me envió este comentario solicitado : «Trabajo en ciencias y políticas sociales y ambientales, no en física teórica, por lo que realmente no puedo comentar de una forma u otra sobre el uso de Bayes para defender las teorías de cuerdas y multiverso. De hecho, no me gusta el marco en el que el resultado es la probabilidad de que una hipótesis sea cierta. Esto funciona en algunas configuraciones simples donde las «hipótesis» o posibilidades están bien definidas, por ejemplo, la revisión ortográfica (ver aquí: http://andrewgelman.com/2014/01/22/spell-checking-example/). Pero no creo que tenga sentido pensar en la probabilidad de que alguna hipótesis científica sea verdadera o falsa; consulte este documento: http://andrewgelman.com/2014/01/22/spell-checking-example/. En resumen, creo que los métodos bayesianos son una excelente manera de hacer inferencias dentro de un modelo, pero no en general una buena manera de evaluar la probabilidad de que un modelo o hipótesis sea verdadero (de hecho, creo que la probabilidad de que un modelo o una hipótesis es verdadero es generalmente una declaración sin sentido, excepto como se indica en ciertos ejemplos limitados, aunque importantes). También noté este párrafo tuyo: «En muchos casos, estimar el anterior es solo una conjetura, lo que permite que los factores subjetivos entren en tus cálculos. Es posible que esté adivinando la probabilidad de algo que, a diferencia del cáncer, ni siquiera existe, como cadenas, multiversos, inflación o Dios. A continuación, puede citar evidencia dudosa para respaldar su creencia dudosa. De esta manera, el teorema de Bayes puede promover la pseudociencia y la superstición, así como la razón ”. Creo que esta cita es algo engañosa porque todas las partes de un modelo son conjeturas subjetivas. O, para decirlo de otra manera, es necesario comprender y evaluar todo el modelo estadístico. Me opongo a la actitud de que el modelo de datos se asume correcto mientras que la distribución previa es sospechosa. Aquí hay algo que escribí sobre el tema: http://andrewgelman.com/2015/01/27/perhaps-merely-accident-history-skeptics-subjectivists-alike-strain-gnat-prior-distribution-swallowing-camel-likelihood/ ”.
Lectura adicional:
¿Son los cerebros bayesianos?
¿Me equivoqué sobre el fin de la ciencia?
Un análisis de archivos antiguos me recuerda por qué soy tan crítico con la ciencia.
Un estudio revela un aumento asombroso en el entusiasmo científico.