Não tenho certeza quando ouvi falar do teorema de Bayes pela primeira vez. Mas eu realmente comecei a prestar atenção nele na última década, depois que alguns de meus alunos mais curiosos o proclamaram como um guia quase mágico para navegar pela vida.
Os discursos dos meus alunos me confundiram, assim como as explicações do teorema na Wikipedia e em outros lugares, que eu achei muito simplificado ou muito complicado. Eu convenientemente decidi que Bayes era uma moda passageira, que não merecia uma investigação mais profunda. Mas agora a febre de Bayes se tornou muito difusa para ser ignorada.
As estatísticas bayesianas “estão se espalhando por tudo, da física à pesquisa do câncer, da ecologia à psicologia”, relata o The New York Times. Físicos propuseram interpretações bayesianas da mecânica quântica e as defesas bayesianas das teorias das cordas e do multiverso. Os filósofos afirmam que a ciência como um todo pode ser vista como um processo bayesiano e que Bayes pode distinguir a ciência da pseudociência mais precisamente do que a falsificação, método popularizado por Karl Popper.
Pesquisadores de inteligência artificial, incluindo os designers dos carros autônomos do Google, empregam software bayesiano para ajudar as máquinas a reconhecer padrões e tomar decisões. Programas bayesianos, de acordo com Sharon Bertsch McGrayne, autor de uma história popular do teorema de Bayes, “sort spam por e-mail, avalie os riscos médicos e de segurança interna e decodifique o DNA, entre outras coisas. ” No site Edge.org, o físico John Mather se preocupa com o fato de que as máquinas bayesianas podem ser tão inteligentes que tornam os humanos “obsoletos”.
Os cientistas cognitivos conjeturam que nossos cérebros incorporam algoritmos bayesianos à medida que percebem, deliberam, decidem. Em novembro, cientistas e filósofos exploraram essa possibilidade em uma conferência na New York University chamada “Is the Brain Bayesian?” (Eu discuto a reunião no Bloggingheads.tv e neste post seguinte, “Are Brains Bayesian?”)
Os fanáticos insistem que se mais de nós adotássemos o raciocínio Bayesiano consciente (em oposição ao processamento bayesiano inconsciente nossos cérebros supostamente empregam), o mundo seria um lugar melhor. Em “Uma explicação intuitiva do teorema de Bayes”, o teórico da IA Eliezer Yudkowsky (com quem uma vez discuti a singularidade em Bloggingheads.tv) reconhece o fervor de culto dos Bayesianos:
“Por que um conceito matemático gera esse estranho entusiasmo em seus alunos? O que é a chamada Revolução Bayesiana agora varrendo as ciências, que pretende incluir até o próprio método experimental como um caso especial? O que é o segredo que os adeptos de Bayes conhecem? Qual é a luz que eles viram? Em breve você saberá. Em breve você será um de nós. ” Yudkowsky está brincando. Ou está?
Com todo esse alvoroço, tentei chegar ao fundo de Bayes de uma vez por todas. Das inúmeras explicações na web, algumas que encontrei especialmente úteis incluem o ensaio de Yudkowsky, o verbete da Wikipedia e textos mais curtos do filósofo Curtis Brown e dos cientistas da computação Oscar Bonilla e Kalid Azad. Nesta postagem, tentarei explicar – principalmente para meu próprio benefício – do que se trata. os leitores irão, como de costume, apontar quaisquer erros. *
Nomeado após seu inventor, o ministro presbiteriano do século 18 Thomas Bayes, o teorema de Bayes é um método para calcular a validade das crenças (hipóteses, afirmações, proposições) com base na melhor evidência disponível (observações, dados, informações). Aqui está a descrição mais simplificada: Crença inicial mais novas evidências = crença nova e melhorada.
Aqui está uma versão mais completa: A probabilidade de uma crença é verdadeira, dadas novas evidências, igual à probabilidade de que a crença seja verdadeira em relação s dessa evidência vezes a probabilidade de que a evidência seja verdadeira, dado que a crença é verdadeira dividida pela probabilidade de que a evidência seja verdadeira, independentemente de a crença ser verdadeira. Entendeu?
Testes médicos geralmente servem para demonstrar a fórmula. Digamos que você faça o teste de um câncer que se estima ocorrer em 1% das pessoas da sua idade. Se o teste for 100 por cento confiável, você não precisa do teorema de Bayes para saber o que significa um teste positivo, mas vamos usar o teorema de qualquer maneira, apenas para ver como ele funciona.
Para resolver para P ( B | E), você insere os dados no lado direito da equação de Bayes. P (B), a probabilidade de você ter câncer antes de fazer o teste é de um por cento ou 0,01. O mesmo ocorre com P (E), a probabilidade de seu teste ser positivo. Como estão no numerador e no denominador, respectivamente, eles se cancelam e você fica com P (B | E) = P (E | B) = 1. Se o teste for positivo, você definitivamente tem câncer e vice-versa versa.
No mundo real, os testes raramente são totalmente confiáveis. Então, digamos que seu teste seja 99% confiável.Ou seja, 99 em cada 100 pessoas com câncer terão teste positivo e 99 em 100 saudáveis terão teste negativo. Esse ainda é um teste excelente. Se o seu teste for positivo, qual a probabilidade de você ter câncer?
Agora o teorema de Bayes mostra seu poder. A maioria das pessoas assume que a resposta é 99 por cento, ou quase isso. O teste é confiável, certo? Mas a resposta correta, fornecida pelo teorema de Bayes, é apenas 50 por cento.
E quanto ao denominador, P (E)? É aqui que as coisas ficam complicadas. P (E) é a probabilidade de teste positivo, independentemente de você ter câncer ou não. Em outras palavras, inclui falsos positivos e verdadeiros positivos.
Para calcular a probabilidade de um falso positivo, você multiplica a taxa de falsos positivos, que é um por cento, ou 0,01, pela porcentagem de pessoas que não têm câncer, 0,99. O total chega a 0,0099. Sim, seu excelente teste com 99% de precisão produz tantos falsos positivos quanto positivos verdadeiros.
Vamos terminar o cálculo. Para obter P (E), adicione verdadeiros e falsos positivos para um total de 0,0198, que quando dividido em 0,0099 chega a 0,5. Então, mais uma vez, P (B | E), a probabilidade de você ter câncer se o teste for positivo é de 50 por cento.
Se você fizer o teste novamente, pode reduzir enormemente sua incerteza, porque sua probabilidade de ter câncer, P (B), é agora 50%, em vez de 1%. Se o seu segundo teste também der positivo, o teorema de Bayes diz que sua probabilidade de ter câncer agora é de 99 por cento, ou 0,99. Como este exemplo mostra, iterar o teorema de Bayes pode render informações extremamente precisas.
Mas se a confiabilidade do seu teste for de 90 por cento, o que ainda é muito bom, suas chances de realmente ter câncer, mesmo se o teste for positivo duas vezes ainda são menos de 50 por cento. (Verifique minha matemática com a calculadora útil nesta postagem do blog.)
A maioria das pessoas, incluindo os médicos, tem dificuldade em entender essas probabilidades, o que ajuda a explicar por que somos superdiagnosticados e supertratados para câncer e outros distúrbios. Este exemplo sugere que os bayesianos estão certos: o mundo seria de fato um lugar melhor se mais pessoas – ou pelo menos mais consumidores e prestadores de serviços de saúde – adotassem o raciocínio bayesiano.
Por outro lado, Bayes teorema é apenas uma codificação do senso comum. Como Yudkowsky escreve no final de seu tutorial: O teorema “A esta altura, Bayes” pode parecer flagrantemente óbvio ou até tautológico, ao invés de excitante e novo. Em caso afirmativo, esta introdução foi totalmente bem-sucedida em seu propósito. ”
Considere o caso do teste de câncer: o teorema de Bayes diz que sua probabilidade de ter câncer se seu teste for positivo é a probabilidade de um teste positivo verdadeiro dividido por a probabilidade de todos os testes positivos, falsos e verdadeiros. Em suma, tome cuidado com os falsos positivos.
Aqui está minha declaração mais geral desse princípio: A plausibilidade de sua crença depende do grau em que sua crença – e apenas sua crença – explica a evidência para isto. Quanto mais explicações alternativas houver para as evidências, menos plausível será sua crença. Isso, para mim, é a essência do teorema de Bayes.
“Explicações alternativas” podem abranger muitas coisas. Sua evidência pode estar errada, distorcida por um instrumento com defeito, análise falha, viés de confirmação e até fraude. Suas evidências podem ser sólidas, mas explicáveis por muitas crenças ou hipóteses diferentes das suas.
Em outras palavras, não há nada de mágico no teorema de Bayes. Tudo se resume ao truísmo de que sua crença é apenas válida. como evidência. Se você tiver boas evidências, o teorema de Bayes pode produzir bons resultados. Se suas evidências forem frágeis, o teorema de Bayes não terá muita utilidade. Lixo dentro, lixo fora.
O potencial para Bayes, o abuso começa com P (B), sua estimativa inicial da probabilidade de sua crença, muitas vezes chamada de “anterior”. No exemplo do teste de câncer acima, recebemos um bom e preciso anterior de um por cento, ou 0,01, para a prevalência do câncer. No mundo real, os especialistas discordam sobre como diagnosticar e contar os cânceres. Seu prior geralmente consistirá em um intervalo de probabilidades, em vez de um único número.
Em muitos casos, estimar o anterior é apenas uma conjectura, permitindo que fatores subjetivos entrem em seus cálculos. Você pode estar adivinhando a probabilidade de algo que – ao contrário do câncer – nem existe, como cordas, multiversos, inflação ou Deus. Você pode então citar evidências duvidosas para apoiar sua crença duvidosa. Desta forma, o teorema de Bayes pode promover a pseudociência e a superstição, bem como a razão.
Embutida no teorema de Bayes está uma mensagem moral: Se você não for escrupuloso em buscar explicações alternativas para sua evidência, a evidência vai apenas confirmar o que você já acredita. Os cientistas muitas vezes não atendem a esse ditado, o que ajuda a explicar por que tantas afirmações científicas se revelam errôneas. Bayesianos afirmam que seus métodos podem ajudar os cientistas a superar o viés de confirmação e produzir resultados mais confiáveis, mas tenho minhas dúvidas.
E como mencionei acima, alguns entusiastas de cordas e multiversos estão adotando a análise bayesiana. Porque? Porque os entusiastas estão cansados de ouvir que as teorias das cordas e do multiverso são infalsificáveis e, portanto, não científicas, e o teorema de Bayes lhes permite apresentar as teorias sob uma luz mais favorável. Nesse caso, o teorema de Bayes, longe de neutralizar o viés de confirmação, permite isso.
Como a escritora científica Faye Flam colocou recentemente no The New York Times, as estatísticas bayesianas “não podem nos salvar da má ciência. ” O teorema de Bayes é uma ferramenta multifuncional que pode servir a qualquer causa. O proeminente estatístico bayesiano Donald Rubin, de Harvard, atuou como consultor para empresas de tabaco que enfrentam ações judiciais por danos causados pelo fumo.
Mesmo assim, estou fascinado pelo teorema de Bayes. Isso me lembra da teoria da evolução, outra ideia que parece tautologicamente simples ou assustadoramente profunda, dependendo de como você a vê, e que inspirou muitos disparates e insights profundos.
Talvez seja porque meu cérebro é bayesiano, mas comecei a detectar alusões a Bayes em todos os lugares. Enquanto vasculhava as Obras completas de Edgar Allen Poe em meu Kindle recentemente, encontrei esta frase em A narrativa de Arthur Gordon Pym de Nantucket: “Em não assuntos de mero preconceito, prós ou contras, deduzimos inferências com toda a certeza, mesmo a partir dos dados mais simples. ”
Mantenha a advertência de Poe em mente antes de pular no vagão de Bayes.
* Meus amigos Greg, Gary e Chris escanearam esta postagem antes de eu p o ubluei, portanto, eles devem ser responsabilizados por quaisquer erros.
Pós-escrito: Andrew Gelman, um estatístico bayesiano em Columbia, para cujo blog eu coloquei um link acima (na observação sobre Donald Rubin), me enviou este comentário solicitado : “Eu trabalho com ciência e política social e ambiental, não com física teórica, então não posso comentar de uma forma ou de outra sobre o uso de Bayes para argumentar em favor das teorias de cordas e multiverso! Na verdade, não gosto do enquadramento em que o resultado é a probabilidade de que uma hipótese seja verdadeira. Isso funciona em algumas configurações simples onde as hipóteses ou possibilidades são bem definidas, por exemplo, verificação ortográfica (veja aqui: http://andrewgelman.com/2014/01/22/spell-checking-example/). Mas não acho que faça sentido pensar na probabilidade de que alguma hipótese científica seja verdadeira ou falsa; veja este artigo: http://andrewgelman.com/2014/01/22/spell-checking-example/. Em suma, acho que os métodos bayesianos são uma ótima maneira de fazer inferência dentro de um modelo, mas não em geral uma boa maneira de avaliar a probabilidade de um modelo ou hipótese ser verdadeira (na verdade, eu acho que a probabilidade de um modelo ou hipótese é verdadeiro é geralmente uma afirmação sem sentido, exceto conforme observado em alguns exemplos restritos, embora importantes). Também notei este seu parágrafo: “Em muitos casos, estimar o anterior é apenas adivinhação, permitindo que fatores subjetivos entrem em seus cálculos. Você pode estar adivinhando a probabilidade de algo que – ao contrário do câncer – nem existe, como cordas, multiversos, inflação ou Deus. Você pode então citar evidências duvidosas para apoiar sua crença duvidosa. Desta forma, o teorema de Bayes pode promover a pseudociência e a superstição, bem como a razão. “Eu acho que esta citação é um tanto enganosa, pois todas as partes de um modelo são suposições subjetivas. Ou, dito de outra forma, todo o modelo estatístico precisa ser compreendido e avaliado. Oponho-me à atitude de que o modelo de dados é considerado correto enquanto a distribuição anterior é suspeita. Aqui está algo que escrevi sobre o tópico: http://andrewgelman.com/2015/01/27/perhaps-merely-accident-history-skeptics-subjectivists-alike-strain-gnat-prior-distribution-swallowing-camel-likelihood/. ”
Leitura adicional:
Os cérebros são bayesianos?
Eu estava errado sobre o fim da ciência?
Uma vasculhada em arquivos antigos me lembra por que sou tão crítico da ciência.
Estudo revela aumento incrível no hype científico.