Prawdopodobieństwo wyrzucenia 100 orłów z rzędu uczciwą monetą wynosi ok. 10^(-30), czyli ekstremalnie mało. Jak uzasadniałem tutaj, to nie miało prawa się wydarzyć. To teraz pytanie za 10^30 punktów. Rzuciłem 100 razy monetą i otrzymałem poniższą serię:
RROROORRRRRORORORROROOOORRRROOORROOOORRROOORRRROOOOROORROOOROOORROROROOOROROROOORRORROOOOOOROORROOOR
Jakie jest prawdopodobieństwo jej uzyskania, zakładając, że rzucałem uczciwą monetą? Cóż, dokładnie takie samo.
Wydaje się to ciekawe, bo prędzej uwierzymy w tę podaną serię niż w 100 orłów. Wynika to najpewniej dlatego, że patrząc na nią, wcale na nią nie patrzymy. „A, jakaś tam seria”. A prawdopodobieństwo wyrzucenia „jakiejś tam” serii wynosi 1.
Ale rozwiążmy inny problem. Dowiadujemy się, że Adam wyrzucił 100 orłów z rzędu, a Ewa tę serię wyżej — ale tym razem nie wiemy, czy rzucali uczciwą monetą, czy np. z dwoma orłami. Jak myślicie, czy Adam rzucał uczciwą?
Moim zdaniem nie. Próbuję Was przekonać: „Słuchajcie! Jeśli założyć, że Adam rzucał uczciwą monetą, prawdopodobieństwo takiej serii wynosi 10^(-30). Czyli nie rzucał!”. Brzmi sensownie? Co na to sceptyk? „Przecież prawdopodobieństwo dla Ewy jest takie samo”.
Jak wyjaśnić ten pozorny paradoks?
Co Pan na to, Panie Bayes?
Spróbujmy w taki sposób. Mamy dwie hipotezy:
H1: moneta uczciwa,
H2: moneta z dwoma orłami.
Zebraliśmy dane D: 100 orłów. Jeśli założymy uczciwość monety, prawdopodobieństwo takich danych wynosi 10^(-30), a jeśli moneta ma dwa orły, prawdopodobieństwo wynosi 1. Zapiszmy:
P(D|H1) = 10^(-30),
P(D|H2) = 1.
Czyli to drugie prawdopodobieństwo jest 10^30 razy większe. Ten iloraz to tzw. czynnik Bayesa.
Ale to jeszcze za mało, bo nas interesuje inny iloraz: P(H2|D)/P(H1|D), czyli na ile bardziej prawdopodobna jest hipoteza, a nie dane! Korzystając ze wzoru Bayesa, ten obliczony iloraz mnożymy przez inny: P(H2)/P(H1). Czyli na ile wierzymy w prawdziwość tych hipotez, zanim zobaczymy dane.
P(H2|D)/P(H1|D) = P(D|H2)/P(D|H1) * P(H2)/P(H1).
Jeśli nie wierzysz, że mogą istnieć monety z dwoma orłami, nic Cię nie przekona. Ja wierzę. Co prawda a priori to H1 jest znacznie bardziej prawdopodobna, więc iloraz P(H2)/P(H1) jest niewielki — ale wciąż nie aż tak mały, żeby zniwelować 10^30. Czyli:
P(H2|D)/P(H1|D) = przeogromna_liczba / mała_liczba = duża liczba.
W zasadzie na tym koniec, ale dla sportu zobaczmy, co dzieje się w drugiej sytuacji, w której wypadły i orły, i reszki. P(D|H1) też wynosi 10^(-30), co wydawało się paradoksalne. Ale ile wynosi P(D|H2), czyli prawdopodobieństwo, że otrzymamy orły i reszki, jeśli moneta ma dwa orły? Zero! A w takim razie:
P(H2|D)/P(H1|D) = zero.
(Uwaga. W ten sposób porównaliśmy jedynie dwie hipotezy, a są inne: że moneta nie ma dwóch orłów, ale jest tak skonstruowana, że orzeł wypada częściej. Ale łatwiej mi uwierzyć w monetę z dwoma orłami, więc tych innych nie rozważam).
Czasem mówi się o błędzie poznawczym, że jakieś wyniki traktujemy jako bardziej losowe od innych, mimo że prawdopodobieństwo ich „wylosowania” są takie same. Czyli że serie Adama i Ewy są tak samo losowe. Cóż, zależy, co rozumiemy przez „losowość”, natomiast traktowanie 100 orłów jako „mniej losowe” jest uzasadnione. Bo istnieje lepsza hipoteza uzyskania takiego wyniku.
Czy da się inaczej?
A co, gdy ktoś go nie lubi Pana Bayesa? Na wypadek, gdyby to rzutowało na słuszność jego rozumowania, spróbujmy inaczej.
Widzimy, że wyrzucono 100 orłów z rzędu. Wszyscy nas przekonują, że moneta musiała mieć dwa orły, ale jesteśmy twardzi i gramy adwokata diabła. Stawiamy hipotezę, że moneta była zwyczajna, czyli prawdopodobieństwo wyrzucenia orła wynosi 0,5:
H0: p = 0,5.
To dopiero trzeba być upartym! Czy takiego człowieka w ogóle da się do czegokolwiek przekonać?
Spróbujmy. Najpierw — i to jest trudna część (ale będzie jeszcze trudniejsza!) — musimy się zastanowić, co nas ZASKAKUJE w tych 100 orłach. Czy sam fakt, że były to orły, czy może raczej to, że 100 razy wypadło to samo? Moim zdaniem to drugie.
Liczymy teraz prawdopodobieństwo tych zaskakujących zdarzeń, czyli 100 orłów lub 100 reszek. Jest dwukrotnie większe, niż do tej pory liczyliśmy, ale w przybliżeniu wciąż wychodzi ok. 10^(-30). Ponieważ jest ekstremalnie małe, odrzucamy hipotezę zerową i wnioskujemy, że moneta nie mogła być uczciwa.
Ktoś powie, że odrzuciliśmy hipotezę, która była nieprawdopodobna już na wstępie. Bo czy istnieją IDEALNIE uczciwe monety? (p=0,5). Podejdźmy do sprawy inaczej. Dla uproszczenia załóżmy, że mamy przesłanki, że z tą monetą może coś być nie tak, tzn. orzeł może wypadać częściej, nawet w 6 przypadkach na 10:
H0: p <= 0,6.
Tym razem nie twierdzimy, że dokładnie p=0,6, ale że może być mniej. Mimo wszystko obliczenia i tak wykonamy dla wartości 0,6, bo to najbardziej optymistyczny scenariusz dla klienta, który upiera się, że jednak jest to zwyczajna moneta, co najwyżej „trochę” niewyważona. Mamy (0,6)^100=10^(-22). Cóż, nie da się tego obronić.
A gdyby wyrzucono 99 orłów i jedną reszkę? I tu dochodzimy do najtrudniejszej części. Musimy się zastanowić nie tylko, co nas zaskakuje, ale uwzględnić również to, co zaskakiwałoby nas BARDZIEJ. Czyli należy policzyć prawdopodobieństwo wyrzucenia 99 orłów lub 100 orłów. To drugie zrobiliśmy, to pierwsze jest trochę bardziej skomplikowane:
100 * (0,6)^99 * (0,4)^1 = 10^(-21).
To „100” wynika z tego, że reszkę można wyrzucić na 100 sposobów (w pierwszym rzucie, drugim itd.).
Zauważmy, że w porównaniu do bayesowskiego podejścia, wcale nie próbowaliśmy pokazać, że moneta ma dwa orły, a jedynie, że nie do utrzymania jest teza, że jest symetryczna. Co więcej, w ogóle zignorowaliśmy, czy takie monety z dwoma orłami mogą istnieć! Jeśli uważalibyśmy, że to niemożliwe, wtedy w podejściu bayesowskim łatwo to uwzględnić (prawdopodobieństwo a priori równe 0), natomiast w p-wartości już nie.
P-wartość? Tak, tak, policzyliśmy starą dobrą p-wartość.
