Analizując dane, szczególnie gdy jest ich niewiele, łatwo zrobić z siebie durnia, interpretując szum jako sygnał. Weźmy takie zdjęcie fragmentu powierzchni Marsa, które wykonała sonda Viking 50 lat temu.
Możemy pomyśleć o nim jak o sondażu wyborczym, który przeprowadzamy na niewielkiej grupie ludzi (próbie). Jeden piksel to jedna spytana osoba. Nawet jeśli próba jest reprezentatywna, to jeśli pikseli jest zbyt mało, możemy zauważyć wzorce, które tak naprawdę nie istnieją w całej populacji. Na przykład twarz wyrzeźbioną przez kosmitów.
Zauważmy jeszcze, że zapewne wykonano setki podobnych zdjęć, ale z innych miejsc na Marsie. Jeśli w każdym będziemy szukać „czegoś ciekawego”, bez sprecyzowania wcześniej, co dokładnie mamy na myśli, w końcu coś znajdziemy. Dane tak się ułożą, że skały na Marsie będą przypominać statek UFO lub kod QR.
Kolejne zdjęcie tego samego miejsca jest dokładniejsze i znacznie zmniejsza szansę, że zrobimy z siebie durnia. Rzekoma twarz to wynik przypadku, który z powodu niedokładności zdjęcia wydawał się tworzyć interesujący wzór.
Z drugiej strony, mogło to pójść w zupełnie innym kierunku.
Przypadek jest już kiepskim wyjaśnieniem wyraźnego nosa, rzęs czy ust.
Problem w tym, że rzadko mamy dostęp do tak dokładnych danych. Drugie zdjęcie wykonano po 25 latach — a wnioski musimy wyciągać już teraz.
Istnieje granica, choć rozmyta, kiedy warto odrzucić widoczne w próbie wzorce — traktując je jako dzieło przypadku — a kiedy nie. Statystyka daje narzędzia, za pomocą których taką granicę można wyznaczyć już na etapie pierwszego, niewyraźnego zdjęcia. Tak aby z jednej strony móc odkrywać ciekawe i ważne zależności, a z drugiej robić z siebie durnia jak najrzadziej. Opowiadam o tym więcej tutaj: https://www.youtube.com/watch?v=M49oatrBE_M.
Komentarz
Uwaga, porównanie z sondażem wyborczym „działa” tylko w pewnym aspekcie. Mamy zdjęcie obiektu, które albo jest twarzą, albo nie jest. Przy małej liczbie danych (pikseli) możemy prawidłowo rozpoznać ogólny zarys (kształt), ale to za mało, żeby stwierdzić, czy to twarz. Ponieważ mamy naturalną skłonność do widzenia twarzy (wzorców), możemy je na takim obrazie rozpoznać. Przy większej rozdzielczości (więcej danych) ryzyko błędu powinno być mniejsze, bo takie zdjęcie powinno poprawnie pokazywać więcej aspektów twarzy (uszy, rzęsy). Jeśli ich nie widać, nie jest to twarz.
Natomiast jeśli porównać zbyt małą liczbę pikseli z sondażem, to technicznie problem z pikselami polega jakby na agregacji danych (uśrednianie pikseli) — i stąd trudno nam dojść do tego, co przedstawia zdjęcie (kto wygrywa w sondażu). To nie działa tak, że mamy obrazek 1024×1024 i z niego losujemy 100 pikseli, jak to jest w sondażach (a przynajmniej powinno być). Zbyt mało pikseli to badanie o zbyt niskiej mocy statystycznej. Możemy prawidłowo rozpoznać bardzo ogólne wzorce (kształt), ale ocena, czy coś jest twarzą, wymaga większej mocy.
