Czytamy o badaniu naukowym na niewielkiej liczbie osób, np. N=9.
1) Czy coś takiego powinno być publikowane?
2) Czy może być reprezentatywne?
Zacznijmy od drugiej kwestii. Wbrew bardzo popularnej opinii, reprezentatywność lub jej brak NIE zależy od liczby obserwacji. Jeśli rzucimy raz monetą, uzyskamy REPREZENTATYWNĄ próbę (N=1) z nieskończonej populacji wszystkich możliwych rzutów. Oczywiście nasze oszacowanie prawdopodobieństwa wyrzucenia orła na podstawie takiej próby będzie bardzo niedokładne, ale jest to osobna sprawa (problemem nie jest brak reprezentatywność, ale niska moc, przez to zwykle nie jesteśmy w stanie ani pokazać, że zależność istnieje, ani że jej nie ma).
A wyobraźmy sobie, że ktoś rzucił monetą milion razy, ale do ostatecznej analizy wybrał tylko te wyniki, w których wypadł orzeł. Taka próba jest NIEREPREZENTATYWNA. Otrzymamy bardzo dokładną odpowiedź – ale nie na pytanie, które zadaliśmy.
Powiem więcej: istnieje dość silna ujemna korelacja między wielkością próby a reprezentatywnością. Jeśli badanie wykonano na niewielkiej próbie, zakładam się z Wami, że jest reprezentatywne, a jeśli na kilkunastu tysiącach, że nie jest. Oczywiście mam tu na myśli, jak to wygląda w praktyce (tzn. to nie wynika z żadnej teorii). Zebranie próby losowej o rozmiarze rzędu 10 tysięcy to ogromny koszt, na dodatek nierzadko nieuzasadniony (bo do wykrycia postulowanego efektu wystarczy mniej). Dlatego można strzelać, że tego typu dane zostały zebrane w innych sposób (zwykle po prostu były dostępne, a nie celowo zbierane przez badacza).
Osobiście nie lubię określenia „reprezentatywne”, bo w powszechnym rozumieniu jest zbyt generyczne – i raczej używam terminu „obciążone”. Jeśli rzucicie monetą „porządnie” (np. obróci się wystarczająco dużo razy), wynik będzie nieobciążony: nie ma żadnego powodu przypuszczać, że któraś ze stron wypadnie częściej. W przeciwnym wypadku wynik będzie obciążony, przez co prawdopodobieństwo uzyskania orła będzie zawyżone lub zaniżone.
Publikować czy nie?
Ale po co publikować coś takiego? Wyobraźmy sobie, że rzucanie monetą jest bardzo kosztowne. Jeden człowiek jest w stanie rzucić jedynie 9 razy. Ciężko na podstawie tak małej próby powiedzieć cokolwiek o prawdopodobieństwie wyrzucenia orła, ale czy coś stoi na przeszkodzie, żeby dołączyć wyniki rzucania innych osób?
Owszem, może coś stać na przeszkodzie: brak publikacji wyników innych rzutów.
Badania łączące wyniki z wielu publikacji to metaanalizy. Oczywiście istnieje wiele problemów z takim łączeniem, tzn. aby miało to sens, badania muszą być wystarczająco podobne. Mimo że zapewne każdy rzucał innymi monetami, uzyskanie orła lub reszki będzie od tego zależeć co najwyżej minimalnie. Jeśli jednak ktoś rzucał monetą z dwoma orłami, nie ma to sensu.
Dodam jeszcze, że to zamieszanie z reprezentatywnością jest całkiem zrozumiałe. Pytając, czy dane badanie jest reprezentatywne, chcemy po prostu wiedzieć, czy otrzymane wyniki przenoszą się na populację. To jest związane z liczebnością próby, ale jeśli mamy do czynienia z poprawnie wykonaną analizą statystyczną, nie musimy się tym martwić. Bo taka analiza UWZGLĘDNIA liczebność (jednym z narzędzi jest p-wartość).
Krytyka
A co np. z poniższą definicją próby reprezentatywnej ze strony GUS:
Próba, której struktura ze względu na badane cechy (zmienne) jest zbliżona do struktury populacji statystycznej, z której pochodzi.
Jak w takim razie próba złożona z jednego wyniku rzut monetą może być reprezentatywna, skoro proporcja orłów wyniesie 100% lub 0%, czyli zupełnie inaczej niż w populacji?
Problem polega na tym, że tego typu definicje jak wyżej są próbą przeniesienie na język potoczny definicji matematycznej, która bazuje na wartości oczekiwanej. Jeśli rzucamy monetą „losowo”, to oczekiwana liczba orłów to N/2, gdzie N to liczba rzutów. Tak uzyskana próba, niezależnie od N, jest nieobciążona – czyli reprezentatywna.
Oczywiście nie da się tego zaobserwować wprost (nie da się wyrzucić pół orła). Natomiast można to sobie wyobrazić tak, że jeśli wielokrotnie będziemy powtarzać taki sposób doboru próby (rzut monetą), to nawet jeśli ta próba będzie 1-elementowa, w połowie przypadków otrzymamy orła, w połowie resztkę –czyli tak, jak ma być.
Oczywiście wyniki uzyskane na podstawie takiej próby będą absurdalne, ale jak próbuję tutaj uzasadnić, jest to osobny problem. Zobaczmy, że w 101 rzutach też nie da się uzyskać poprawnej proporcji. W przypadku jednego rzutu będzie ona oczywiście maksymalnie daleka od poprawnej, ale dla tak małego zbioru mieści się to w naturalnej zmienności próby
Poniżej dwa źródła, która zwracają uwagę na kwestię obciążenia w definicji:
https://www.sciencedirect.com/topics/computer-science/representative-sample
https://pl.wikipedia.org/wiki/Pr%C3%B3ba_reprezentatywna
