Analizowane dane to wyniki sondaży poparcia dla partii od października 2023 do stycznia 2025, pobrane ze strony https://ewybory.eu/sondaze/. Skupiłem się tylko na wynikach KO i PiS, a dokładnie na różnicy między nimi (wyrażonej w punktach procentowych). Danych nie jest dużo, więc analiza wszystkich partii jest obarczona zbyt dużym ryzykiem błędu (problem porównań wielokrotnych).
Chciałem sprawdzić, czy popularne twierdzenie, że pewne instytuty sprzyjają pewnym partiom, jest uprawnione. W tym celu porównałem średnie wyniki sondaży (różnica w wynikach KO i PiS) organizowanych przez United Surveys, CBOS, IBRiS, Opinia24 i Pollster.
Ostrzeżenie przed nadinterpretacją
Uwaga, taka analiza nie pozwala stwierdzić, czy wyniki dla konkretnego instytutu zawyżają lub zaniżają poparcie dla partii. Żeby móc coś takiego powiedzieć, musielibyśmy znać prawdziwe poparcie w danym momencie. Dlatego „sprzyjanie” partii X oznacza jedynie, że wyniki uzyskane przez dany instytut dla partii X są wyższe od innych. Instytut, który najbardziej „sprzyja” tej partii, w rzeczywistości może dostarczać najbardziej wiarygodnych wyników.
Oprócz tego nie ma powodu przypuszczać, że systematyczne różnice między instytutami (jeśli zostaną potwierdzone) są intencjonalne, tzn. wynikają z rzeczywistej chęci sprzyjania konkretnej partii. Mogą być one następstwem innych metod doboru próby. Wciąż jednak jest to ważna informacja, jeśli coś takiego ma miejsce.
Dane
Na poniższym wykresie różnica w wynikach między KO i PiS dla wszystkich instytutów (dodatni wynik oznacza, że KO uzyskała wyższe wyniki).
Jest pewien trend w tych danych, co utrudnia analizę, gdyż pewne instytuty mogły przeprowadzać sondaże akurat w czasie, w którym jedna z partii rzeczywiście miała większe poparcie. Dlatego usunąłem trend, dopasowując model GAM i przeprowadzając dalszą analizę na resztach z takiego modelu (obserwacje ważyłem liczbą badanych, którzy wzięli udział w danym sondażu).
W dalszej analizie wziąłem pod uwagę tylko instytuty, dla których liczba obserwacji była wystarczająca. Poniżej wykres dla nich z oznaczonym instytutem, po usunięciu trendu. Uwaga, w tym momencie dodatni wynik nie oznacza, że KO uzyskał wyższy niż PiS, ale że różnica między tymi partiami jest powyżej średniej w całym okresie.
Największe różnice (na korzyść KO) są widoczne dla sondaży organizowanych przez CBOS i Opinia24 (czarne i fioletowe punkty).
Model
Oczywiście obserwowane różnice mogą być kwestią przypadku, dlatego wykonałem odpowiedni test statystyczny (ANOVA + test post-hoc Tukeya). Na poniższym wykresie średnie wraz z błędami standardowymi. Sondaże organizowane przez CBOS i Opinia24 pokazują lepsze wyniki dla KO w stosunku do PiS (ok. 2 p.p.) w porównaniu do sondaży organizowanych przez Pollster i IBRiS.
Uwaga, ta różnica nie ma nic wspólnego z błędem pomiaru dla sondażu, gdyż jest systematyczna, a nie „przypadkowa”. Błąd pomiaru, wyrażony zwykle jako błąd standardowy, polega na tym, że rzeczywiste wyniki (w populacji), szacowane na podstawie pojedynczego sondażu, mogą być trochę większe lub mniejsze. Tutaj jednak porównujemy wiele sondaży i błąd standardowy dla nich jest czymś zupełnie innym.
W poniższej tabeli dokładne różnice i p-wartości (skorygowane) dla każdego porównania.
| Porównanie | Różnica | Przedział ufności | p |
|---|---|---|---|
| IBRiS – Pollster | 0,12 | (-1,60; 1,84) | 1,000 |
| United Surveys – Pollster | 0,85 | (-0,80; 2,51) | 0,610 |
| Opinia24 – Pollster | 2,23 | (0,48; 3,98) | 0,005 |
| CBOS – Pollster | 2,32 | (0,60; 4,04) | 0,003 |
| United Surveys – IBRiS | 0,73 | (-0,79; 2,25) | 0,671 |
| Opinia24 – IBRiS | 2,11 | (0,48; 3,74) | 0,004 |
| CBOS – IBRiS | 2,20 | (0,61; 3,79) | 0,002 |
| Opinia24 – United Surveys | 1,38 | (-0,18; 2,94) | 0,110 |
| CBOS – United Surveys | 1,47 | (-0,06; 2,99) | 0,065 |
| CBOS – Opinia24 | 0,09 | (-1,54; 1,72) | 1,000 |
Komentarz
Wykryte różnice są istotne statystycznie, ale nie są duże, np. 2,2 p.p. dla CBOS vs. IBRiS, z przedziałem ufności (0,61; 3,79). I podkreślam jeszcze raz, że po pierwsze, na podstawie tych wyników nie da się powiedzieć, które sondaże są bardziej wiarygodne, po drugie, źródło tych różnic najprawdopodobniej leży w innej metodzie doboru próby.
Sondaże były przeprowadzane przy pomocy metod CATI (większość), CAWI i łączonej, natomiast nie wykryto dużych różnic między nimi.
