Czy warto przejmować się wynikami PISA?
Zacznę od paru słów na temat samego badania: jaka jest jego jakość, na ile porównywalne są wyniki między latami i krajami, jak interpretować konkretne wartości i co w zasadzie jest mierzone.
W PISA bada się 15-latków (choć “rocznikowo” są to już 16-latkowie) w trzech dziedzinach: czytanie, matematyka i przyroda. Zadania są jednak tak zaprojektowane, by ocenić, na ile uczniowie potrafią wykorzystać wiedzę w praktycznych, życiowych problemach. To nie jest badanie sprawdzające opanowanie materiału szkolnego (to bada się w TIMSS).
Wyniki podawane są w skali o średniej 500 i odchyleniu standardowym 100. Zostały w ten sposób wystandaryzowane w pierwszych edycjach dla krajów OECD. Na przykład wartość 450 oznacza, że średnie wyniki w danym kraju są o pół odchylenia niższe niż przeciętne wyniki uczniów w krajach OECD w latach 2000-2006 (rok bazowy zależy od dziedziny). Pół odchylenia to dużo: taka jest mniej więcej różnica w Polsce między wynikami dla liceów i techników. Czasem podaje się też taki przelicznik, że przyrost 20 punktów w teście PISA to średnio rok więcej edukacji [1].
W każdym kraju zadania są praktycznie takie same. Wyniki między latami są porównywalne, co osiąga się między innymi w taki sposób, że część zadań powtarza się w kolejnych edycjach (ich treść nie jest dostępna). Przy pomocy takich zadań (tzw. kotwiczących) można dokonać kalibracji wyników. W kolejnych edycjach dokonywano pewnych istotnych zmian, np. test zaczęto przeprowadzać na komputerach, a nie pisemnie, oraz wprowadzono podejście adaptacyjne: im lepiej uczeń odpowiada na pierwsze pytania, tym więcej trudniejszych zadań dostaje (dzięki temu można dokładniej oszacować jego umiejętności). To oczywiście nie jest neutralne dla wyników, natomiast każda taka zmiana jest poprzedzana badaniami pilotażowymi, by w dalszym ciągu zapewnić porównywalność.
Mimo wszystko pewne problemy z porównywalnością pozostają. Po publikacji głównych raportów dane są w dalszym ciągu analizowane, by bardziej zaawansowanymi metodami rozwiązać niektóre z tych problemów (część z nich jest specyficzna dla danego kraju).
Badanie jest tak zaprojektowane, by jak najlepiej oszacować wynik dla kraju i podgrup (np. dziewczęta i chłopcy), ale nie wyniki dla pojedynczych uczniów. W szczególności, jak wspomniałem wyżej, różni uczniowie otrzymują różne zadania. W sumie pula zadań jest tak duża, że jedna osoba nie byłaby w stanie ich rozwiązać – ale “populacja” już tak. A dzięki dużej liczbie zadań można lepiej oszacować umiejętności w danej dziedzinie.
Ogólnie, trudno wskazać na lepiej przeprowadzone badanie, i to nie tylko dotyczące edukacji.
Matematyka 2003-2025
Na poniższym wykresie prezentuję wyniki z matematyki dla wszystkich krajów uczestniczących w PISA w latach 2003-2025 z pominięciem Chin (na podstawie danych z [2] i [3]). Chiny pomijam dlatego, że w PISA uczestniczą jedynie najbardziej rozwinięte jednostki administracyjne z tego państwa (to tak, jakby podać wyniki tylko dla Warszawy, w której są znacznie wyższe niż ogólnie w Polsce). Innymi słowy, wynik dla Chin jest po prostu nieznany.
Na czerwono wynik dla Polski, na czarno średnia dla 23 krajów OECD, które brały udział we wszystkich edycjach badania. Na wykresie widać bardzo dużą rozpiętość wyników: średnie w niektórych krajach są poniżej 350 punktów. Oprócz tego wyniki mogą wydawać się dość stabilne (linie są w przybliżeniu poziome), natomiast nie jest to najlepsze przedstawienie tych danych, gdyż już 20 punktów różnicy z edycji na edycję to dużo (biorąc pod uwagę interpretację, że jest to rok nauki). Dlatego na kolejnym wykresie zaznaczyłem tylko kilka krajów wraz ze średnią dla 23 krajów OECD, które brały udział we wszystkich edycjach, oraz średnią dla Unii Europejskiej. Warto tu dodać, że oś Y na takich wykresach NIE powinna zaczynać się od zera, bo skala PISA jest interwałowa i zero nie ma żadnego sensu.
Zaznaczyłem Finlandię, bo swego czasu była stawiana za wzór, jak powinna wyglądać państwowa edukacja. Obecnie za taki wzorcowy kraj podaje się czasem Estonię.
Spadki w ostatnich edycjach wystąpiły w większości krajów i są duże. Tłumaczy się je zwykle pandemią i cyfryzacją (“smartfony”), a w Polsce dodatkowo reformą szkolnictwa, tzn. odejściem od gimnazjów. We wcześniejszych latach 15-latkowie byli głównie uczniami trzecich klas gimnazjów, a w edycji 2022 pierwszych i drugich klas szkół ponadpodstawowych: liceów, techników i szkół branżowych (plus niewielka część w szkołach muzycznych i podstawowych). Innymi słowy, w 2018 roku wspólne kształcenie ogólne trwało dłużej, a podział uczniów na różne ścieżki kształcenia następował później.
Szkoły ponadpodstawowe
Zobaczmy, jak duże są różnice między typami szkół. Poniżej rozkłady wyników matematyki (ważone estymowane funkcje gęstości; pole pod krzywą w danym przedziale odpowiada udziałowi uczniów danego typu szkoły w tym przedziale).
Różnica w średnich wynikach PISA z matematyki między uczniami liceów i szkół branżowych jest mniej więcej taka, jak między średnią OECD a Rwandą, która ma najniższy średni wynik ze wszystkich badanych krajów.
Interpretując te różnice, pamiętajmy, że w głównej mierze to kwestia selekcji do różnych typów szkół (do liceów chodzą uczniowie, którzy lepiej radzą sobie w szkole podstawowej, a do szkół branżowych ci, którzy mają najniższe wyniki). Choć pewna część różnic może wynikać z nauki w danym typie szkoły, bo większość badanych uczniów uczęszczała już do drugiej klasy szkoły ponadpodstawowej (w przeciwieństwie do poprzedniej edycji PISA, gdy była to głównie pierwsza klasa).
Płeć
Średnia różnica w matematyce między dziewczętami a chłopcami wynosi 13 punktów na korzyść chłopców. Co ciekawe, jeśli policzymy ją osobno dla typów szkół, to różnice są znacznie większe: 40 punktów w technikach, 36 w liceach i 23 w szkołach branżowych na korzyść chłopców.
Jak to możliwe, że te różnice uśredniają się do 13 punktów? Dziewczęta częściej chodzą do liceów, a chłopcy do techników i szkół branżowych (w ostatniej kolumnie są podane odsetki dziewcząt). A jak wynika z poprzedniego wykresu, wyniki uczniów liceów są znacznie lepsze.
Z kolei w czytaniu ze zrozumieniem dziewczęta otrzymały średnio 34 punkty więcej. Poniżej wyniki z rozbiciem na szkoły. Tym razem różnice są mniejsze niż różnica ogólnopolska – również z tego powodu, że w liceach jest więcej dziewcząt.
Średnie wyniki z przyrody są praktycznie takie same, chyba że rozbijemy je ze względu na typ szkoły.
W tabelach podany jest też rozrzut wyników (SD), który jest większy wśród chłopców w każdej dziedzinie. Skupmy się na krańcach rozkładu wyników i policzmy, jaki jest udział dziewcząt i chłopców wśród uczniów z dziesiątego i pierwszego decylu.
Mimo średnio takich samych wyników z przyrody, udział chłopców wśród uczniów z najwyższymi i najniższymi wynikami jest większy.
Status społeczno-ekonomiczny
Jedną z charakterystyk, która najsilniej koreluje z wynikami uczniów, jest status społeczno-ekonomiczny rodziny ucznia (SES). W PISA jest on mierzony za pomocą indeksu statusu ekonomicznego, społecznego i kulturowego (ESCS). W jego skład wchodzą wykształcenie rodziców, ich zawód oraz zasoby dostępne w domu (np. liczba samochodów i książek), każdy z tych trzech aspektów z taką samą wagą.
Na poniższym wykresie zależność między wynikami z czytania i matematyki a ESCS dla wszystkich krajów OECD, które brały udział w obu ostatnich edycjach. Wyznaczono decyle rozkładu ESCS (oś X) i dla każdego z nich obliczono średni wynik PISA. (Wybierając typ wykresu, inspirowałem się tym wpisem).
Po pierwsze, widać silną zależność między ESCS a wynikami. W 2022 roku różnica między pierwszym a ostatnim decylem wyniosła około 120 punktów. W 2025 wyniki w każdym decylu ESCS są niższe, natomiast w ostatnich decylach znacznie niższe. (Wyniki z przyrody w 2025 są trochę lepsze niż w 2022 w decylach od pierwszego do ósmego, natomiast w ostatnim decylu gorsze).
Na poniższym wykresie zaznaczyłem jedynie samą różnicę dla każdego decylu.
W Polsce zależność jest bardziej skomplikowana, natomiast wciąż największe spadki występują w ostatnich decylach ESCS:
W oficjalnym raporcie PISA [4] odnotowuje się ten znaczący spadek wyników w ostatnich decylach i traktuje go jako coś ważnego i zaskakującego (“Taken together, these two findings suggest a new phenomenon wherein a group of students from relatively affluent families, but who struggle academically, are contributing most to the overall decline in mean scores”). Problem w tym, że indeks ESCS nie jest porównywalny między edycjami 2022 i 2025.
Zmiana metody liczenia ESCS
W poprzednich edycjach dbano o to, by ESCS było porównywalne. Innymi słowy, obecność w ostatnim decylu ESCS w 2022 i 2018 oznaczała mniej więcej to samo. Jednak w 2025 sposób liczenia tego indeksu zmienił się na tyle, że nie można go wprost porównywać do 2022. Piszą o tym sami autorzy raportu: “in contrast to what was done in previous cycles, the ESCS computed for PISA 2025 is not treated as a trend scale” (jest to dość zastanawiające, że mimo wszystko analizują tę zmienną tak, jakby była porównywalna).
Najbardziej zmienił się sposób pomiaru zasobów gospodarstwa domowego. W 2025 roku usunięto wiele pytań związanych z książkami, a dodano te, które są powiązane z warunkami życia (zamożnością). Problem w tym, że to obecność książek silniej koreluje z wynikami. W 2025 roku w ostatnim decylu mogli znaleźć się uczniowie z bogatych domów, ale niekoniecznie z bogatym kapitałem kulturowym. Podobnie, do trochę niższych decyli mogli trafić uczniowie z mniej zamożnych domów, za to z większym kapitałem kulturowym.
W artykule [5] pokazano, że jeśli dostosuje się ESCS w 2025 do tego, jak był liczony w 2022 (głównie przez pominięcie niepowtarzających się składowych), spadek w najwyższych decylach jest podobny jak w niższych. Innymi słowy, efekt znacznego spadku wśród uczniów z rodzin o najwyższym statusie społeczno-ekonomicznym znika.
Nie będę powtarzał analizy ze wspomnianej pracy, natomiast możemy łatwo sprawdzić, na ile zmieniły się wyniki PISA, jeśli rozważyć nie syntetyczny indeks ESCS, ale jego składowe. Na poniższych wykresach dwie składowe z trzech: HISEI, który mówi o pozycji społeczno-ekonomicznej zawodów rodziców, oraz zasoby domowe. Ta pierwsza składowa nie uległa zmianie w 2025, a druga tak. Skala na osi Y na obu wykresach jest taka sama.
Jak widać, efekt największych spadków w najwyższych decylach występuje dla wskaźnika, który uległ modyfikacji – co sugeruje, że jest to wynik właśnie tej modyfikacji. Dodajmy od razu, że z tego nie wynika, że ta modyfikacja była niewłaściwa, a jedynie że występuje problem z porównywalnością ESCS między 2022 a 2025 rokiem.
Źródła
[2] Raport IBE
[4] Raport OECD
