Blog

Albo chociaż koreluje z nią? Wątpię. W takim razie nie warto uwzględniać takich informacji w modelu przewidującym płeć? Przeciwnie.

Jednym z błędów przy selekcji zmiennych do modelu jest pomijanie tych, które nie korelują ze zmienną celu. Mimo że dla wielu osób jest jasne, że po dorzuceniu pewnych cech inne mogą okazać się niepotrzebne (współliniowość), to druga strona medalu jest mniej intuicyjna.

Dane

Sprawdźmy na rzeczywistych danych, jak przewidywać płeć na podstawie wzrostu rodziców. Wykorzystam dość popularne dane zebrane pod koniec XIX wieku przez angielskiego statystyka Francisa Galtona (interesowało go, jak silna jest zależność między wzrostem rodziców a ich dzieci). Może je pobrać np. stąd, choć w mojej wersji wzrosty już są przekształcone na centymetry.

Dane są bardzo proste, pierwsze wiersze wyglądają następująco:

rodzina	wzrost_ojca	wzrost_matki	plec	liczba_dzieci	wzrost_dziecka
1	199.39	170.18	M	4	185.93
1	199.39	170.18	K	4	175.77
1	199.39	170.18	K	4	175.26
1	199.39	170.18	K	4	175.26
2	191.77	168.91	M	4	186.69
2	191.77	168.91	M	4	184.15
2	191.77	168.91	K	4	166.37
2	191.77	168.91	K	4	166.37

Uwaga, wzrost_dziecka to wzrost już dorosłej osoby. I druga uwaga: gdy Galton dotarł do jakiejś rodziny, mierzył wszystkie dzieci — stąd wzrosty rodziców się powtarzają. Także mamy tutaj pewną wewnętrzną korelację i jeśli interesowałoby nas wnioskowanie statystyczne, powinniśmy to uwzględnić, dopasowując np. model mieszany (mixed model). Żeby nie komplikować sprawy, użyję zwykłej regresji logistycznej, szczególnie że bardziej interesuje mnie prognozowanie.

Model podstawowy

Zacznijmy od podstawowego modelu, w którym przewidujemy płeć dziecka na podstawie jego wzrostu:

płeć ~ wzrost_dziecka.

Kod dostępny jest tutaj, w tym artykule pokazuję tylko wyniki:

term	estimate	std.error	statistic	p.value
(Intercept)	-52.95	3.40	-15.56	< 0.0001
wzrost_dziecka	0.31	0.02	15.56	< 0.0001

Modelujemy tu prawdopodobieństwo, że dana osoba jest mężczyzną. Przy wzroście dziecka współczynnik jest dodatni, co oczywiście jest logiczne, bo im wyższe dziecko, tym większe prawdopodobieństwo, że jest mężczyzną. Dokładność modelu wynosi 84,4%. Wszystkich obserwacji jest 897, model popełnił w sumie 140 błędów (tzn. przewidział złą płeć).

Czy da się lepiej?

Chcę teraz zbudować lepszy model, uwzględniając dodatkowe zmienne, które mam w danych: wzrost ojca i matki. Pytanie, czy jest sens? Spójrzmy na relację między płcią a wzrostem rodzica:

Nie widać żadnej zależności. Potwierdźmy to, rozpatrując model

płeć ~ wzrost_matki + wzrost_ojca.

Poniżej podsumowanie:

term	estimate	std.error	statistic	p.value
(Intercept)	3.34	2.55	1.31	0.191
wzrost_ojca	-0.01	0.01	-0.75	0.454
wzrost_matki	-0.01	0.01	-1.00	0.320

Jak można było się domyślić, obie zmienne są nieistotne. Nie mamy żadnego powodu przypuszczać, że wzrosty rodziców są powiązane z płcią dziecka.

Model rozszerzony

Mimo wszystko dorzućmy te wzrosty do pierwszego modelu:

płeć ~ wzrost_dziecka + wzrost_matki + wzrost_ojca.

term	estimate	std.error	statistic	p.value
(Intercept)	-17.68	4.63	-3.82	< 0.0001
wzrost_dziecka	0.43	0.03	14.91	< 0.0001
wzrost_ojca	-0.18	0.02	-8.39	< 0.0001
wzrost_matki	-0.15	0.02	-6.73	< 0.0001

Nagle obie zmienne są istotne i nie ma co do tego wątpliwości. Jak to możliwe?

Weźmy dziecko o wzroście 175 cm. To kobieta czy mężczyzna? Oczywiście nie wiem, ale rozsądnie przyjąć większe prawdopodobieństwo, że mężczyzna. A jeśli wiem, że jego/jej matka ma 200 cm? Być może wciąż z większym prawdopodobieństwem jest to mężczyzna — ale na pewno się ono zmniejszy.

Jest to jeden z moich ulubionych przykładów, czym jest kontrola zmiennych.

Spójrzmy jeszcze na współczynniki. Przy wzroście dziecka współczynnik wciąż jest dodatni, natomiast przy wzrostach rodziców współczynniki są ujemne. Działa to jak pewna korekta: jeśli wiemy, że rodzice są wysocy, nasza pewność, że wysoka osoba jest mężczyzną, zmniejsza się (ewentualnie jeśli dziecko jest niskie i ma wysokich rodziców, zwiększa się pewność, że jest kobietą).

A na ile zwiększyła się dokładność modelu? Wynosi teraz 88,5% (czyli 4 punkty procentowe więcej). Może nie jest to spektakularne, ale weźmy pod uwagę, jak z pozoru kiepskie cechy dorzuciliśmy do modelu. Co więcej, te 4% wiąże się z tym, że liczba błędów zmniejszyła się ze 140 do 103.

Ale po co?

Zastanówmy się jeszcze, po co nam taki model? Przecież jeśli znam już wzrost dziecka, to chyba płeć też? W dobie ML może się wydawać, że modele służą tylko prognozowaniu przyszłych wartości. Ale pomijając zupełnie inne zastosowania (np. wyjaśnianie zmienności interesującej nas cechy), to w tym kontekście można powiedzieć szerzej, że modele służą do przewidywania NIEZNANYCH wartości.

Taki model można użyć np. do imputacji braków danych. Tak naprawdę na prognozowanie Y też można spojrzeć jak na imputację (z pewnymi zastrzeżeniami). Model przewidujący płeć (nie mówię, że konkretnie ten) mógłby też zostać użyty przez detektywa do stworzenia portretu sprawcy. Albo przez historyka, gdy o danej postaci wiemy niewiele.