Sondaże się myliły? To nieprawda [OPINIA]

Roman Giertych z charakterystyczną dla siebie subtelnością napisał, że "firmy sondażowe chyba trzeba zakopać". Z kolei Robert Mazurek z charakterystyczną dla siebie arogancją ogłosił, że "jedna rzecz się stała na pewno, i to wiemy, że sondaże się skompromitowały […], wszystkie sondaże, które pokazywały niedoszacowanie Nawrockiego, a przede wszystkim pokazywały jakiś fundamentalny zjazd Mentzena, którego to zjazdu jako żywo, no, nie było, jeśli Mentzen ma 15 proc.".

Prowadzący wspólnie z nim program Krzysztof Stanowski skomentował to słowami: "Powstaje dość naturalne pytanie - po co nam sondaże w ogóle?".

Zresztą Stanowski kilka dni wcześniej w rozmowie z Bogdanem Rymanowskim stwierdził, że "sondaże powinny być zakazane, bo służą wyłącznie manipulacji".

To mniej więcej tak samo, jakby powiedzieć, że prognoza pogody powinna być zakazana, bo służy manipulacji. Sondaż to nauka, a jeżeli ktoś kimś manipuluje, to właśnie ci, którzy o nauce opowiadają głupoty.

Okej, w takim razie zacznijmy od wyjaśnienia, czym sondaż nie jest. Odpowiedź jest bardzo prosta: sondaż nie jest wróżeniem przyszłości. Jak by to powiedział Robert Mazurek - jako socjologowie i socjolożki, jako żywo, tego robić nie umiemy. Co więcej, sondaże wyborcze nie są nawet próbą przewidzenia wyniku wyborów. Tego także nie umiemy. Jeśli już, do tego służy wyłącznie exit poll, którego jakości zresztą nikt nie kwestionuje.

Sondaż wyborczy to rodzaj badania, który pokazuje nastroje społeczne w momencie przeprowadzania - nie miesiąc później, ani nawet trzy dni później. To tak jakby od termometru wymagać, że pokaże, jaką temperaturę ciała będziemy mieć za tydzień.

Z jednej strony to ogromne osiągniecie, że za pomocą modeli statystycznych potrafimy w stosunkowo prosty sposób dowiedzieć się dużo o społeczeństwie, ale z drugiej strony najwyraźniej nie spełnia to oczekiwań niektórych polityków czy dziennikarzy.

Tworzenie próby reprezentatywnej jest zadaniem wyjątkowo niewdzięcznym. Wiele osób jest zmęczonych, nie ufa firmom badawczym (a dzięki Giertychowi i Mazurkowi ufać będzie jeszcze mniej) albo po prostu nie chce marnować czasu.

Czasami niektóre grupy społeczne zaniżają swoją deklarację poparcia ze względu na presję społeczną. Do tego społeczeństwo się ciągle zmienia - tak jak w tych wyborach, gdy nagle okazało się, że najmłodsza grupa wyborców i wyborczyń poszła na wybory chętniej niż zwykle. Nawet najlepsze firmy na świecie zmagają się z rosnącym problemem niskiej responsywności respondentów.

Próba badawcza to więc nie tylko statystyka, ale puzzle ludzkich emocji, a także niespodziewanych wydarzeń: deszcz, trwająca do późna Eurowizja czy kandydat, który dzień przed ciszą wyborczą zrobi coś głupiego. Wszystkie te czynniki dynamicznie zmieniają zaangażowanie elektoratu.

Można więc wyobrazić sobie sytuację, że dobrze przeprowadzony w piątek sondaż mówi o tym, że kandydat A wygra w pierwszej turze, a w niedzielę ten się w ogóle do niej nie dostanie.

Jednak najlepsze jest to, że akurat w tym wypadku firmy przeprowadzające sondaże bardzo trafnie wskazały, ile dostaną poszczególni kandydaci i kandydatki. I to naprawdę niemal wszystkie, trudno wskazać wyjątek, który jakoś szczególnie by się skompromitował.

Warto bowiem wyraźnie powiedzieć, co tak naprawdę widać w sondażu. Najważniejszy jest błąd statystyczny, który wynosi trzy punkty procentowe. To znaczy, że jeśli kandydat A ma w nim 30 proc., a kandydat B - 25 proc., oznacza, że kandydat A otrzyma pomiędzy 27 proc. a 33 proc., a kandydat B - pomiędzy 22 proc. a 28 proc. Czyli nawet, jeśli kandydat B jednak wygra, to nie musi oznaczać, że popełniony został jakiś błąd.

Błąd statystyczny nie oznacza, że coś poszło nie tak, tylko po prostu inaczej być nie może - każda próba losowa z definicji niesie pewien margines niepewności. Do tego warto pamiętać, że zakres pewności wynosi 95 proc., co oznacza, że w pięciu przypadkach na sto wyniki mogą się nie zmieścić w granicy błędu. Nawet przy idealnie wykonanym badaniu.

Spójrzmy na kilka sondaży z ostatniego tygodnia. Sondaż OGB z 16 maja wskazywał 32,89 proc. dla Trzaskowskiego i 28,68 proc. dla Nawrockiego. W jednym przypadku różnica między sondażem a ostatecznym wynikiem wyniosła 1,53 proc., w drugim 0,86 proc. Bardzo precyzyjnie określił też wyniki Mentzena, Brauna, Hołowni, Zandberga i Biejat. W żadnym wypadku błąd nie wynosił więcej niż jeden punkt procentowy, a poparcie Magdaleny Biejat określił co do dziesiętnych części procenta.

Bardzo trafny okazał się także ostatni sondaż CBOS-u, który został przeprowadzony między 5 a 14 maja - tam także ostateczne wyniki wszystkich kandydatów i kandydatek mieszczą się w błędzie statystycznym, i to raczej w jego dolnych granicach.

Rzeczywiście jest kilka sondaży (np. IBRiS czy Ipsos), w których poparcie dla Karola Nawrockiego wynosi o cztery i pięć punktów procentowych mniej niż w oficjalnych wynikach. W takim przypadku mówi się o tym, że Karol Nawrocki został "niedoszacowany".

Czy rzeczywiście tak było? Nie do końca. Oczywiście, może się zdarzyć, że próba zostanie źle wytypowana, metoda zbierania danych zawiedzie albo źle zostanie określona waga poszczególnych grup. Jednak akurat w tym przypadku widać, że na przełomie kwietnia i maja poparcie dla kandydata popieranego przez Prawo i Sprawiedliwość spadło do poziomu około 25 proc. Nic dziwnego - przecież 30 kwietnia Onet opublikował tekst "Ukryte mieszkanie Karola Nawrockiego".

Podobnie w przypadku Sławomira Mentzena - sondaże pokazują, że drugi tydzień maja był okresem, gdy jego poparcie wynosiło nieco ponad 10 proc., a później urosło. Poszczególne sondaże wskazywały 14,21 proc. (OGB), 12 proc. (Opinia24), 13 proc. (IPSOS) czy 13,1 proc. (Pollster). Ostatecznie było nieco więcej, bo poparcie pewnie wciąż rosło. Jednak - wbrew temu, co wygaduje Robert Mazurek - sondaże nie pokazywały jakiegoś nieprawdopodobnego zjazdu, który ostatecznie okazał się nieprawdziwy.

Na temat sondaży wypowiadają się z pogardą osoby, których zadaniem powinno być właśnie ich trafne czytanie i wyciąganie z nich wniosków. Łatwo jest uderzać w sondaże, gdy samemu jest się zbyt leniwym, żeby dowiedzieć się, co to błąd statystyczny albo przeczytać coś więcej niż nagłówek.

Przecież właśnie to dziennikarze i politycy powinni domyślać się, z czego coś w sondażu wynika, a nie oczekiwać, że firma badawcza powinna kilka dni przed wyborami podsunie im pod nos wyniki wyborów. To po co w ogóle mielibyśmy iść do urn?

Z sondażami naprawdę wszystko jest w porządku. Wyniki wyborów pokazały, że osoby przy nich pracujące mają wiedzę, żeby się tym zajmować. Ale najwyraźniej niektórzy zamiast czytać raporty badaczy, woleliby wybrać się do szeptuchy, która powie nie tylko, kto będzie prezydentem, ale także, w co zainwestować pieniądze i gdzie znaleźć miłość życia. Droga wolna.

Jan Radomski
socjolog, publicysta, doktor nauk społecznych, wykładowca akademicki