Czy można ufać sondażom? Fizyk z Krakowa przyjrzał się badaniom

Centrum Badań Ilościowych nad Polityką Uniwersytetu Jagiellońskiego od 10 lat organizuje Konkurs o Puchar Pytii. Eksperci wybierają najlepszy sondaż i najlepszą firmę sondażową. Badane są sondaże publikowane w ostatnich dwóch tygodniach przed wyborami. W konkursie "startuje" jeden sondaż dla każdej sondażowni - ten ostatni przed wyborami.

Członkiem kapituły Konkursu o Puchar Pytii od samego początku jest krakowski fizyk i informatyk Robert Konieczny, który przyjrzał się sondażom z poprzednich wyborów prezydenckich. W artykule opublikowanym na stronie UJ ekspert stara się odpowiedzieć na najważniejsze pytania: czy sondaże są dokładne i czy można im ufać? A także czy dwie największe partie - PiS i PO - są w badaniach systematycznie niedoszacowane albo przeszacowane?

- Z historycznych danych wynika, że bywało różnie. Sondaże przynoszą dużo ciekawych informacji, jednak są obarczone błędami na poziomie kilku punktów procentowych. A parę punktów może zadecydować, kto wygra wybory i zdobędzie władzę. Sondaże warto czytać, ale trzeba podchodzić do nich krytycznie, zachowując zdrowy rozsądek - mówi Interii Konieczny.

Spójrzmy na historyczne dane i na twarde liczby i oceńmy, jak wiarygodne były historyczne sondaże robione tuż przed wyborami. Może dzięki temu lepiej oszacujemy, jaki może być wynik nadchodzących wyborów.

W wyborach prezydenckich 2015 roku wszystkie sondaże przeszacowały kandydata PO i nie doszacowały kandydata PiS. Co ważne, żaden sondaż nie przewidział wtedy dobrze kolejności. Według wszystkich sondaży miał wygrać Bronisław Komorowski. Wygrał Andrzej Duda.

Pięć lat temu było znacznie lepiej, a przewidywania sondażowni okazały się dużo celniejsze. Obie największe partie były lekko niedoszacowane, PiS trochę bardziej. W tych wyborach wszystkie sondaże przewidziały prawidłowo kolejność: wygrał Andrzej Duda, a na drugim miejscu był Rafał Trzaskowski.

Jak podaje ekspert, w roku 2015 średnia i mediana różniły się od wyników wyborów o 5-7 punktów procentowych. Zdaniem naszego rozmówcy to bardzo dużo. W 2020 roku te liczby różniły się od wyników wyborów o mniej więcej 1 punkt procentowy. To z kolei przyzwoity wynik.

Ekspert wziął pod lupę również inne wybory - do Sejmu w 2015 roku, samorządowe 2018, do PE 2019, do Sejmu 2019, do Sejmu 2023, samorządowe 2024 i do PE 2024. Wnioski?

- Najgorzej było w wyborach prezydenckich 2015 roku, kiedy startowali m.in. Andrzej Duda i Bronisław Komorowski. Potem było lepiej, ale niekoniecznie perfekcyjnie - mówi Konieczny. Dodaje, że dwie największe partie raz bywały przeszacowane, a innym razem niedoszacowane.

Dlaczego tak jest? Nasz rozmówca wskazuje na tzw. herding i odmowy w badaniach. - "Herding" w sondażach to znane na świecie zjawisko. Polega na tym, że niektóre firmy sondażowe dopasowują swoje wyniki do innych sondaży. "Herding" może się brać na przykład stąd, że chętniej publikowane są "bezpieczne" wyniki sondaży, a takie które odstają i nie pasują do "konsensusu" nie zostają opublikowane - tłumaczy Konieczny.

Jak pisze w swojej publikacji Konieczny, zjawisko herdingu dotyczy nie tylko sondaży. Podobny efekt zna na przykład historia fizyki. Na początku XX wieku Robert Millikan w słynnym eksperymencie zmierzył ładunek elektronu. Po latach okazało się, że wartość, którą uzyskał, była za niska. Ale wcześniej w kolejnych eksperymentach uzyskiwano za każdym razem nieco większe wartości, aby dopiero po latach dojść do obecnie obowiązującej wartości. Tak jakby kolejni eksperymentatorzy sugerowali się wynikiem Millikana i nie chcieli publikować wyników zbyt mocno odstających od uzyskanych wcześniej.

Richard Feynman pisał o tym tak: "Dlaczego nie odkrywali od razu, że nowa liczba była wyższa? […] Kiedy otrzymana wartość była zbyt wysoka w porównaniu do wartości Millikana, myśleli, że coś musi być nie tak - i szukali i znajdowali powód, dla którego coś mogło być nie tak. Kiedy otrzymywali wartość zbliżoną do wartości Millikana, nie szukali już tak intensywnie. I w ten sposób eliminowali wyniki, które były zbyt odległe […]." - cytuje autor artykułu.

Kolejne pytanie, nad którym pochyla się Konieczny, dotyczy błędów sondażowych. Innymi słowy: jak bardzo od 2014 roku myliły się sondaże? Okazuje się, że nie jest z tym tak najgorzej, bo jedynie dwa na 100 przebadanych sondaży z ostatnich 10 lat myliły się o ponad 10 punktów procentowych. To oczywiście bardzo dużo, ale zjawisko wydaje się marginalne.

Znów wracamy do 2015 roku i starcia Komorowskiego z Dudą. Wszystkie badania jednocześnie zaniżyły wynik PiS i zawyżyły wynik PO. Poza tym liczbowo ten efekt był bardzo duży. To sprawiło, że wszystkie sondaże przewidziały źle kolejność. - I to była katastrofa. Ten efekt nigdy potem nie wystąpił w takim stopniu. Tak źle nigdy potem już nie było - ocenia Konieczny.

W podsumowaniu artykułu autor zauważa, że sondaże przynoszą dużo ciekawych informacji, jednak są obarczone błędami na poziomie kilku punktów procentowych. Tymczasem parę punktów na ogół decyduje, kto wygra wybory i zdobędzie władzę.

- W tym roku na podstawie sondaży możemy z bardzo dużym prawdopodobieństwem przewidywać, że będzie druga tura i wejdą do niej Trzaskowski i Nawrocki, a trzeci będzie Mentzen. Ale kto wygra w pierwszej turze już takie pewne nie jest - ocenia Konieczny, który zaznacza, że ostateczne rozstrzygnięcia przynoszą wybory.

- Sondaże są obarczone błędami, na przykład statystycznymi, i nie należy ich traktować jak wyroczni. Jednak firmy sondażowe są trochę jak te pytie ze starożytnej Grecji - widzą jakby więcej. I dlatego pytia patronuje konkursowi na najlepszy sondaż organizowanemu przez Centrum Badań Ilościowych nad Polityką Uniwersytetu Jagiellońskiego - tłumaczy Konieczny.

Wyniki tegorocznego konkursu o Puchar Pytii zostaną ogłoszone 16 czerwca. A pod TYM linkiem można zapoznać się z całym artykułem.

Najnowsze informacje o sondażach, kampanii i przebiegu głosowania publikujemy w naszym raporcie specjalnym - Wybory prezydenckie 2025.

Artur Bartoszewicz (kandydat niezależny)

Magdalena Biejat (kandydatka Nowej Lewicy)

Grzegorz Braun (kandydat Konfederacji Korony Polskiej)

Szymon Hołownia (kandydat Polski 2050 i PSL)

Marek Jakubiak (kandydat Wolnych Republikanów)

Maciej Maciak (kandydat Ruchu Dobrobytu i Pokoju)

Sławomir Mentzen (kandydat Konfederacji)

Karol Nawrocki (kandydat wspierany przez PiS)

Joanna Senyszyn (kandydatka niezależna)

Krzysztof Stanowski (kandydat niezależny)

Rafał Trzaskowski (kandydat KO)

Marek Woch (kandydat Bezpartyjnych Samorządowców)

Adrian Zandberg (kandydat Razem)