Tagi: Tadeusz Sozański

Tadeusz Sozański

Tekst zamieszczony niżej jest to list wysłany przeze mnie pocztą elektroniczną 24 listopada (po południu) do redakcji „Dziennika Polskiego” z prośbą o opublikowanie go na łamach gazety codziennej, reklamującej się jako najbardziej opiniotwórcze medium Małopolski. Wybrałem tę właśnie gazetę, bo czytam ją od lat co najmniej 45, a ponadto ta właśnie gazeta w 2004 roku opublikowała moje dwa artykuły eksperckie poświęcone systemom głosowania w Radzie Ministrów UE. Na mój poprzedni list, dotyczący porządków w Lesie Wolskim, wysłany w tym roku, dostałem odpowiedź. Pani redaktor z działu „Opinie” uzyskała nawet wyjaśnienie od Zarządu dlaczego mój ulubiony buk musiał zostać wycięty. To był jednak temat „niepolityczny” i gdybym napisał do redakcji w czasach PRL, też pewnie dostałbym odpowiedź. Tym razem, nie doczekawszy się do dziś (27 XI 2014 r.) odpowiedzi na list o temacie objętym jak widać zapisem cenzury, skorzystałem z propozycji kolegi-socjologa, pracującego w tym samym instytucie, by mój tekst zamieścić na redagowanym przez niego portalu „Kraków Niezależny”.

Szanowny Panie Redaktorze,

z dzisiejszego (24 XI 2014) “Dziennika Polskiego”, który za PKW podaje oficjalne wyniki wyborów do sejmików, czytelnik m.in. dowiaduje się, że PSL w całym kraju uzyskał około 24% wszystkich ważnych głosów. Liczba ta znacznie różni się od 17% , wyniku podanego w mediach w wieczór wyborczy za firmą IPSOS, która wykonała badanie metodą exit poll. Metoda ta różni się od zwykłych sondaży tym, że polega po prostu na powtórzeniu wyborów na próbie pobranej ze zbiorowości osób, które dopiero co wyszły z lokali wyborczych (stąd nazwa metody). W takim badaniu odpowiedź badanego na pytanie, na którą partię głosował, jest podobna do samego aktu wyborczego (tajności głosowania odpowiada anonimowe wypełnianie kwestionariusza).

Jak interpretować różnicę 7%? Mogę się kompetentnie wypowiedzieć na ten temat, jako że od wielu lat wykładam metodologię badań społecznych na studiach socjologicznych, a także statystykę, co wiąże się z moimi kwalifikacjami (ukończyłem studia matematyczne w UJ). Tak się złożyło, że w ubiegłym tygodniu na wykładzie statystyki dla studentów III roku socjologii UP wypadło mi omawianie ogólnych właściwości wnioskowania statystycznego. Na najbliższym wykładzie moi studenci poznają również konkretne wzory i ich zastosowanie w badaniach wyborczych. Najważniejszy wzór powinni już zresztą znać, jeśli przeczytali zadany im rozdział 7 („Logika doboru próby”) znanego podręcznika E. Babbiego (Badania społeczne w praktyce, 2003).

Gdy po wyborach wiadome staje się, jaka część wyborców zagłosowała na daną partię – oznaczmy ten ułamek literą p – można wyznaczyć „standardowy błąd” oszacowania p z próby losowej (w tym wylosowanej w badaniu exit poll), mnożąc p przez 1-p, iloczyn dzieląc przez liczebność próby n i na końcu obliczając pierwiastek z ilorazu. Wykonajmy te obliczenia, biorąc 0.24 jako p.

Mamy zatem 1-0.24=0.76, 0.24 razy 0.76 daje 0.1824. Ostatnią liczbę trzeba teraz podzielić przez liczebność próby. Ponieważ informacji o tym nie udało mi się znaleźć w Internecie, założę, że n w badaniu IPSOS było nie mniejsze niż 1050 (w typowych ogólnopolskich badania sondażowych wielkość próby waha się w granicach 1000 do 1100). Podzielenie 0.1824 przez 1050 i wyciągnięcie pierwiastka daje wynik. 0.01318.

Gdy mamy już błąd standardowy, możemy wyznaczyć przedział, w którym z podanym przez badacza prawdopodobieństwem powinny się znaleźć oszacowania znanej już wartości p z prób o danej (lub większej) liczebności.

W badaniach społecznych dopuszcza się prawdopodobieństwo błędu równe 0.05, tzn. zgadzamy się na to, że w 5% prób ocena może się znaleźć poza podanym przedziałem. Jeśli przyjmiemy jeszcze bliższą zera liczbę jako akceptowalne prawdopodobieństwo błędu, przedział ten będzie szerszy. Jego rozmiar zależy od współczynnika (wyznacza się go z pomocą tablic tzw. rozkładu normalnego) zależnego z kolei od prawdopodobieństwa błędu. Końce przedziału otrzymuje się mianowicie, odejmując i dodając do p błąd standardowy pomnożony przez ten współczynnik, równy 1.96 dla prawdopodobieństwa błędu 0.05 (liczbę 1.96 na ogół pamiętają studenci socjologii, którzy mają za sobą kurs statystyki).

W naszym przykładzie zastosujmy jednak prawdopodobieństwo błędu równe 0.001, czyli takie, jakie stosuje się np. w badaniach medycznych, gdzie konsekwencje błędu bywają poważniejsze. Współczynnik odpowiadający 0.001 ma w przybliżeniu wartość 3.3. Mnożąc tę liczbę przez błąd standardowy oszacowania 0.01318 dostajemy liczbę 0.043, czyli 4.3%. Dolny koniec przedziału, wyrażony w procentach, dostaniemy teraz odejmując od 24% liczbę 4,3% , co daje 19.7% . Górny koniec będzie oczywiście równy 28.3%.

Zauważmy, że wynik PSL. równy 17% według IPSOS leży poza przedziałem [19.7, 28.3]. Jak to zinterpretować?

Pierwsze wyjaśnienie dlaczego tak się stało, mówi, że zaszło zdarzenie mało prawdopodobne. Zaszło mimo, że jego prawdopodobieństwo było nie większe niż 0.001 (słownie: „jedna tysięczna”)! Drugie wyjaśnienie polegałoby na zakwestionowaniu prawdomówności osób ankietowanych przez IPSOS. Wtedy jednak należałoby poddać w wątpliwość samą zasadę uznawaną powszechnie w badaniach socjologicznych, która mówi, że respondent kłamie tylko wtedy, gdy obawia się skutków powiedzenia prawdy. Ten efekt może wystąpić w wywiadzie (np. respondent może nie przyznać się ankieterowi, że głosował na partię, której czarny obraz budowany jest w mediach), ale nie w exit poll. Trzecie wyjaśnienie, które też należy odrzucić, to oskarżenie firmy, która wykonała badania o sfałszowanie wyników (jaki miałaby w tym interes i jaki interes miałyby media zamawiające badanie). Do rozważenia pozostały jeszcze dwa wyjaśnienia, czwarte i piąte. Czwarte mówi, że sposób doboru próby losowej miał jakiś defekt, przez co próba okazała sie niereprezentatywna. Przed tym zarzutem IPSOS będzie się bronić, powołując się na wcześniejsze badania. Piąte i ostatnie wyjaśnienie, które musimy przyjąć, jeśli odrzucimy pierwsze (czysty przypadek) i czwarte (wina firmy), to uznanie wyników podanych przez PKW za niewiarygodne. Za tym właśnie wyjaśnieniem przemawia sposób działania PKW, długie czekanie na wyniki, wreszcie dymisje. Obrona PKW przez rząd i inne instytucje władzy państwowej jest zatem działaniem na własną szkodę.

Działy mechaniki zajmujące się badaniem zdarzeń (takich jak wybuchy, zderzenia ciał, upadki z wysokości, itp.) mających dramatyczne skutki znane są stosunkowo wąskiemu kręgowi specjalistów. Gdy pojawiają się sprzeczne wyjaśnienia danej katastrofy, obywatel, nie mający stosownej wiedzy, chce czy nie chce, musi zaufać jednej lub drugiej stronie, komisji rządowej lub niezależnym ekspertom. W przypadku, który przeanalizowałem wyżej, sytuacja jest inna. Statystyka jest dyscypliną wykładaną na wielu kierunkach studiów, krąg osób, które zrozumieją moje wywody jest szerszy. Chciałbym, by był jeszcze szerszy. Mając w pamięci obowiązek, wskazany w przysiędze doktorskiej zabiegania o to quo magis veritas propagetur, proszę o opublikowanie mojego listu (z imieniem i nazwiskiem) przez „Dziennik Polski”, gazetę codzienną, której od lat jestem wiernym czytelnikiem. „Aby bardziej krzewiła się prawda”, tekst ten wysyłam także do socjologów (kolegów z pracy i innych), do Polskiego Tow. Socjologicznego, a także do kolegi, z którym w pamiętnym roku 1968 rozpocząłem studia socjologiczne w UJ, on to bowiem, gdy dowiedział się, że zostałem niedawno mianowany kierownikiem Katedry Metodologii Badań Społecznych w IFiS UP, wywołał mnie do głosu, zgłaszając swoje wątpliwości co do rzetelności ostatnich wyborów.

Z poważaniem,
Dr hab. Tadeusz Sozański
Instytut Filozofii i Socjologii UP w Krakowie

Postscriptum dopisane 27 listopada 2014 r. z przeznaczeniem na stronę „Kraków Niezależny”

List do redakcji „Dziennika Polskiego” wysłałem z kopią do socjologów z mojej uczelni oraz kilku spoza niej. Jeden z nich posłał mi link:

http://www.press.pl/newsy/telewizja/pokaz/47182.Ipsos_-wynik-badania-exit-poll-dla-telewizji-nie-uwzglednial-bledow-wyborcow

do tekstu, zawierającego cząstkowe informacje o sposobie doboru próby przez IPSOS. Otóż w badaniu tym zastosowano schemat dwustopniowy: wylosowano najpierw prawie 900 obwodowych komisji wyborczych, a następnie do każdej z nich wysłano współpracownika firmy z zadaniem uzyskania odpowiedzi od 100 dobranych przypadkowo osób (szczegółów nie znam, przypuszczam, że proszono o udział w badaniu co któregoś wyborcę wychodzącego z lokalu). Osoby te dostawały do wypełnienia kwestionariusz, zawierający m.in. pytanie, na którą partię respondent głosował w wyborach do sejmiku. Wiadomo, że w schemacie dwustopniowym błąd statystyczny z reguły jest większy niż przy doborze indywidualnym tak samo licznej próby. To tłumaczy fakt, że w profesjonalnie przeprowadzonym badaniu exit poll wyniki minimalnie, bo minimalnie, ale odbiegają od rzeczywistych, pokrywających się z oficjalnymi, jeśli wybory zostały przeprowadzone uczciwie, Duża liczebność próby (kilkadziesiąt tysięcy) pozwala jednak skompensować efekt sampling design.

Oczywiście możliwe są jeszcze inne źródła błędu. Jak w każdym badaniu socjologicznym, osoba proszona o udział w exit poll mogła odmówić, co mogło mieć wpływ na reprezentatywność próby. Dobry wynik PiS w badaniu exit poll potwierdza hipotezę, że sympatykom tej partii nie przeszkadzało to, że badanie realizował ośrodek pracujący na zlecenie mediów „głównego nurtu”. Jak się wydaje, efekt braku zaufania do instytucji prowadzącej badania nie wystąpił tu na większą skalę. Jednak fakt, że PiS z reguły osiąga najsłabsze poparcie w badaniach CBOS skłonny byłbym tłumaczyć wysoką częstością odmawiania udziału w badaniu przez sympatyków tej partii wynikającą z ich braku zaufania do „sondażowni” pracującej dla rządu. IPSOS nie musiał być tak postrzegany. Słyszałem w mediach wypowiedź przedstawiciela tej firmy, który narzekał na trudności z realizacją badania: otóż zdarzało się, że komisje wymuszały na osobach zatrudnionych przez firmę zakładanie „pod chmurką” stanowiska do badania zamiast na korytarzu pod dachem w pobliżu wyjścia z lokalu. W sumie sądzę, że odmowy nie stanowiły poważnego źródła zniekształcenia wyników exit poll w porównaniu z faktycznym rozkładem poparcia dla partii.

Pozostaje jednak zbadanie, jaki wpływ na wynik exit poll mogła mieć wysoka częstość głosów nominalnie nieważnych (tzn. faktycznie nieważnych lub „unieważnionych” już po wyjęciu z urny przez dopisanie krzyżyka przez któregoś z członków komisji). Jak mogły się zachować takie osoby w badaniu exit poll? Nie było ich tak mało w próbie liczącej ponad 80 tysięcy respondentów, bowiem jeśli próba została pobrana właściwie przez IPSOS, to powinna być reprezentatywna także ze względu na tę własność. Wyborcy, których faktycznie ważny głos został unieważniony, najprawdopodobniej zagłosowali powtórnie tak samo. Jak zagłosowali ci, którzy oddali głosy faktycznie nieważne? Ta kategoria wyborców składa się z dwu podkategorii: tych, którzy wstawili krzyżyk na dwóch stronach „książeczki” przez pomyłkę wynikającą z niezrozumienia instrukcji, oraz tych, którzy nie wstawili nigdzie krzyżyka przez przeoczenie lub by zaprotestować przeciw utrzymywaniu uznanej za niepotrzebną miniaturki sejmu w regionie. Ci ostatni w exit poll mogli się zachować podobnie, pozostawiając odpowiednie pytanie bez odpowiedzi, ale mogli też uznać, że skoro jest okazja, by dać wyraz swoim preferencjom partyjnym w akcie nie mającym znaczenia prawnego, to dlaczego by tego nie uczynić. Z kolei tym, którzy oddali głosy faktycznie nieważne, exit poll dał szansę naprawić swój błąd. Jeśli uznać, że słabiej wykształcony elektorat PiS mylił się częściej, to mogło to spowodować nadreprezentację tej partii w próbie w porównaniu z wynikiem podanym przez PKW, o ile uznać ten wynik za rzetelny. Nie ma jednak pewności, że elektorat PiS jest rzeczywiście mniej rozgarnięty jak sądzą przeciwnicy tej partii. A co z elektoratem PSL? Ta partia ma chyba jakichś wyborców wiejskich po podstawówce, którzy też mogli się mylić, więc nie powinni być niedoreprezentowani w próbie, a są.

Kolega-socjolog, który podjął ze mną dyskusję po zapoznaniu się z moim listem do „Dziennika Polskiego” zwrócił mi uwagę także na możliwość zastosowania przez IPSOS jakiegoś matematycznego modelu służącego do generowania prognoz zachowań wyborczych na podstawie badań sondażowych preferencji wyborczych. Gdyby tak było, liczba 17% podana jako wynik PSL nie oznaczałaby po prostu, że taki procent wyborców, zapytanych na jaką partię głosowali, podał PSL, tylko byłaby wynikiem obliczeń z pewnych pierwotnych danych odczytanych z wypełnionych kwestionariuszy. Jak mi napisał ów kolega, w takim modelu wyniki są „są korygowane ze względu na znane dotychczasowe skrzywienia wyników” i dodał, z czym się zgadzam, „w przypadku exit polls takie modelowanie nie ma uzasadnienia, ale może akurat IPSOS coś tam próbował jednak modelować i ktoś po drodze popełnił kompromitujący błąd. W każdym razie, jeśli wszystko było przeprowadzone lege artis, IPSOS dla ochrony swojej reputacji powinien ujawnić dokładną procedurę.”

Jest to rzeczywiście niezbędne, by socjologowie mogli podjąć badanie sine ira et studio wyników tegorocznych wyborów. W pierwszym rzędzie byłoby pożądane udostępnienie socjologom listy obwodowych komisji wyborczych objętych badaniem exit poll wraz z wynikami tego badania na tym poziomie analizy, które to wyniki można by porównać z wynikami oficjalnymi na tymże poziomie, by zidentyfikować następnie tego obwody, w których zaobserwowano statystycznie istotną różnicę między jednymi i drugim wynikami. W takich obwodach ciekawe byłoby poznanie źródeł pierwotnych, czyli owych książeczek wypełnionych przez wyborców. Do tego jednak nie dopuszczą prawnicy zgodnie z daleko już posuniętą tendencją obniżania rangi kategorii „prawda materialna” w teorii i praktyce stosowania prawa.

Cieszyłbym się, gdyby dyskusja na temat ostatnich wyborów mogła się toczyć w ramach „pierwszego obiegu”, ale skoro nie jest to możliwe po 25 latach od 4 czerwca 1989, dziękuję Koledze Mirkowi Borucie za umieszczenie mojej wypowiedzi na jego „drugoobiegowej” stronie internetowej.

Tadeusz Sozański