Jak działają badania opinii publicznej
Zrozumienie mechanizmów stojących za badaniami pozwala na bardziej świadome odbieranie informacji w przestrzeni medialnej. Pomiary nastrojów to nie tylko zbiór przypadkowych liczb układających się w kolorowe słupki. To skomplikowany proces oparty na prawach statystyki wyższej, rygorystycznej metodologii i psychologii.
Dlaczego w ogóle badamy nastroje?
Sondaże często kojarzą się wyłącznie z polityką i wyborami. W rzeczywistości to zaledwie ułamek całej branży analitycznej. Pomiary opinii są fundamentem nowoczesnego zarządzania państwem i biznesem. Pomagają firmom zrozumieć potrzeby klientów przed wypuszczeniem nowego produktu na rynek. Samorządom pozwalają zaplanować miejskie inwestycje – na przykład czy mieszkańcy wolą nowy park, czy dodatkowy parking. Z kolei organizacjom charytatywnym pomagają zdiagnozować realne problemy społeczne. Bez badań poruszalibyśmy się w ciemności, opierając decyzje wyłącznie na własnych przeczuciach lub głośnych komentarzach w internecie.
Sondaż to nie spis powszechny – kulinarna analogia
Bardzo często spotykamy się z zarzutem: "Mnie nikt nigdy nie zapytał, więc te badania to oszustwo". To odczucie wynika z braku zrozumienia różnicy między sondażem a spisem powszechnym. Spis powszechny ma na celu przepytanie dosłownie każdego obywatela. Jest to proces astronomicznie drogi, trwa wiele miesięcy, a w momencie jego ostatecznej publikacji zebrane wyniki są już często nieaktualne. Sondaż rozwiązuje ten problem.
Aby to obrazowo wyjaśnić, warto posłużyć się analogią. Kiedy kucharz chce sprawdzić, czy zupa w ogromnym kotle jest odpowiednio słona, nie musi wypijać jej w całości. Wystarczy, że rzetelnie wymiesza zawartość, a następnie spróbuje jedną małą łyżkę. Ta jedna łyżka – pod warunkiem perfekcyjnego wymieszania – idealnie oddaje smak całego dania. Na tej samej udowodnionej matematycznie zasadzie opierają się pomiary społeczne. Nie musimy pytać wszystkich obywateli, wystarczy wyselekcjonowana, reprezentatywna grupa około tysiąca osób.
Próba badawcza
~1000
Optymalna wielkość grupy respondentów w pomiarach o zasięgu krajowym. Gwarantuje bardzo dobrą precyzję i pozwala na błyskawiczne zebranie danych przy zachowaniu racjonalnych kosztów operacyjnych projektu.
Margines błędu
± 3%
Naturalne odchylenie statystyczne wynikające z badania tylko części populacji. Wynik wskazujący równe 40% poparcia oznacza w rzeczywistości naukowy przedział pomiędzy 37% a 43%.
Zasada główna
Losowość
Bezwzględny warunek sukcesu. Każdy dorosły obywatel musi mieć teoretycznie równą szansę na wylosowanie do udziału. Chroni to wynik przed sztucznym zniekształceniem przez wyjątkowo aktywną mniejszość.
Ważenie danych – jak analitycy naprawiają niedoskonałości terenu
W idealnym świecie maszyna losująca wybiera dokładnie tysiąc osób, które stanowią perfekcyjną w każdym detalu miniaturę całego społeczeństwa. W prawdziwym życiu z ludźmi taka sytuacja po prostu nie występuje. Zebrane "surowe dane" zawsze wymagają zaawansowanej obróbki i kalibracji.
Dlaczego zebrane próby bywają "krzywe"?
W skomplikowanym procesie gromadzenia ankiet zawsze pojawiają się naturalne luki demograficzne. Bardzo często chęć wzięcia udziału w badaniu wyraża nieproporcjonalnie wielu emerytów zamieszkujących duże miasta, ponieważ dysponują oni większą ilością wolnego czasu na rozmowę. Jednocześnie notorycznie brakuje odpowiedzi od młodych, pracujących na pełny etat mieszkańców mniejszych miejscowości.
Oparcie ostatecznych wyników i raportów analitycznych wyłącznie na takich surowych, niezbalansowanych danych z terenu doprowadziłoby do drastycznie błędnych wniosków. Faworyzowałyby one punkt widzenia tych konkretnych grup, które po prostu chętniej odbierają telefony i rozmawiają z badaczami.
Proces korekty, czyli nadawanie wag
Aby naprawić te oczywiste zniekształcenia, stosuje się naukowy algorytm ważenia. Opiera się on o twarde dane pochodzące z Głównego Urzędu Statystycznego (płeć, wiek, wykształcenie, wielkość miejsca zamieszkania). Analityk w specjalnym programie nadaje różną siłę pojedynczym głosom.
Zagrożenia związane z ekstremalnym ważeniem
Ważenie jest absolutnie niezbędne, ale w skrajnych przypadkach bywa niebezpieczne. Jeśli na tysiąc badanych osób zrekrutowano zaledwie trzech kierowców zawodowych, choć z proporcji wynika, że powinno ich być czterdziestu, system będzie musiał nadać tej trójce gigantyczną siłę głosu.
Wtedy poglądy zaledwie trzech konkretnych ludzi zostaną sztucznie i niebezpiecznie rozciągnięte na całą warstwę społeczną w finalnym raporcie. Dlatego najlepsze i najbardziej rzetelne pracownie pilnują procesu rekrutacji w trakcie jego trwania. Zatrzaskują one system dla grup, których jest już za dużo, aby wagi korekcyjne na samym końcu były jak najmniejsze – optymalnie zbliżone do naturalnej wartości równej jeden.
Psychologia a liczby – co buduje i niszczy zaufanie
Poziom wiarygodności, jaką zwykli obywatele obdarzają instytuty analityczne, ulega silnym wahaniom. Na nasze postrzeganie suchych statystyk wpływają emocje i mechanizmy obronne. Im bardziej spolaryzowane i podzielone staje się społeczeństwo, tym silniejsza jest naturalna, ludzka tendencja do odrzucania jako z góry założonej "manipulacji" każdego wyniku, który nie pasuje do naszej własnej, ułożonej wizji świata.
Trend poziomu deklarowanego zaufania społecznego do pomiarów opinii
Zjawisko spirali milczenia
Mechanizm, w którym obywatele w obawie przed szerokim ostracyzmem powstrzymują się od wyrażania prawdziwych opinii, gdy czują na podstawie przekazu medialnego, że są w mniejszości. Respondent woli skłamać ankieterowi z wygody. Efekt ten drastycznie i sztucznie zaniża poparcie dla opcji kontrowersyjnych lub niepopularnych w wielkich mediach.
Efekt ankietera (konfabulacje)
Bezpośredni wywiad na żywo prowokuje u każdego z nas chęć "wybielania się". Chcemy wypaść na ludzi zaangażowanych. Dlatego w ankietach telefonicznych niemal zawsze zawyżamy naszą wiedzę ekonomiczną, częstotliwość bycia wolontariuszem i dbania o recykling. Ludzie zwyczajnie wstydzą się przyznać obcemu ankieterowi do lenistwa.
Efekt podczepienia się
Sama szeroka publikacja w prasie wysokiego wyniku danego podmiotu potrafi realnie wpływać na postawy innych. Część wciąż niezdecydowanych obywateli naturalnie i podświadomie poprze tę ideę, która aktualnie silnie wygrywa w rankingach. Po prostu jako ludzie mamy wykształcony instynkt stawania po stronie silnych zwycięzców w grupie.
Agregacja danych, czyli dlaczego średnia jest lepsza
Pojedynczy wynik, nawet najlepiej przeprowadzonego badania, zawsze obarczony jest marginesem błędu. Publikowanie go jako ostatecznej, jedynej prawdy bywa zgubne dla zaufania, zwłaszcza gdy chwilę później inna pracownia pokaże wynik różniący się o kilka procent. Wynika to z faktu, że każda agencja używa nieco innych metod docierania do ludzi i innych wag matematycznych.
Rozwiązaniem, które stosują analitycy giełdowi i zaawansowani badacze społeczni, jest agregacja. Polega ona na wyciąganiu średniej z wielu różnych badań publikowanych przez różne ośrodki w podobnym czasie. Średnia z pięciu pomiarów skutecznie spłaszcza skrajne błędy i anomalia pojedynczych ankiet, pokazując najczystszy i najbardziej wiarygodny trend nastrojów.
Kanały badawcze – różnorodne metody docierania do ludzi
Klasyczne chodzenie pracownika z naręczem papierowych kwestionariuszy od drzwi do drzwi całkowicie przeszło do historii komercyjnego rynku. Zrozumienie współczesnych cyfrowych metod zbierania opinii pomaga w lekturze zawiłych raportów prasowych.
Struktura współczesnych metod zbierania danych z rynku
📱 Ankiety internetowe (CAWI)
Ponad połowę tych ankiet wypełnia się dziś swobodnie na ekranach smartfonów. System ten zapewnia badanemu absolutną intymność fizyczną i doskonałą szczerość w tematach kontrowersyjnych. Panele te są najtańsze w szybkiej obsłudze. Metoda ma jednak zasadniczą wadę: całkowicie i systemowo pomija wykluczonych cyfrowo seniorów oraz najbiedniejszych obywateli.
📞 Rozmowy telefoniczne (CATI)
Ustrukturyzowane wywiady z żywym ankieterem pracującym w studiu. Maszyny losują i łączą numery o różnych porach. Metoda ta skutecznie pozwala sprawnie dopytać o niejasności i realizować projekty z dnia na dzień. Cierpi jednak potężnie z powodu powszechnego korzystania z aplikacji blokujących automatycznie nieznane numery jako spam na telefonach młodych ludzi.
🚪 Spotkania osobiste (CAPI)
Najstarsza, najbardziej wyczerpująca metoda twarzą w twarz w salonie respondenta. Pozwala na prezentowanie kolorowych ulotek czy spotów wideo. Ze względu na gigantyczne wręcz koszty logistyczne i paliwowe oraz ogromną nieufność ludzi przed wpuszczaniem obcych, technika ta została wyparta niemal wyłącznie do długotrwałych projektów czysto akademickich.
Nowy złoty standard: Metodologia Mieszana (Mixed-Mode)
Aby zminimalizować ogromne wady każdego z pojedynczych kanałów komunikacji, profesjonalne instytuty na całym świecie stosują dziś w badaniach powszechnych zaawansowaną fuzję metodologiczną.
W codziennej praktyce oznacza to, że przeważająca część badanej tysięcznej grupy przepytywana jest szybko i tanio w oparciu o wygodne formularze online (metoda CAWI). Z kolei brakująca i trudna część reprezentacji – obejmująca głównie osoby najstarsze lub na co dzień niekorzystające sprawnie ze smartfonów i komputerów – rekrutowana jest i precyzyjnie dopytywana tradycyjną drogą telefoniczną (metoda CATI). Taki zintegrowany model to obecnie najlepszy i najbardziej stabilny analitycznie kompromis.
Ilość vs Jakość – dwa oblicza pomiarów
Wszelkie procenty, słupki poparcia i wielotysięczne wykresy, które oglądamy w internecie, to wyniki badań ilościowych. Odpowiadają one na ważne, ale dość powierzchowne pytanie: "ilu dokładnie ludzi deklaruje dany pogląd?".
Jednak żeby naprawdę dogłębnie zrozumieć powody, dla których społeczeństwo zmienia zdanie, analitycy muszą stosować znacznie dyskretniejsze badania jakościowe. Najbardziej znaną formą w tej grupie są zogniskowane wywiady grupowe (tzw. grupy fokusowe). To spotkania, na których moderator, często wykwalifikowany psycholog, rozmawia przez dwie godziny w małej sali zaledwie z kilkoma wybranymi osobami. Nie ma tam żadnych ankiet, procentów i reprezentatywności demograficznej dla całego kraju. Jest za to żywa dyskusja, która genialnie i w prosty sposób odpowiada na kluczowe pytanie zza kulis: "dlaczego ci konkretni ludzie czują ten strach i co w ich życiu na niego wpłynęło?". Dobre kampanie i raporty rodzą się dopiero ze zderzenia tych dwóch światów: suchych liczb i ukrytych w wypowiedziach emocji.
Sztuka pytań – jak jedno słowo potrafi ukształtować wynik
Skonstruowanie idealnie obiektywnego i w stu procentach neutralnego kwestionariusza to najtrudniejsze intelektualnie zadanie każdego metodologa. Sposób ułożenia zdań, kolejność podawanych odpowiedzi na ekranie, a nawet użycie jednego z pozoru niefortunnego wyrazu z ukrytym znaczeniem – to wszystko może całkowicie zmienić sposób myślenia badanego w ciągu kilku sekund trwania wywiadu.
Efekt torowania myślenia (Priming)
Twój mózg buduje bieżące oceny wyłącznie na bazie kontekstu, który właśnie przetwarzał chwilę wcześniej. Konkretne i ukierunkowane pytania zadane na samym początku ankiety "torują" nastrój i determinują decyzje do kolejnych rozważań.
Ukryty, destrukcyjny ładunek emocjonalny
Użycie pospolitych synonimów wydaje się laikowi zupełnie niegroźne, ale w języku polskim bardzo wiele wyrazów posiada głęboko zakorzenione historycznie skojarzenia. Mogą one włączać u badanego automatyczny tryb aprobaty lub silnej obrony.
Otwarte czy zamknięte? Odwieczny dylemat projektanta ankiet
Aby uzyskać informację zwrotną, pracownie korzystają z dwóch rodzajów architektury zadawania pytań. Najbardziej popularne, pytania zamknięte, polegają na zaprezentowaniu respondentowi gotowej listy opcji (kafeterii) w formacie wielokrotnego lub jednokrotnego wyboru. Ta metoda gigantycznie ułatwia i drastycznie przyspiesza późniejszą pracę analityków, sprowadzając cały proces do prostego przeliczenia kliknięć. Niestety, ułożenie zbyt wąskiej listy opcji bywa pułapką, ponieważ siłą zmusza respondenta do wyboru stanowiska, którego wcale nie w pełni popiera, wtłaczając go w sztuczne ramy myślowe badacza.
Z drugiej strony mamy bardzo wartościowe pytania otwarte, w których po przeczytaniu tematu zostawiamy wielkie puste pole tekstowe. Wtedy to sam badany na klawiaturze wylewa swobodnie swoje przemyślenia. Ta opcja daje niesamowitą szczerość, ogromną wnikliwość i często pozwala badaczom odkryć tematy, o których na początku projektowania badania w ogóle nie pomyśleli. Problem? Wyobraź sobie katorżniczą pracę zespołu koderów, który musi przeczytać, zinterpretować i rzetelnie pogrupować dziesięć tysięcy unikalnych, różnej długości wypowiedzi tekstowych, często z błędami ortograficznymi, w spójny i czytelny raport na jutro. Z tego powodu pytania otwarte są na rynku luksusem i używa się ich w komercji bardzo oszczędnie.
Ciemna strona analityki – z czym walczy nowoczesna branża
Sektor zbierania danych na żywo boryka się dzisiaj z gigantycznymi przeszkodami organizacyjnymi i patologiami, o których kiedyś w ogóle nie śniono. Trwała zmiana nawyków komunikacyjnych ludzi, powszechność technologii blokujących i niezwykła zwinność oszustów w internecie zmuszają całą branżę do potężnych, ciągłych inwestycji w weryfikację i bezpieczeństwo.
Ocena skali narastających uciążliwości wskazywanych przez metodyków
Plaga masowych odmów i obrona przed telefonami
Statystycznie i obiektywnie największym operacyjnym wyzwaniem badawczym w terenie jest pikujący brutalnie w dół każdego miesiąca wskaźnik skutecznej realizacji (odsetek response rate). Nasze społeczeństwo, od wielu lat bezkarnie wręcz terroryzowane przez agresywny, sprzedażowy telemarketing garnków czy paneli fotowoltaicznych, niemal z bezwarunkowego automatu odrzuca wszystkie próby dzwonienia z puli obcych lub ukrytych numerów. Żeby sfinalizować telefoniczne badanie o wielkości zaledwie tysiąca osób, oprogramowanie stacji bazowych musi wykonać niekiedy aż kilkadziesiąt tysięcy "pustych", odrzucanych w sekundę połączeń. Posiłkuje to fundamentalne, niezwykle groźne z punktu widzenia matematyki pytanie: czy zdeterminowane osoby, które jako jedyne na sto ostatecznie zgadzają się rozmawiać przez dwadzieścia minut za darmo z ankieterem, nie są przypadkiem w jakiś sposób bardzo nietypowe i różne ideologicznie od tej całej wielkiej, poirytowanej i nieuchwytnej milczącej większości?
Zawodowi "klikacze", fałszywe profile i farmy botów
Działające całą dobę panele internetowe rekrutują uczestników oferując w zamian za poświęcony ankietom czas bardzo pożądane drobne nagrody rzeczowe, kupony zniżkowe na zakupy czy przeliczalne na ułamki walut punkty lojalnościowe. Niestety, w skali makro stworzyło to patologiczne wręcz zjawisko "zawodowych" respondentów, którzy dla comiesięcznego, niewielkiego ale regularnego zysku masowo, bez jakiegokolwiek czytania długich pytań zaznaczają środkowe odpowiedzi w formularzu, łamiąc sens analizy jakościowej. Co jeszcze gorsze, niesamowity postęp powszechnej automatyzacji informatycznej potężnie ułatwił tanie tworzenie wyspecjalizowanych w oszustwach tzw. farm botów. Narzędzia te bezbłędnie naśladują typowe ludzkie ruchy myszką po ekranie i dynamikę czytania tekstu po to tylko, by na masową skalę wyłudzać nagrody z wielu tysięcy fałszywych kont adresowych. Bezustanne utrzymywanie szczelnej higieny bazy danych paneli (tak zwany rygorystyczny proces data cleaning) to dziś prawdziwe serce kosztów każdej szanującej jakość agencji.
Iluzoryczne modelowanie faktycznej, fizycznej frekwencji
Bezpośrednie zadanie i uzyskanie łatwej odpowiedzi o ideologiczną sympatię czy antypatię jest zadaniem stosunkowo łatwym operacyjnie. Prawdziwym "Świętym Graalem", o który od dekad walczą wybitni statystycy we wszystkich ośrodkach analitycznych na kuli ziemskiej, jest opracowanie w pełni niezawodnego modelu prawdopodobieństwa, który precyzyjnie przewidzi w tabeli, kto spośród bardzo pewnych siebie i chętnych werbalnie uczestników autentycznie i fizycznie wyjdzie w niedzielny poranek z ciepłego domu i weźmie aktywny udział w konkretnym, badanym wcześniej zdarzeniu lub manifestacji obywatelskiej. Deszcz, choroba, nagła impreza znajomych uważa się, że niszczą niejedno solidne badanie z wczoraj.
Zdrowy rozsądek i odporność – jak mądrze czytać doniesienia mediów
Przerażający dla rzetelnej nauki szum informacyjny sprawia, że co wieczór w internecie zasypywani jesteśmy całkowicie nowymi, na przemian szokującymi statystykami. Umiejętność bardzo chłodnego filtrowania, odrzucania i sprawdzania tych krzykliwych rewelacji liczbowych stanowi dzisiaj, w epoce szybkich emocji, podstawowy element obywatelskiej samoobrony intelektualnej.
Prześwietl wykonawcę i sprawdź konto zleceniodawcy
Sprawdź natychmiast jawną nazwę wykonawcy ankiety terenowej. Czy należy od wielu lat do międzynarodowych i krajowych zrzeszeń rygorystycznie nadzorujących niezależną metodykę pracy rynkowej? Niezwykle cenne dla analizy jest również obiektywne zbadanie, kto finansowo zapłacił za obsługę zlecenia. Znakomita agencja często bardzo rzetelnie realizuje gigantyczne badanie, lecz w umowie znajduje się punkt, iż autorytarna decyzja o pokazaniu opinii publicznej zaledwie dziesięciu procent najbardziej przychylnych fragmentów należy wyłącznie do hojnego inwestora, dbającego ściśle o swój własny medialny wizerunek w bieżącym tygodniu.
Zbadaj w stopce błąd wyciągania części z całości (Cząstkowe N)
Każdy bystry czytelnik wie z doświadczenia, by nerwowo szukać w dole grafiki zapisanej informacji o wielkości całkowitej, tak zwanej literki N (na przykład na poziomie tysiąca osób pełnoletnich). Niestety, nagminnie dziennikarze, szukając klikalnej sensacji, wyciągają potężne tytuły prasowe z malutkich ułamków grupy głównej. Mając w bazie ogólnej owy wyjściowy tysiąc ankiet, ilu realnie w tej zebranej w terenie grupie mogło w ogóle znaleźć się "ojców samotnie wychowujących dwoje dzieci, mieszkających blisko granicy we wsi i prowadzących duży biznes"? Z czystego rachunku prawdopodobieństwa – może dwunastu. Wyciąganie na bazie dwunastu ankiet kategorycznych tez i nagłówków na całą stronę jest skandalicznym oszustwem analitycznym, obarczonym błędem statystycznym idącym w kilkadziesiąt procent w obie strony.
Rozpoznaj i odrzuć jaskrawą iluzję sond internetowych
Miej zawsze chłodną głowę i pamiętaj z naciskiem: wszelkie klikane, obrazkowe sondy swobodnie organizowane przez administratorów na bardzo poczytnych, niszowych portalach (gdzie użytkownik jest wprost proszony "Zgłosuj i sprawdź wyniki") – to jedynie mechanizm taniej rozrywki służący do budowy odsłon ekranowych. Bez żadnego znaczenia pozostaje tu skala zjawiska. Nawet jeśli w głosowaniu anonimowo uczestniczyło dwieście tysięcy osób wysoce zmotywowanych przez udostępnienia w bańce w której żyją, to bez fundamentalnego filaru, jakim jest nienaruszalna, wymuszona losowość doboru uczestnika przez serwer niezależny, uzyskane wyniki te nadają się wyłącznie do natychmiastowego zignorowania przez prawdziwą naukę, będąc kompletnie bezużytecznymi poza owym forum.
Szukaj oryginalnego tonu odczytanego pytania (Zasada zerojedynkowa)
Zanim pochłonięty niesamowitymi doniesieniami udostępnisz wpis dalej w swoim sieciowym profilu – upewnij się u wiarygodnego, bezpośredniego źródła agencji, jak literalnie co do słowa brzmiało przeczytane ze skryptu w słuchawce zdanie do pytanego rodaka. Analiza pytania to kluczowy bezpiecznik przed manipulacją świadomością. Zadaj sobie pytanie z dziedziny logiki podstawowej: czy przeczytany fragment dawał ankietowanemu wolność swobodnej wypowiedzi lub tak zwaną uczciwą opcję ratunkową na dylemat pod postacią "naprawdę absolutnie trudno powiedzieć mi w tym złożonym momencie co o tym sądzić", czy z całkowitą i perfidną premedytacją autora tekstu był on bez wyboru zmuszany pod silną presją otoczenia społecznego jedynie do ekstremalnego zaznaczania opcji czarnej albo białej?
Pamiętaj o dacie ważności! Zdjęcie to nie prognoza.
To bardzo powszechna i niezwykle uciążliwa w skutkach wpadka medialna. Zwykły, poprawnie metodologicznie zbudowany sondaż nie jest absolutnie żadną magiczną szklaną kulą analityków, spoglądającą głęboko w naszą mglistą przyszłość na nadchodzący kwartał. Stanowi on zawsze jedynie matematyczną ocenę lub "płaskie, jednowymiarowe zdjęcie w wysokiej rozdzielczości" – bardzo dokładny zapis nastrojów grupowych, dokładnie na moment, w którym go formalnie zatrzymano na serwerze i sfotografowano w terenie. Jeśli w okresie dzielącym zebranie wywiadów a głośną publikację w porannej prasie wydarzyła się publicznie jakakolwiek szokująca usterka reputacyjna, zjawisko kryzysowe w sektorze lub dramatyczny wypadek na głównej scenie, badane z niebywałym wysiłkiem uprzednio emocje nieodwracalnie dezaktualizują się dla naukowców w niespełna jeden pełen, aktywny medialnie dzień.