Odchylky se vymykají i běžné chybovosti, již představuje výběrová statistická chyba, komentují experti rozdíly ve volebních modelech, které výzkumné agentury Kantar CZ a Median představily v posledních týdnech. V nich se výsledky zejména v případě hnutí ANO a ODS zásadně lišily. Zatímco podle posledního volebního modelu agentury Kantar CZ podporuje hnutí ANO 26,5 procenta občanů a ODS 21,5 procenta, Median tvrdí, že ANO má podporu celých 31,5 procenta voličů a ODS, která stojí na druhém místě, pouhých 13 procent. Sami politologové, které oslovil deník FORUM 24, nemají jednoznačnou odpověď, kterou by uměli tak zásadní rozdíly vysvětlit.
Podle nich se předvolební průzkumy liší přirozeně na základě několika faktorů. Není to problém. Jde o termín a způsob sběru dat, metodiku a statistickou výběrovou chybu. V rámci metodiky se jedná například o velikost vzorku, to znamená počet respondentů, nebo vážení odpovědí. Výzkumné měření agentur Kantar CZ a Median a jejich metodologie byly podle nich velmi obdobné.
Která z agentur ve svém říjnovém modelu pochybila, ukáže čas. „Pokud se Kantar příští měsíc vrátí u ODS k dřívějším hodnotám, tak bude namístě se ptát, zda nebylo něco provedeno nesprávně. Naopak jestliže se ukáže, že podpora ODS skutečně roste a třeba i u více agentur, tak bude muset přezkoumat svůj přístup Median. V tuto chvíli bych si netroufl říct, na kterou stranu se přiklonit,“ okomentoval výsledky sociolog a statistik Jan Herzmann, který se dlouhodobě věnuje volebním průzkumům. Uvedl, že výsledky by měly být racionálně vysvětlitelné děním ve společnosti.
Čas na diskuzi o relevanci průzkumů
Obě agentury se ptaly zhruba tisícovky respondentů. Tento vzorek je podle expertů na odhady nálad lidí statisticky zcela dostačující, přičemž je potřeba brát v potaz statistickou náhodnou chybu, která je v případě takové velikosti vzorku u stran dosahujících kolem 20 až 30 procent zhruba tři procentní body. Pokud se tedy výsledky agentur liší v tomto tříprocentním rozmezí, který je nazýván intervalem spolehlivosti, výsledky jsou vlastně stejné, pouze ovlivněné náhodností výzkumu, která vychází z matematických zákonů, vysvětlil politolog Jakub Lysek. V tomto smyslu je podle něj potřeba společnost více vzdělávat, aby lidé rozdílům ve výzkumech lépe porozuměli. „Je potřeba čtenářům vysvětlit, že i kdyby měly agentury úplně stejnou metodiku, tazatele, čas, jen by náhodně vybraly jiných tisíc lidí, tak se stejně budou lišit zhruba o dvě až tři procenta,“ vysvětlil Lysek.
V říjnových modelech agentur Kantar a Median ovšem vznikl rozdíl převyšující interval spolehlivosti. „Těchto rozměrů by rozdíl neměl dosahovat a já se vážně obávám, že tento případ vlastně poškodí celý obor výzkumu veřejného mínění. Vysílá to rozdílné signály. Zatímco podle Medianu podpora ODS a vlastně koalice SPOLU jako celku klesá a podpora hnutí ANO roste, a to už třetí měsíc v řadě, tak podle Kantaru roste podpora ODS, a tím i SPOLU a klesá podpora ANO. To je opravdu vážné sdělení a vážný konflikt z hlediska sociologie. Obávám se, že to ovlivní důvěryhodnost celého oboru,“ vyjádřil se sociolog Jan Herzmann. S jeho tvrzením souhlasí i další experti. Podle Ladislava Mrklase je asi čas na to, aby proběhla diskuze o relevanci průzkumů a forem, jak se dělají. Podle Jakuba Lyska je důvěra veřejnosti v sociologické průzkumy obecně nízká. „Souvisí to s tím, že lidé obecně nerozumí technice sběru dat, matematickým zákonům, které za tím jsou, a metodologii sociologických šetření,“ řekl.
Drobné odchylky v čase se extrémně přeceňují
Prvním krokem ke zvýšení důvěryhodnosti průzkumů je podle politologů správná prezentace výsledků. Řekli, že je potřeba neustále připomínat skutečnost, že průzkumy nemají prediktivní schopnost, ale zobrazují stav společnosti v okamžiku sběru dat. Větší ambice nemají. Například dvouprocentní měsíční rozdíly jsou podle Jakuba Lyska neinterpretovatelné. Drobné odchylky v čase se podle něj extrémně přeceňují, ačkoliv jsou stále v řádu statistické chyby. „Takové procentuální změny v čase vám udělá pět nebo šest respondentů,“ přiblížil problém s tím, že je do jisté míry taková prezentace rozdílů pochopitelná. „Kdyby řekli, že říjnový průzkum vyšel stejně jako zářijový, tak to asi nikoho nezajímá,“ dodal. Pro správné porozumění a vyhodnocení výsledků volebních šetření je podle expertů vhodné sledovat trendy v dlouhodobém časovém horizontu.
Politologové řekli, že pokud dojde k většímu rozdílu jako v případě říjnového výsledku ODS u Kantaru, bylo by dobré přinejmenším v závěrečné zprávě zohlednit, co se ve společnosti stalo natolik zásadního a co mohlo takový skok způsobit.
Jak se průzkumy liší?
První metodický rozdíl mezi říjnovými průzkumy Kantaru a Medianu je doba sběru dat. Agentura Kantar sbírala od 17. října do 4. listopadu 2022 a agentura Median 1. až 31. října 2022. Podle odborníků můžeme u Kantaru vidět větší dopad některých událostí typu informovanosti o vládních opatřeních v boji s cenami energií nebo blížící se prezidentské volby, u kterých se vyjasnila pozice Andreje Babiše. „Nevidím v realitě žádné věci, které by měly tak výrazným způsobem ovlivnit to, co se zjistí v uvozovkách za polovinu toho období, proti tomu, co se zjistí za celé,“ namítl ovšem Jan Herzmann.
Rozdíl je také ve sběru dat. Kantar sbíral odpovědi od respondentů metodou telefonických rozhovorů se záznamem do počítače (CATI), přičemž telefonní čísla náhodně generuje, a Median způsobem osobního dotazování vyškolenými tazateli s využitím laptopů (CAPI) v kombinaci s dotazováním nezastižitelných skupin online (CAWI).
Politologové vysvětlili, že způsob sběru dat může zapříčinit rozdíl způsobený zastižením dotazovaných ve správném poměru. Každá agentura by si měla pohlídat, aby lidem tazatelé volali v různé časy, a tudíž zastihli všechny potřebné skupiny. Jakub Lysek zdůraznil, že metoda Kantaru není zcela ideální, protože může nadhodnocovat pravicové strany, a to z důvodu vlastnění telefonů. Pak by podle něj mohla být přeceněna ODS. „Pořád je větší pravděpodobnost, že vám odpoví pravicový volič na telefon než levicový volič, ale předpokládám, že s tím počítají a že to převažují,“ dodal. S tím souhlasí i Jan Herzmann. „To by teoreticky mohlo vést k určitým rozdílům, ale osm procentních bodů ODS je opravdu strašně moc a metoda by to neměla ovlivnit,“ zdůraznil rozdíl.
Metodiky výzkumných agentur se zároveň liší ve způsobu pokládání otázek. Kantar používá v první řadě spontánní otázku, zatímco Median podle politologů respondentům prezentuje možnosti odpovědí. Vysvětlili, že v případě spontánních, otevřených otázek může dojít k odchylkám, jelikož jsou na respondenty kladeny jiné nároky, než kdyby vybírali ze seznamu. Musí si vybavit, který subjekt preferují, což většinou nahrává známějším a větším stranám. „Někteří lidé ani nevědí, jak se politické strany jmenují. Skoro 15 procent lidí v tom má zmatek, nezajímá se o politiku a tak dále. Ví se, že voliči často netuší, v jakých koalicích strany kandidují. Mohou se sejít opravdu rozdílné odpovědi, a rozdíl mohl vzniknout tedy i započítáváním koalic,“ řekl Lysek, který se sám kloní k variantě, kdy se respondentům předloží karty s možnými odpověďmi. „Simuluje to reálné volby, kde si vybíráte z volebních lístků,“ dodal.
Další faktor, který se u modelů řeší, je vážení hlasů. „To znamená zkušenost s vytvářením modelů z historie, kdy se ukazovaly trendy typu, že se lidé tolik ke své volbě nehlásili a vycházela vyšší volební účast, než pak reálně byla,“ vysvětlil Ladislav Mrklas. Nad tím se pozastavil i Jakub Lysek. Překážkou je podle politologa to, že respondenti ne vždy mluví pravdu. „Deklarovaná volební účast je strašně vysoká. Taková tu byla po roce 89 v prvních, druhých volbách, takže z toho plyne, že ne všichni, kteří odpověděli, že půjdou k volbám půjdou, skutečně dorazí,“ vysvětlil s tím, že sám není přesvědčený o jedné univerzální metodě, která by vždy fungovala. Takže si předvolební průzkumy podle rozdílných metodologií porovnává a zjišťuje dlouhodobý trend.