Seçim Anketlerinin Doğruluk Payı

Bu yazı Efe Kerem Sözeri tarafından sitemiz için hazırlanmıştır;

Seçim sonucuyla anketler arasındaki farkları ölçmek, araştırma şirketlerinin hata paylarını ortaya çıkartıyor ama hataların kaynağında araştırma yöntemleri değil, çıkar ilişkileri var.

Seçimden sonra anketlerin başarısı hakkında yayımlanan haberlerde hangi şirketin sonuca en yakın olduğu konusunda bir uzlaşı yoktu, çünkü anketleri değerlendirebileceğimiz kriterler net olarak bilinmiyor.

“Hangi anket şirketi en yakın tahmini yaptı?” gibi başlıklarla verilen çoğu haberin içinde bu soruya bir cevap verilememiş olması, değerlendirme kriterlerinin bilinmemesinden ve anketlerin doğru yöntemlerle sistemli bir şekilde incelenmemesinden kaynaklanıyor (örnekler için bkz. T24, Vatan, Akşam ve Sözcü).

Şirketlerin başarısını ölçebilen haberler ise “şu anket CHP’yi bildi, şu anket ise HDP’de yanıldı” benzeri kriterlerle sonuçlarını aktardı (bu tür değerlendirme yöntemine en detaylı örnek, Bianet’ten Ekin Karaca’nın analizi).

KONDA’nın 21 Mayıs tarihli anketini en yakın tahmin olarak açıklayan Hürriyet gibi haber merkezleri de bu yöntemi kullandı, en çok sayıda partiyi göz kararı en yakın tutturan anketi başarılı olarak değerlendirdiler; fakat hem bu değerlendirmeler sistemli olmadığı için daha başarılı araştırmalar göz ardı edildi, hem de bir araştırmanın hata payı en iyi tutturulan parti ile değil, en kötü ölçülen seçmen grubuyla değerlendirilmeli. Çünkü bir araştırmanın doğruluk payı, doğru sonuçlardan ne kadar saptığı ile ilgili.

Ben bu ölçüm yöntemiyle 2015 yılı içinde sonuçları kamuya açılmış 73 seçim anketini bir veri setinde derledim ve P24’te buna dair detaylı bir analiz yazdım.

Bu analize göre seçim sonuçlarına en yakın olan çalışma AKAM’ın (Avrasya Kamuoyu Araştırma Merkezi) 11-17 Nisan tarihleri arasında 81 ilde 5160 kişiyle görüşerek yaptığı araştırma. AKP’nin yüzde 40,7, CHP’nin 25,5, MHP’nin 18 ve HDP’nin 11,4 olarak tahmin edildiği araştırmanın sapması +/- yüzde 2’nin altında.

Seçimden önceki son bir ay içinde yayımlanan anketler arasında ise hata payı en düşük olanlar: SAMER (Siyasal ve Sosyal Araştırmalar Merkezi) tarafından 17-22 Mayıs tarihleri arasında 28 il ve 110 ilçede 4150 kişiyle görüşülerek yapılan araştırma, Andy-Ar’ın 21-24 Mayıs tarihleri arasında 41 ilde 4166 kişiyle görüşerek yaptığı araştırma, ve A&G’nin 2-3 Haziran tarihleri arasında 42 ilde 2976 kişiyle yaptığı araştırma. Bu araştırmaların da sapma yüzdeleri +/- 2,5’in altında.

Başarılı tahminlerin daha çok ilde daha çok kişiyle yapılan araştırmalar olması bir tesadüf değil; bir araştırmanın kapsama alanı nüfusu daha iyi yansıtacak şekilde genişledikçe ve örneklemi büyüdükçe (görüşülen kişi sayısı arttıkça) hata payı küçülür.

Türkiye Araştırmacılar Derneği (TÜAD), kesin sonuçlar açıklandıktan sonra yayımladığı raporda örneklem büyüklüklerini de göz önünde tutarak, sonuçlarını dernekle paylaşan 13 şirketin anketlerini inceledi. Kırmızı ile parantez içinde yer alan değerler, parti oy oranı tahminlerinin standart hata payı dışındaki sapmasını gösteriyor.

Tüm anketlerin en çok HDP tahminlerinde yanılmış olmasını kararsızlara, emanet oylara ve patlayan bombalara bağlayan pek çok yorum bulunsa da, asıl cevaplanması gereken soru, örneklem büyüklüğü 1500’ün üzerinde olan araştırmalarda AKP’nin yüzde 3 veya daha yüksek oy oranıyla gösterilmesinin normal olup olmadığı. Ya da dürüstçe sorarsak, şirketlerin açıkladığı anket sonuçları iktidar ile ilişkilerinden ne derece bağımsız?

3. Havalimanı projesi de dahil olmak üzere pek çok devlet ihalesi alan Zirve Holding’in sahibi olduğu Sabah gazetesi, seçim anketleri ile ilgili haberinde ANAR’ı en başarılı üç şirket arasında gösterebilmek için diğer şirketlerin anket sonuçlarını yanlış aktarmış. ANAR, AKP ve Yeni Şafak için araştırmalar yapan bir şirket. Sahibi, AKP’li eski bakan Beşir Atalay, genel müdürü ise AKP milletvekili ve MKYK üyesi Zeynep Karahan Uslu’nun eşi İbrahim Uslu.

Zeynep Karahan Uslu’nun kendisi de, Denge Araştırma şirketinin danışmanlarından biri. Bu şirketin sahibi, Erdoğan’ın İstanbul belediye başkanlığı döneminden beri birlikte çalıştığı Hasan Basri Yıldız. TÜAD’ın raporunda görülebileceği gibi, şirket 5000 kişilik örneklemi olduğunu iddia ettiği bir araştırmada AKP oylarını yüzde 4 fazla gösterdi.

Aynı raporda listelenen, ve 4500 kişilik örnekleme sahip ankette AKP’yi yüzde 3,14 fazla gösteren Genar’ın sahibi Tevfik Göksu, 2002’de Saadet Partisi’nden milletvekili adayı olmuş, 2009’da ise AKP’den Esenler belediye başkanı seçilmişti, hala da aynı görevde. 5000 kişilik bir anket yapıp AKP’yi yüzde 3 fazla gösteren MAK şirketinin yöneticisi Mehmet Ali Kulat ise 2011 seçimlerinde AKP’den Ankara milletvekili aday adayı olmuştu.

TÜAD raporundaki anketler arasında AKP oy oranını en çok saptıran şirket olan ORC, seçim sonuçlarındaki ‘hatası’ için özür diledi ama özürde yer alan “geçmiş başarılar” iddiası gerçeği yansıtmıyor çünkü ORC’nin kendi anketleriyle karşılaştırdığı 2014 yerel seçim sonuçları bile doğru değil.

Özetle, AKP iktidarına yakın duran şirketlerin AKP oy oranını düzenli bir şekilde olduğundan daha yüksek gösterdiklerini söyleyebiliriz.

Bu araştırma için incelediğim şirketlerin web sitelerinin hiçbirinde şirketin sahibi ve yönetim kurulu hakkında bir bilgi verilmiyordu. TÜAD, kamuoyuna açıklanan anketlerin finansal kaynağı ve yöntemleri konusunda şeffaflık talep ediyor ama, seçim kampanyalarına yapılan bağışların bile şeffaf olmadığı, Erdoğan’ın seçim döneminde örtülü ödenekten iki kat fazla harcadığı, Kamu İhale Kanunu’nda son 12 yılda 32 değişikliğin yapıldığı bir siyasi ortamda, seçim anketi yayımlayan şirketlere dair en önemli veri, şirket sahiplerinin faaliyetleri ve çıkar ilişkileri olmalı.

Bu tür bilgileri derlemek ve kamuoyuna açmak da ancak siyasetin sivil denetimine gönüllü inisiyatifler sayesinde olabilir. Bilindik aktörlerin daha eşit şartlarda mücadele edeceği bu yeni yasama döneminde sivil toplum örgütlerine bu yüzden büyük görev düşüyor.

Bir Çözüm: Anketleri Modellemek

Türkiyeli akademisyenlerin kurduğu Research Institute on Turkey’den Onur Altındağ ve Bert M. Azizoğlu, bu endişelere de cevap veren 16 Mayıs tarihli yazılarında, anket şirketlerinin siyasilerle yakınlığını ve şirketlerin uğradığı siyasi baskı(n)ları da düşünmüş, şirketlerin partiler için gösterdiği oranlardan çok, bu oranların değişimini dikkate alarak sonuçları öngörmüşler. Bu şekilde, şirketlerin “yanlılığını” sabit tutmuşlar.

Benim de bu veri setinde anket sonuçlarına puan verir gibi hata paylarının listelenmiş olması ise bir hazırlık aslında. New York Times için seçim tahminleri yapan istatistikçi Nate Silver FiveThirtyEight.com adresinde anketleri derlerken şirketlerin geçmiş performansını da hesaba katıyor. Altındağ ve Azizoğlu’nun analizi de Türkiye’de bu tür modellemelerin kapısını açmış oldu.

Gündemde yine erken seçim varken, her gün yenisi yayımlanan anketleri geçmişteki hatalarıyla birlikte değerlendirmek kamu yararına olur.