Araştırma şirketleri, gün geçtikçe seçim dönemlerinin ve
gündelik siyasetin olmaz olmazları haline geldiler. Özellikle seçim yarışının
iyice kızıştığı son düzlüklerde kendilerini ekranlarda, gazetelerde varlıkları
sıklıkla hatırlatılır. Ekrana yansıtılan pasta grafikleri, veriler, yüzdeler…
Lakin 1 Kasım seçimlerinin sonuçları araştırma şirketleri için tam bir hayal
kırıklığı oldu. Şirketlerin medyaya sundukları veriler ile seçim sonuçları
neredeyse taban tabana zıttı. Biz de bu meseleyi bir bilene danışalım dedik ve Florida Üniversitesi'nden sosyolog Tolga
Tezcan'la Türkiye'deki araştırma şirketlerinin düştüğü yanlışlıkları, metodolojik
ve örneklem bulma teknikleri açısından problemlerini ve sektördeki sömürünün
sonuçlara etkisini konuştuk.
|
Tolga Tezcan |
- 1 Kasım
seçimlerinin sonuçları açısından en büyük hayal kırıklığını hiç şüphesiz
araştırma şirketleri yaşadı. Araştırma şirketlerinin sonuçlarıyla seçim
sonuçları arasında oluşan büyük farkı siz nasıl yorumluyorsunuz?
Bu mecrada en büyük dönüşüm araştırma şirketi sahiplerine
tartışma programlarında gereğinden fazla yer verilmesiyle, bilgilerinin ve
kapasitelerinin dışında cevaplar beklenmesiyle yaşandı. “Seçmen topluma mesaj
verdi” gibi lafızların da siyaset diline girmesine neden oldular. Alakalı
alakasız her şey için sosyolojik tanımlamasını kullanarak cevap üretmekten çok
tahmin yürütemedikleri meseleleri maskelediler. Ve herkesten hızlı sonuç üretme
ve televizyon programlarında yer bulma telaşı yüzünden veri kontrolü dahi yapmadan
veri yayınlamaya başladılar. Ne kadar ironiktir ki, araştırma şirketlerinin bu
başarısızlıklarını yine kendilerine yorumlattık. Araştırma şirketleri, seçim
araştırmalarında hiçbir zaman başarılı olamadılar aslında, 15’e yakın şirket
rapor yayınlardı ve sadece bir ya da ikisi yakın tahmin yapmış olurdu.
- Bu seçimin farkı
nedir?
Bu seçimin farkı hiçbir araştırma şirketinin yakın tahmin
yapamaması. Bazı şirketler zaten sahaya çıkmadan, masa başı rapor ürettiler hep.
15 anketin ortalamasını alarak, belki biraz da kanaat notu kullanarak parti
yüzdelerini dolaşıma soktular. Haliyle bir ya da iki şirketin yakın tahmin
yapması çok olağan. Fakat bu seçimde, gerçekten sahada olan şirketler
yanılınca, ortalama alan şirketler de dahil tabii, herkes yanılmış oldu. Şimdi
ise bilimsel terminoloji kullanarak enteresan savunmalar yapıyorlar. Örneğin,
bir araştırmanın hata payı %2.5 ve bu araştırma A partisinin oyunu %50 bulmuş
diyelim. Seçim sonucunda A partisinin oyu %45 çıktıysa, bu araştırma “sonuca 5
puan yaklaştık” diyemez. O araştırma tamamıyla hatalıdır anlamına gelir bu
sapma. Ama araştırma şirketleri bu lafı da dilimize yerleştirmiş bulundu. Bu
şirketler neden yanıldı sorusu, 1 Kasım’dan bu yana hayli tartışıldı, genelde
hile ihtimali ve siyasi atmosfer üzerinden yapılan spekülasyonlarla yanıtlandı,
ben sorunuzu kantitatif saha perspektifiyle ve Türkiye uygulamalarıyla yanıtlayabilirim.
En temel problem örneklem yöntemi.
- Bu örneklem
konusunu açabilir misiniz?
Kalitatif ve kantitatif yöntemlerin arasındaki temel bir
tartışma konusudur bu aslında, belirli sayıda bir katılımcıyla görüştüğünüzde
geneli temsil edebilir miyiz sorusu. Bunun doğru olduğunu varsayanlar şöyle
basit bir analoji kullanırlar: Çorbanın tuzuna bakmak için tüm kazanı içmeye
gerek yok, bir kaşıkla yeterli ölçüde karıştırıp çorbanın tadına bakmanız kafidir,
o tat tüm kazan hakkında bir bilgi verecektir. Bu örneğin doğru olduğunu
varsayalım ve bu varsayım üzerinden hareket edelim şimdi. Kazanı karıştırma dedikleri
örneklem metodolojisidir. Ankete cevap verenler nasıl seçildi, hanelere mi
gidildi, katılımcılar sokaktan mı çevrildi, yoksa TÜİK listesi mi kullanıldı?
Kaşık ise katılımcı sayısı, yani kanaat oluşturabilmemizi sağlayacak ünitenin niceliksel
büyüklüğü. Bundan 2-3 seçim öncesine kadar örneklemi nasıl oluşturduklarına
dair en ufak bilgi dahi vermeyen bu şirketler, sanıyorum ki, yapılan işin
bilimsel görünmesi için terminolojilerini de geliştirdiler ve bu seçimde hata
aralığı üzerine de konuştular, biraz evvel bahsettiğim gibi onu da yanlış
şekilde konuştular. Fakat temelde araştırma şirketleri örneklem metodolojileri
hakkında konuşmuyorlar, sadece geçiştiriyorlar. “Şu kadar ilde şu kadar kişiyle
görüştük” ifadesi boşluğa konuşmaktır. Gidilecek hanelerin rasgele şekilde
önceden seçilmesi, anketörün o haneyle görüşebilmek için en az 3 defa girişimde
bulunması gerekiyor. En iyi ihtimalle, anketöre şu apartmandan bir görüşme yap
deniyor, o da muhtemelen en kolay ulaşılabilir kişi olan kapıcıyla görüşme
yapıyor. Ayrıca kabul oranı hakkında da bir bilgi vermiyor bu şirketler.
Görüşme yapmayı reddedenlerin oranı nedir sorusu çok mühim. Bu oran %30’ların
üstüne çıkıyorsa dataya mesafeli olmakta fayda var.
- Başka bir
problem görüyor musunuz örneklem seçiminde?
Örneklem hususundaki bir diğer problem TÜİK’in nüfus,
bölgesel kalkınma planları, sosyo-ekonomik gelişmişlik sıralaması gibi
faktörlerle 3 ayrı düzeyde belirlediği İstatistiki Bölge Birimleri
Sınıflandırması. Örneğin ilk düzeyde çalışma yapıyorsanız 12 ile gitmeniz
yeterli, ikinci düzey için 26 ile gitmelisiniz. Bu illerin tüm Türkiye’yi
temsil ettiğini varsayarsınız. Fakat bu sınıflandırma siyasi çalışmalar için
yeterli değil. Tek bir il bir bölgeyi temsil etmiyor. Dolayısıyla siyasi
çalışmalar için 81 ile ulaşmak lazım ki, bu da muazzam bir maliyet demek.
Aslında bu şirketler verilerini kamusallaştırsalar bu problem çözülür. Türlü
modellemelerle en uygun örnekleme biçimi tespit edilebilir. Fakat kendileri de
verilerindeki tutarsızlıkları bildiklerinden bunu yapmaya yanaşmıyorlar. Kamudan
aldığını kamuya geri vermeyen bir yapıyla karşı karşıyayız, tek yaptıkları tüm
datayı bir pasta grafiğe dönüştürmek.
- Türkiye'deki
araştırma şirketlerinin en temel sorunları nedir sizce?
Türkiye’de saha araştırmaları birbirinin içine geçmiş
birçok sorun içeriyor. En büyük sıkıntılar, sahanın tamamen denetimsiz olması, saha
organizasyonu ve anketörlerin en ufak bir eğitimden geçirilmeden sahaya
gönderilmesi. Türkiye’de sadece bir şirket kendi anketörlerini kullanıyor,
diğer şirketler ise alt yüklenicilerle bu işi çözüyorlar. Örneğin, 5 farklı
araştırma şirketinin 5 farklı araştırması küçük bir ilde yürütülüyorsa, o 5
araştırmayı da çok büyük ihtimalle aynı alt yüklenici şirket yürütüyor. Yani
araştırmanın kalitesi tamamen o alt yüklenici şirketin kalitesine bağımlı hale
geliyor. Ayrıca siz müşteri olarak anket başına 100 lira para öderken,
araştırma şirketi anketörüne 3 lira veriyor. Dolayısıyla o anketörün
motivasyonu da en hızlı şekilde en fazla katılımcıya ulaşmak oluyor. Ve açık
uçlu, bir süre düşünmeyi gerektiren sorularda dahi karşınızda çok hızlı
konuşmak zorunda kalan ve konuşma hızıyla sizi de aynı hıza zorlayan anketörler
buluyorsunuz. Buradaki sömürü ağını atlamamak lazım. Bu anketörler sigortalı
değil, en ufak bir iş güvenliği dahi yok, çok az para alıyorlar. Ve bu araştırma
şirketleri sürekli maliyet azaltma peşindeler. Bir de seçim anketi gibi
müşterisi olmayan araştırmalarda, zira bazı şirketler kendi kaynaklarını
kullanıyor bu araştırmalar için, anketörlerin sömürülme düzeyini tahmin dahi
edemeyiz. En yaygın uygulama, gerekçesiz yahut irrasyonel nedenlerle bazı
anketlerin iptal edildiğinin söylenmesi ama reelde o anketlerin datada
kullanılması. Böylece maliyet daha da minimize ediliyor. Bizim anketörlerle
konuşulan detaylı bir araştırmaya ihtiyacımız var.
- Anketörler
sonuçları ciddi anlamda etkiliyor diyebilir miyiz?
Size bir örnek vereyim. İstiklal Caddesi’nden geçtiğimde
mutlaka anketörün yanından yakınından yürümeye gayret ederim ki benimle anket
yapsınlar. Bir defasında anketör hızlı hızlı sorularını sorup hızlı hızlı
yanıtlarını aldı. En son da yaşımı 45 olarak gösterip gösteremeyeceğimi sordu.
Bana bunu sordu zira şirketin beni daha sonra arayıp bazı bilgilerimi istemesi
ve cevapları kontrol etmesi gibi bir durum söz konusu. Bazı şirketler %30
oranında katılımcıları arayıp cevapları teyit ediyor. Anketörün motivasyonu en
hızlı şekilde elindeki anketleri bitirmek olduğu için yaş, cinsiyet, il gibi
örneklem kotalarında bu tarz manipülasyonları sıklıkla yaptıklarını
düşünüyorum. İşin trajikomik tarafı, o gün cevapladığım soruları benim
hazırlamış olmamdı. Bir soru hızlı sorulduğunda, katılımcı telaş ettirildiğinde
nasıl farklı cevaplar verilebildiğini de deneyimlemiş oldum. Daha sonra o şirketle
sözleşmemizi feshettik.
- Dünyada bu
sektör ne durumda?
Gelişmiş ülkelerde bu iş daha profesyonelce yürütülüyor.
CATI dediğimiz sistem, yani telefonla anket, bu ülkeler için çok daha uygun.
Aralıklarla 3 anket yapıp ortalamasını alarak bilgi paylaşırlar. Hem telefon,
hem online hem de yüz yüze anket yapıp, geçmiş araştırmaları dayanak alarak
ürettikleri modellemelerle en yakın sonucu bulmaya çalışıyorlar. Ve bu
araştırmaların verilerine ulaşabiliyorsunuz, bazıları ücretsiz bazılarına belli
bir ücret ödüyorsunuz. Fakat Türkiye’de ne kadar ücret önerirseniz önerin,
araştırma şirketleri sizinle ham datayı paylaşmaz. Şeffaflık ve hesap
verilebilirlik bu mecradaki en önemli kriterler. Başkaları metodolojinize dair
sorular sormadan, sizin her limitasyonu önce raporlaştırmanız gerekir. Bizde
tam tersi oluyor. Önce pasta grafik paylaşılır, sonra soru gelirse meselenin
etrafında dolaşıp jenerik cevaplar verilir. Yöntem karşılaştırması yaparsak, bizde
maalesef CATI çalışmıyor, yüz yüze ankette de geçerli; fakat katılımcıya
telefon açtığınızda katılımcı daha çok fişlendiğini düşünüyor. Haksız da
sayılmazlar. Bir bakanlığa size yaptırdıkları bir araştırmanın sunumunu
yaptığınızda ve bazı ilginç örnekler verdiğinizde, sunumdan sonra bir daire
başkanı hemen kolunuza girip bu kişilerin isim ve telefonlarını isteyebiliyor.
Siz araştırmacı olarak politik angajmanınız ve mesleki etik gereği buna karşı
çıkarsınız ama bu karşı çıkışın da bir bedeli oluyor.
-Araştırma
şirketlerinin yayınladıkları anket sonuçlarının, seçmen üzerinde olumlu veya
olumsuz bir etkisi olduğunu düşünüyor musunuz?
Bu da seçim araştırmaları literatüründe önemli bir
tartışma. Bandwagon etkisi (sürü
psikolojisi) partilerin kullandıkları stratejik bir yöntem midir, yoksa bu
meseleyi doğal bir sonuç olarak mı yorumlamalıyız? Yani herkesin aklındaki soru
şu: Anketin seçmenleri etkileme ihtimali gerekçesiyle anket sonuçları manipüle
ediliyor mu? Buna gelmeden önce hemen sorunuzu yanıtlamaya çalışayım. Evet,
anket sonuçları seçmen kararını etkileme potansiyeline sahip. Güçlünün yanında
saf tutma anlaşılabilir bir durum. Anket sonuçları yüzünden sandığa gitmemek de
aynı tutumun bir reflektörü ve bu durum da aynı şekilde anlaşılabilir.
Seçmenler kendilerini kazanan tarafta göremediklerinde taraf
değiştirebiliyorlar, muhtemel iktidar partisiyle barışabilecek bir yön bulma
gayretine de girebiliyorlar. Örneğin 1988 Kanada seçimlerinde seçmenlerin
yayınlanan anketlerle uyumlu tavır geliştirdikleri üzerine birçok yayın var.
Daha yakın bir örnek olarak, 2008’de aynı tartışmalar, ABD seçimleri için de
yapıldı. Manipülasyon konusuna gelirsek, evet gayet mümkün. Data
paylaşılmamasının bir nedeni de bu, çekindikleri sadece bilimsel olmayan
yöntemlerin tespit edilecek olması değil, manipülasyon da türlü modellemelerle
ortaya çıkarılabilir.
- Türkiye'deki
seçim araştırmalarında katılımcıların sorulara türlü nedenlerle doğru cevaplar
vermekten kaçındıklarına dair bir tweet atmıştınız geçtiğimiz aylarda, sizce
Türkiye'deki katılımcılar neden böyle bir eğilim gösteriyor, bize biraz daha
açar mısınız bu konuyu?
Konuşmanın başlarında bahsettiğim gibi anketin gerçekten
yapıldığının teyidi için katılımcıdan iletişim bilgileri alınır, bu bilgiler
verilmezse anket iptal edilir, anketöre ücret ödenmez. Bu bilgi de anketin
sonunda istenir ki, anketör sorular yönelterek bir nebze güven verebilmiş
olsun. Biraz konu dışı olacak ama yine de önemli, anketörler süreçte öyle bir
sezgi geliştiriyorlar ki, artık kimin görüşmeyi kabul edeceğinden, kimin
iletişim bilgisi vermeyeceğine kadar ilginç bir zihinsel kodlama ediniyorlar.
Bunu da sokaktan katılımcı çevirme esasıyla yapılan araştırmaların ne kadar sübjektif
yöntemlerle yapıldığını ifade etmek bakımından söylüyorum. Esas konuya
gelirsek, sonuç olarak bazı katılımcılar görüşmeyi ya da iletişim bilgisi vermeyi
kabul etmiyor. Kabul etmeyenlerin birçok motivasyonu olabilir. Bir tanesi
fişlenme korkusu. İktidar partisi hariç bir partiye oy vermeyi düşünmelerinin
kendilerine olumsuz bir şekilde ve bireysel düzeyde geri döneceğini
düşünebiliyorlar. Ülke uygulamalarına bakıldığında buna basitçe paranoya demek
doğru olmaz. Malum hiçbir konuda doğru dürüst kayıt tutmayan devlet, fişleme
sevdasıyla Excel’de hayli ustalaşmış, hücre renklendirmeyi, şablon tablo
kullanmayı bile öğrenmiş. Biz yine teknik problemler açısından bakalım
meseleye. İlk problem, iletişim bilgilerini vermeyen yani cevaplarını veriye
katamadığımız kişilerin oranını bilmememiz. Özetle, yüzdelerde gövdeleşmiş
sonuçlar sadece iletişim bilgilerini verebilenleri, yani fişlenme korkusu
olmayanları temsil ediyor. İkinci problem de fişlenme kaygısıyla paralel
şekilde günün politik atmosferine uygun cevap veren bir kitlenin söz konusu
olması.
- Son bir sözünü
var mı?
Anketlere
ne ölçüde güvenebileceğimiz büyük bir soru işareti, bir şeyleri tutarlı şekilde
yanlış ölçen ve şansları yaver giden şirketler, aynı yöntemleri kullanmalarına
rağmen bu seçimde çok ciddi başarısız oldular. Sektöre böyle bir itibar kaybı
gerçekten gerekiyordu belki de. Son sözüm, daha az televizyon programı, daha az
gövde gösterisi; daha çok bilimsel yöntem ve daha çok kaynak.
Can Öktemer