Anket metodolojisi
Bu yazı ne zaman işinize yarar?
Bir proje başvurusu için hedef grubun ihtiyaçlarını araştırırken, bir eğitimden sonra katılımcıların deneyimini öğrenirken ya da kurumunuzun hizmetini değerlendirirken anket sorusu yazarsınız. Her durumda sorun aynıdır: Aklınızdaki bilgi ihtiyacını, katılımcının anlayıp yanıtlayabileceği bir soruya dönüştürmek.
Bu yazı, ilk anketini hazırlayanlara da mevcut sorularını gözden geçiren araştırma ekiplerine de yöneliktir. Buradaki örnekleri kendi konunuza uyarlayabilirsiniz. Bir anket aracının iyi soruyu kendiliğinden üretmesini beklemeyin; araç soruyu sunar ve yanıtı kaydeder, neyi öğrenmek istediğinize siz karar verirsiniz.
Önce hangi kararı vereceğinizi yazın
“Eğitim başarılı mıydı?” geniş bir sorudur. Programı değiştirmek için mi katılım engellerini, eğitmenin anlatımını, öğrenilen bilgiyi yoksa katılımcı memnuniyetini mi bilmeniz gerekiyor? Bunların her biri farklı bir soru ve bazen farklı bir ölçüm biçimi ister.
Örneğin gelecek eğitimlerin saatini seçmek istiyorsanız “Eğitimi sevdiniz mi?” sorusunun yanıtı pek işe yaramaz. “Size uygun bir eğitim düzenlense hangi gün ve saatlerde katılabilirsiniz?” sorusu doğrudan planlama kararına yaklaşır. Eğitim içeriğini geliştirmek istiyorsanız hangi konuların eksik kaldığını ayrıca sormalısınız. Önce kararınızı, sonra o kararı verebilmek için gerekli bilgiyi, en son da soruyu yazın.
Bu yaklaşım, proje başvurusundan kurum içi araştırmaya kadar geçerlidir. İhtiyaç analizi için örnek soru setinde katılım engelleri, tercih edilen eğitim biçimi ve öğrenme önceliği bu nedenle ayrı sorular olarak yer alıyor.
Bir soruda tek bir konuyu ölçün
“Eğitmenin anlatımından ve eğitim materyallerinden memnun kaldınız mı?” sorusu iki ayrı değerlendirmeyi birleştirir. Anlatımı beğenip materyalleri yetersiz bulan katılımcı tek bir yanıt seçmek zorunda kalır. Sonuçta düşük puanın nedenini bilemezsiniz.
Birleştirilmiş soru: Eğitmenin anlatımından ve eğitim materyallerinden ne kadar memnun kaldınız?
Ayrı sorular: Eğitmenin anlatımını ne kadar anlaşılır buldunuz? Eğitim materyallerini kendi başınıza çalışırken ne kadar yararlı buldunuz?
İki ayrı soru her zaman iki kat yük anlamına gelmez. Yanıtları gerçekten farklı kararları etkileyecekse ayırın; birini hiç kullanmayacaksanız çıkarın. Aynı dikkat “yararlı ve uygulanabilir”, “hızlı ve güvenilir” gibi ikili ifadeler için de geçerlidir.
Sorunun içinde cevabı söylemeyin
“Başarılı eğitimimizden ne kadar yararlandınız?” ifadesi, eğitimin başarılı olduğunu baştan kabul eder. “Bu eğitim ihtiyaçlarınızı ne ölçüde karşıladı?” sorusu ise katılımcıya olumsuz yanıt verme alanı açar. “Kurumumuzun yetersiz hizmeti sizi nasıl etkiledi?” sorusu da ters yönde aynı hatayı yapar.
Tarafsızlık yalnızca olumsuz sıfatları silmek değildir. Kişinin dürüstçe yanıtlamaktan çekinebileceği bir konuda “Herkesin bildiği gibi...” veya “Sorumlu bir katılımcı olarak...” diye başlayan sorular da yanıtı etkileyebilir. Soruyu bir kez yüksek sesle okuyun: Yanıtlayan kişi sizin hoşunuza gitmeyen bir görüşü rahatça ifade edebilir mi?
Zamanı ve deneyimi somutlaştırın
“Sık sık etkinliklere katılıyor musunuz?” sorusunda “sık sık” herkes için başka bir şey ifade eder. “Son üç ayda kaç etkinliğimize katıldınız?” daha belirgindir. Yine de kurumun kendi katılım kayıtları varsa kişinin aylar önceki sayıyı hatırlamasını istemek yerine bu kaydı kullanmak daha doğru olabilir.
Katılımcının bilmediği bir şeyi de sormayın. Bir yararlanıcıdan “Projenin stratejik etkisi neydi?” diye değerlendirme istemek yerine kendi deneyimini sorun: “Bu eğitimden sonra [belirli işi] yaparken kendinizi ne kadar hazırlıklı hissediyorsunuz?” Bu yanıt algılanan yeterliği gösterir; kişinin o işi gerçekten doğru yapabildiğini kanıtlamaz.
“Geçen yıl”, “son dönemde”, “başarı”, “erişim” gibi ifadelerin hangi tarih veya deneyimi kapsadığını yazın. Çok eski olaylar için kesin sayı istiyorsanız hatırlama hatasını düşünün. Gerektiğinde yakın bir dönem veya yaklaşık sayı aralıkları kullanın.
Yanıt seçeneklerini de soru kadar özenle yazın
“Eğitimi nasıl değerlendirirsiniz?” sorusunun seçenekleri “Çok iyi / İyi / Oldukça iyi / Fena değil” ise olumsuz görüşe açık bir yer kalmaz. Dengeli bir değerlendirme için “Çok kötü / Kötü / Ne iyi ne kötü / İyi / Çok iyi” gibi iki yöne de yer veren bir ölçek kullanabilirsiniz. Orta nokta, fikrim yok ile aynı şey değildir.
Tek yanıt istenen kategoriler çakışmamalıdır. Yaş aralıklarını “18–25 / 25–35” diye yazarsanız 25 yaşındaki kişinin yeri belirsizleşir; “18–24 / 25–34” açık bir ayrım sağlar. Seçenekler hedef gruptaki olası yanıtları da kapsamalıdır.
Ön görüşmelerde hiç öngörmediğiniz bir engel çıkabiliyorsa “Başka bir neden” ve uygun bir açıklama alanı ekleyin.
“Bilmiyorum”, “Bu deneyimi yaşamadım” ve “Yanıtlamak istemiyorum” farklı şeylerdir. Soruyla ilişkiliyse ayrı seçenekler olarak düşünün. “Katılamamanızın en önemli nedeni neydi?” diyorsanız tek seçim; “Hangi nedenler etkili oldu?” diyorsanız birden fazla seçim uygun olabilir. Soruyla yanıt biçiminin aynı şeyi istemesine dikkat edin.
Nuvopoll’da hangi soru türünü ne zaman kullanabilirsiniz?
Soru türünü, katılımcının verebileceği yanıt ve sizin o yanıtla yapacağınız analiz belirler. Nuvopoll’daki seçenekleri bu gözle düşünün:
- Tekli seçim ve açılır liste: Katılımcı tek bir kategori seçecekse kullanın. “Bu eğitime katıldınız mı?” sorusu için görünür “Evet / Hayır” seçenekleri yeterlidir. Seçenek sayısı çoksa açılır liste ekranı sadeleştirebilir; az sayıdaki seçeneği gereksiz yere gizlemeyin.
- Çoklu seçim: Birden fazla neden veya ihtiyaç aynı anda geçerli olabiliyorsa kullanın: “Katılımınızı hangi durumlar zorlaştırdı?” Tek bir en önemli neden arıyorsanız tekli seçim daha uygundur. Çoklu seçim sonuçlarında seçeneklerin yüzdeleri toplandığında %100’ü aşabilir; çünkü bir kişi birkaç seçeneği işaretleyebilir.
- Likert ve derecelendirme ölçekleri: Bir görüşe katılımı, memnuniyetin derecesini veya algılanan kolaylığı ölçmek istediğinizde kullanın. “Eğitmenin açıklamalarını ne kadar anlaşılır buldunuz?” sorusunda ölçeğin iki ucunu da açıkça adlandırın. “Hiç anlaşılır değil” ile “Çok anlaşılır” arasındaki dereceler, doğru yanıtı olan bir bilgi testi değildir.
- Matris: Birkaç ayrı öğeyi aynı yanıt ölçeğiyle değerlendirecekseniz işe yarayabilir. Örneğin eğitmenin anlatımı, materyaller ve süre ayrı satırlarda, aynı değerlendirme ölçeğinde yer alabilir. Satırlar gerçekten aynı ölçeğe uygun değilse ya da mobil ekranda okumak güçleşiyorsa soruları ayırın. Her satırın ayrı bir konuyu ölçtüğünden emin olun.
- Sıralama: Seçeneklerin birbirine göre önceliği gerekiyorsa kullanın: “Gelecek dönem için bu üç eğitim konusunu öncelik sıranıza koyun.” Sıralama, her konunun tek başına ne kadar önemli olduğunu söylemez. Uzun bir listeyi sıralatmak katılımcıyı yorabilir.
- Sayı girişi: Gerçek bir miktar veya adet gerekiyorsa kullanın: “Son üç ayda kaç atölyeye katıldınız?” Birimi ve dönemi belirtin. Katılımcının kesin sayıyı hatırlayamayacağı durumlarda yaklaşık aralıklar sunmak daha yerinde olabilir.
- Kısa ve uzun metin: Kısa metin belirli bir öneri veya “Başka” açıklaması için; uzun metin deneyimin ayrıntısını öğrenmek için uygundur. “Bu etkinlikte değiştirmemizi istediğiniz bir şey var mı?” sorusuna tek cümle yeterliyse uzun bir anlatım istemeyin.
- Sesli yanıt: Katılımcının anlatması yazmasından daha kolaysa kullanın. Özellikle ayrıntılı deneyimler için yararlı olabilir; kısa bir kategori seçimi için ses kaydı istemek gereksiz yük getirir. Sesin metne dönüştürülmesi ve saklanması hakkında katılımcıyı bilgilendirin.
Görsel, ses veya videoyu sorunun yanında gösterilen içerik olarak da kullanabilirsiniz. Bir görseli gösterip ardından değerlendirme sorusu sormak, katılımcıdan sesli yanıt almakla aynı şey değildir. Puanlı bir değerlendirmede ise tekli veya çoklu seçim gibi soru türlerine doğru yanıt ve puanlama ekleyebilirsiniz; puanlama, memnuniyet ölçeğinin yerine geçmez.
Demografik sorular, ad ve iletişim bilgisi alanları ile onam metinleri de farklı amaçlara hizmet eder. Bunları sırf seçenek olarak sunuluyorlar diye ankete eklemeyin. Özellikle 1–5 soruluk bir QuickPoll hazırlarken her alanın gerçekten gerekli olup olmadığını düşünün.
Memnuniyet, öğrenme ve bilgi düzeyini karıştırmayın
“Eğitimden memnun kaldım” ifadesine katılım, memnuniyet veya deneyim algısı hakkında bilgi verir. “Konuyu öğrendim” ifadesine katılım ise kişinin öğrendiğini düşündüğünü gösterir. Gerçek bilgi düzeyini görmek istiyorsanız doğru yanıtı olan bir değerlendirme sorusu gerekir. Öğrenmedeki değişimi incelemek istiyorsanız başlangıç ve bitiş ölçümlerinin karşılaştırılabilir olması da önemlidir.
Örneğin veri koruma eğitiminin ardından “Kişisel veri ihlalini hangi durumda bildirmelisiniz?” gibi bir bilgi sorusu, “Eğitimi yararlı buldunuz mu?” sorusundan farklı bir amaç taşır. Bu örnek yalnızca soru türleri arasındaki farkı gösterir; doğru yanıtı eğitimin içeriği ve yürürlükteki kurallara göre hazırlamalısınız. Etkinlik memnuniyeti, eğitmen değerlendirmesi ve öğrenme düzeyi ayrı sonuçlar olarak raporlanmalıdır.
Açık uçlu soru ne zaman gerekir?
Yanıt seçeneklerini henüz bilmiyorsanız veya kişinin deneyimini kendi sözleriyle anlamanız gerekiyorsa açık uçlu soru yararlıdır: “Bu eğitime katılmanızı zorlaştıran başka bir durum var mı?” gibi. Kapalı seçenekler dağılımı saymayı kolaylaştırır; açık yanıt ise önceden düşünmediğiniz bir nedeni ortaya çıkarabilir. Her açık yanıtın okunması ve yorumlanması için emek gerektiğini unutmayın.
Uzun bir açıklama bekliyorsanız bunun katılımcıya yükünü de düşünün. Mobil telefonda uzun uzun yazmak istemeyen biri sesli yanıtı tercih edebilir. Nuvopoll’da sesli yanıt metne dönüştürülebilir; bunun veri işleme koşulları katılımcıya doğru açıklanmalıdır.
Açık ve sesli yanıtlara ilişkin yazı bu seçimin yöntem ve veri koruma yönünü ele alıyor.
Soruyu kime göstereceğinizi ve sırasını belirleyin
Bir eğitime katılmayan kişiye eğitmeni değerlendirmesini sormayın. Önce “Katıldınız mı?” diye sorun; yalnızca “Evet” diyenlere eğitmen sorusunu gösterin. Ancak her farklı yanıt için yeni bir dal açmak da anketi gereksiz yere karmaşıklaştırır.
Anket akışının ne zaman gerekli olduğunu ve nasıl sınanacağını ayrı yazıda anlatıyoruz.
Soru sırası da yanıtı etkileyebilir. Önce “Bu program birçok kişinin hayatını değiştirdi” açıklamasını gösterip ardından genel memnuniyeti sormak başka, tarafsız bir soruyla başlamak başkadır. Aynı anketi farklı zamanlarda uygulayıp değişimi karşılaştıracaksanız soru metnini, seçenekleri, sırayı ve uygulama biçimini mümkün olduğunca aynı tutun; yaptığınız değişiklikleri kaydedin.
Hassas sorularda ihtiyaç duyduğunuz kadar bilgi isteyin
Yaş, gelir, sağlık, engellilik, etnik köken veya siyasi görüş gibi bilgiler bazı araştırmalarda gerekli olabilir. Önce bu verinin hangi soruya yanıt vereceğini ve kimlerin sonuçları göreceğini belirleyin. Kişisel ayrıntı zorunlu değilse aralıkla sormak, isteğe bağlı bırakmak ya da hiç sormamak daha uygun olabilir.
Katılımcının neden bu bilgiye ihtiyaç duyduğunuzu anlayabileceği bir açıklama yapın. “Yanıtlamak istemiyorum” seçeneği gereken durumları düşünün. Araştırma amacı ve katılımcı haklarıyla ilgili açıklamalar bir soru kalıbıyla çözülemez; veri koruma yaklaşımını da araştırmanın kendisine göre planlayın.
Çok dilli ankette aynı soruyu gerçekten soruyor musunuz?
Bir cümle dil bilgisi bakımından doğru çevrilmiş olsa bile başka ülkedeki katılımcı aynı kavramı farklı anlayabilir. “Yerel hizmetlere erişim” veya “eğitimden yararlanma” gibi ifadeler her dilde aynı deneyimi çağrıştırıyor mu? Soruyu ve seçenekleri yerel ekiple okuyun; hedef gruptan kişilerle deneyin. Çeviri yaparken seçenek yapısının ve ölçülen kavramın değişmediğini kontrol edin.
Nuvopoll, desteklenen dillerde yapay zekâ ile ilk çeviriyi hazırlamaya ve farklı dillerdeki yanıtları aynı veri tablosunda toplamaya yardımcı olur. Bu, soruların kendiliğinden eşdeğer hâle geldiği anlamına gelmez. Çok dilli anket yazısında çeviri ve karşılaştırma kararlarını ayrıca ele alıyoruz.
Yayımlamadan önce soruları insanlarla deneyin
Anketi kendiniz okuyunca her cümle açık görünebilir; çünkü ne demek istediğinizi zaten biliyorsunuz. Hedef gruptan farklı deneyimlere sahip birkaç kişiyle deneyin. Her sorudan sonra “Bu soruyu nasıl anladınız?” ve “Yanıtınızı seçerken neyi düşündünüz?” diye sorun.
Anlamadıkları kelimeleri, kendilerine uymayan seçenekleri ve uzun süre duraksadıkları yerleri not edin. Sonra anketi gerçek uygulama biçiminde, mobil telefonda ve gerekiyorsa her dilde yeniden tamamlatın.
Ön test, yalnızca yazım hatası aramak değildir. Soru sırasını, koşullu yolları, yanıt seçeneklerini ve dışa aktarılan veri tablosunda her sütunun neyi anlattığını da kontrol edin. Pew Research Center’ın soru yazımı rehberi ön testin ve soru sırasının yanıtları nasıl etkileyebileceğini örneklerle ele alır.
Bir pilot çalışma, örneklemin temsil gücünü veya soruların bilimsel geçerliliğini tek başına garanti etmez.
Nuvopoll ilk taslaktan son kontrole nasıl yardımcı olur?
Bir araştırma fikrini tek cümleyle anlatabilir veya uzun bir soru taslağını karalayabilirsiniz. Nuvopoll’un yapay zekâ ile anket oluşturma sihirbazı bunlardan yapılandırılmış bir ilk taslak hazırlayabilir. Soruları görsel editörde düzenleyebilir, betik görünümünde metin olarak gözden geçirebilir ve gerektiğinde akış editöründe koşullu yollar kurabilirsiniz.
Bu imkân ilk taslağa başlamayı kolaylaştırır; yönlendirici bir soruyu, eksik seçeneği veya yanlış ölçüm kararını sizin yerinize güvenilir biçimde çözmez. Soruları yayımlamadan önce hedef grupta deneyin. Fikirden anket taslağına giden yolları ve anket oluşturma araçlarını inceleyebilirsiniz.
Son kontrol: Her soru için yedi kısa soru
- Bu yanıt hangi araştırma soruma veya kararıma yardımcı olacak?
- Katılımcı tam olarak neyi, hangi zaman aralığı için değerlendirecek?
- Soru tek bir konuya mı odaklanıyor; belli bir yanıtı doğruymuş gibi mi gösteriyor?
- Yanıt seçenekleri birbirini dışlıyor ve hedef gruba uygun olasılıkları kapsıyor mu?
- Bu soruyu yalnızca ilgili kişilere mi gösteriyorum; soru sırası yanıtı etkiliyor mu?
- Katılımcılar soruyu ve seçenekleri pilotta beklediğim gibi anladı mı?
- Yanıtları indirdiğimde hangi sütunun, kodun ve seçeneğin ne anlama geldiğini açıklayabilecek miyim?
Bir sorunun bu denetimden geçmemesi her zaman daha fazla soru eklemeniz gerektiği anlamına gelmez. Bazen en iyi düzeltme, işe yaramayacak soruyu anketten çıkarmaktır.
Nuvopoll’de amacınızdan veya mevcut soru metninizden başlayın; soruları, seçenekleri ve sıralamayı kendi araştırmanıza göre düzenleyin.