Proje etkisi nasıl ölçülür? Faaliyet, çıktı ve değişimi ayırın

“Başarılıydı” demeden önce neyin değişmesini beklediğinizi yazın

Bir projede üç atölye yapmak, elli kişiye ulaşmak ve katılımcılardan olumlu değerlendirme almak yararlı bilgiler verir. Ancak bunların her biri başka bir soruyu yanıtlar. Katılım sayısı kime ulaştığınızı; memnuniyet sorusu deneyimin nasıl değerlendirildiğini gösterir.

İnsanların ne öğrendiği veya öğrendiklerini kullanıp kullanmadığı ayrıca araştırılır.

Proje etkisini ölçmeye başlarken bir değişim cümlesi kurun: “Bu faaliyetten sonra, şu grubun şu işi şu koşullarda daha iyi yapmasını bekliyoruz.” Örneğin bir sivil toplum kuruluşunun eğitimi için amaç, katılımcıların erişilebilir etkinlik planlama adımlarını kendi kurumlarında kullanması olabilir. Bu cümle, hangi verinin yararlı olacağını belirler.

Ardından bu değişimin hangi yoldan gerçekleşmesini beklediğinizi yazın. Eğitim bilgi verebilir; uygulama için yönetici desteği, zaman ve bütçe de gerekebilir. Beklenen ilişkiyi ve dış koşulları birlikte gösteren bir mantık modeli ölçüm planına yardımcı olur.

CDC’nin programı tanımlama rehberi bu planlama yaklaşımını anlatır.

Faaliyet, çıktı, sonuç ve etkiyi birlikte ama ayrı okuyun

Terimlerin kurumunuzun raporlama çerçevesindeki karşılığını baştan netleştirin. OECD’nin sonuç ve değerlendirme sözlüğü etkiyi daha yüksek düzeydeki değişimlerle ilişkilendirir; olumlu veya olumsuz, amaçlanmış veya beklenmemiş etkiler de olabilir. Her olumlu geri bildirimi bu düzeyde bir etki olarak adlandırmak uygun olmaz.

OECD değerlendirme sözlüğü bu ayrımları açıklar.

Bu örnekte memnuniyet, öğrenme ve uygulama için ayrı ölçümler gerekir. Katılımcı eğitimi beğenip henüz öğrendiklerini kullanmamış olabilir. Tersine, zorlayıcı bulduğu bir eğitimden yararlı bir uygulama çıkarabilir.

Hepsini tek bir “proje başarı puanı” içinde toplamak, hangi aşamanın geliştirileceğini gizler.

Az sayıda, karar verebildiğiniz gösterge seçin

Bir göstergeyi yalnızca raporda sayı bulunsun diye eklemeyin. Gösterge değiştiğinde hangi kararı vereceğinizi yazın. Uygulama düşükse yeni bir destek oturumu mu planlayacaksınız, yoksa kurumların zaman ve bütçe engellerini mi ele alacaksınız?

Her gösterge için hedef grubu, tanımı, veri kaynağını, ölçüm zamanını ve sorumlu kişiyi belirleyin. Oran kullanıyorsanız pay ve paydayı da yazın. “Kontrol listesini kullananların oranı”, takip anketine yanıt verenler içinde mi, eğitime katılanların tamamı içinde mi hesaplanacak? Bu ayrım raporunuzun anlamını değiştirir.

Hedef değer koyacaksanız dayanağını ve değerlendirme kuralını uygulamadan önce belirleyin. Başlangıç verisi yokken seçilen bir yüzdelik hedefi, önceki dönemle kanıtlanmış gelişme gibi sunmayın. Küçük projelerde birkaç anlaşılır gösterge, kullanmayacağınız uzun bir gösterge listesinden daha yararlı olabilir.

Başlangıç, bitiş ve takip ölçümleri farklı şeyler öğrenir

Başlangıçta ihtiyaç araştırması yaparak katılımcıların görevlerini ve güçlüklerini anlayın. Eğitim sonunda deneyim hakkında ayrı, öğrenme hakkında ayrı sorular kullanın. Öğrenme hedefi bir durumu doğru değerlendirmekse, yalnızca “Kendime güveniyorum” sorusu bu beceriyi doğrudan ölçmez.

Ön test ve son test kuracaksanız karşılaştırılabilir içerik ve puanlama planlayın. Aynı kişilerin değişimini incelemek için kayıtları eşleştirme yöntemini önceden belirleyin; gerekli veri ve erişim kapsamını katılımcıya açıklayın. İki ayrı grubun ortalamasındaki farkı, her kişinin ilerlemesi gibi anlatmayın.

Ön test ve son test yazısı bu tasarım kararlarını ayrıntılandırır.

Takip ölçümünü, insanların uygulama fırsatı bulacağı bir zamana yerleştirin. Örnek eğitimde bir ay sonraki anket “Son dört haftada kontrol listesini bir etkinlik planında kullandınız mı?” diye sorabilir. “Evet” yanıtında hangi adımların kullanıldığı; “Hayır” yanıtında uygulama fırsatı, yetki veya kaynak engeli sorulabilir. Böylece sonraki destek kararı için bilgi alırsınız.

Bir ay bütün projeler için uygun süre değildir. Mevsimlik bir faaliyet, kurum kararı veya daha yavaş gelişen bir değişim için başka bir takvim gerekebilir. Soruda tanımladığınız dönem, beklediğiniz değişimin gerçekleşebileceği zamanla uyumlu olsun.

Örnek: 50 katılımcı, 32 takip yanıtı, 20 uygulama bildirimi

Aşağıdaki sayılar anlatım için oluşturulmuş varsayımsal bir örnektir. Üç atölyeye toplam 50 farklı kişi katılmış olsun. Bir ay sonraki takip anketine 32 kişi yanıt versin; bunların 20’si kontrol listesini kullandığını bildirsin.

Takip anketine yanıt verenlerin içinde kullanım oranı 20 / 32 = %62,5 olur. Bu oranı “50 katılımcının %62,5’i kullandı” diye yazamayız. Toplam katılımcılar içinde kullanım bildiren kişi oranı 20 / 50 = %40’tır; kalan 18 kişinin kullanıp kullanmadığı bu veriyle bilinmez.

Yanıt verenler, vermeyenlerden farklı olabilir.

Uygulamayan 12 kişinin yanıtlarına ayrıca bakın. Çoğu henüz etkinlik düzenleme fırsatı bulamadıysa, bu bilgi yeni bir içerikten çok takip zamanını değiştirmenizi gerektirebilir. Kurum desteği eksikse destek oturumuna yöneticilerin katılımı gerekebilir.

Açık yanıtları okurken olumlu örneklerle birlikte engelleri ve beklenmeyen sonuçları da kaydedin.

Gözlenen değişimden nedensel etkiye nasıl geçilir?

Eğitimden sonra test puanının yükselmesi veya uygulama bildirilmesi bir bulgudur. Fakat aynı dönemde başka eğitim, iş deneyimi veya kurum içi bir değişiklik de etkili olmuş olabilir. Tek başına önce ve sonra ölçmek, farkın tamamının projeden kaynaklandığını göstermez.

Nedensel etkiyi değerlendirmek istiyorsanız, proje yapılmasaydı ne olacağına ilişkin güvenilir bir karşılaştırma kurmanız gerekir. Uygun karşılaştırma grubu, zamanlama, seçilim ve dış koşullar tasarımın parçasıdır; tasarımı uygulama başlamadan değerlendirme uzmanıyla planlamak yararlı olur. CDC’nin program değerlendirme uygulama rehberi etki değerlendirmesinde bu karşılaştırmanın önemini açıklar.

Her küçük proje kapsamlı bir etki değerlendirmesi kuramayabilir. Böyle bir durumda faaliyetleri, gözlenen değişimi ve projenin katkısına ilişkin kanıtı açıkça raporlayın. Katılımcının “eğitim yardımcı oldu” demesi, katılımcının değerlendirmesi olarak aktarılabilir.

Bunu tek başına projenin nedensel etkisinin sayısal ölçümü diye adlandırmayın.

Nuvopoll’de ölçümleri ve raporu nasıl kurarsınız?

Nuvopoll’de ihtiyaç araştırmasını, eğitim sonu değerlendirmesini ve takip anketini amaçlarına uygun ayrı çalışmalar olarak hazırlayın. Eğitim ihtiyaç analizi soru seti başlangıç için, puanlı test araçları öğrenme değerlendirmesi için kullanılabilir. Takip anketinde uygulama durumuna göre koşullu sorularla ilerleyin.

Veri tablosunda kayıtları inceleyin; canlı rapor editöründe uygun dağılımları, sayısal özetleri, çapraz tabloları ve paylaşılabilir açık yanıtları düzenleyin. Açık yanıtlar için metin görünümü ve sözcük bulutu kullanılabilir; temaları araştırmacı ayrıca değerlendirir. Ayrı çalışmaların uygun sonuç bileşenlerini aynı raporda kaynaklarını belirterek sunabilirsiniz.

Ayrı anketlerdeki kişileri eşleştirme ve eşleştirilmiş değişim analizi için veri düzeninizi önceden planlayın; gereken analizi dışa aktarılan veriyle uygun ortamda yürütün. Nuvopoll’ün rapor araçları kendiliğinden nedensel etki hesaplamaz. Ayrıca rapordaki ham veri filtreleriyle önceden hesaplanmış model sonuçlarının kapsamını ayırın; model kartları okur filtresiyle yeniden hesaplanmaz.

Son rapora faaliyet kaydını, her ölçümün tarihini ve yanıt tabanını, bulguları, yorum sınırlarını ve bu bulguyla vereceğiniz kararı ekleyin. Proje sonuç raporu rehberi bu parçaları aynı sunumda bir araya getirmenize yardımcı olur. Ölçümün değeri, sonraki faaliyet için hangi kararı değiştirdiğinde görünür.