Eğitim ve değerlendirme
Bu yazı kimler için, ne zaman işinize yarar?
Bir eğitim, atölye, çevrim içi ders veya proje faaliyeti düzenliyorsanız katılımcıların sonunda ne öğrendiğini görmek isteyebilirsiniz. Eğitmenler içeriklerini geliştirmek, kurumlar eğitim için ayırdıkları kaynağı değerlendirmek, proje ekipleri de belirledikleri öğrenme hedeflerine ne ölçüde yaklaşıldığını anlamak için bu bilgiye ihtiyaç duyar.
Ön testi eğitim başlamadan önce, son testi eğitim bittikten sonra uygulayabilirsiniz. Böylece yalnız bitişteki düzeyi değil, başlangıç ile bitiş arasındaki farkı da incelersiniz. Ancak bu farkın anlamlı olabilmesi için neyi ölçeceğinizi, soruların nasıl karşılaştırılacağını ve aynı kişileri izleyip izlemeyeceğinizi eğitimden önce kararlaştırmanız gerekir.
Bu rehber, kısa bir bilgi veya beceri ölçümü hazırlayıp bulguları dürüstçe yorumlamak isteyenler içindir.
CDC’nin eğitim değerlendirme rehberi de değerlendirmeyi eğitimin tasarım aşamasında planlamayı, önce amaç ve değerlendirme sorularını belirlemeyi öneriyor.
Memnuniyet, öğrenme ve uygulama farklı sonuçlardır
“Eğitimi yararlı buldum” yanıtı deneyimi anlatır; bir soruyu doğru çözebilmek bilgi düzeyini gösterir. Öğrenilen bilgiyi birkaç hafta sonra işte kullanmak ise ayrı bir sonuçtur. Bu üç sonucu aynı puana dönüştürmeyin.
Etkinlikten hemen sonra memnuniyet anketiyle geri bildirim alabilir, öğrenmeyi bilgi sorusu veya uygulama göreviyle ölçebilir, daha sonraki kullanımı ise takip görüşmesiyle inceleyebilirsiniz.
Yalnız son test yapmak, eğitim bitimindeki düzeyi gösterir; katılımcının eğitime başlamadan önce ne bildiğini göstermez. Ön ve son test karşılaştırması bu eksikliği azaltır. Yine de tek başına eğitimdeki değişimin yalnızca eğitimden kaynaklandığını kanıtlamaz.
CDC’nin öğrenmeyi ve sonradan uygulamayı ölçme açıklaması, ölçüm zamanını amaçlanan sonuca göre seçmeyi öneriyor. Memnuniyet soruları için etkinlik değerlendirme yazısına bakabilirsiniz.
Öğrenme hedefini ölçülebilir bir davranışa çevirin
“Katılımcılar konuyu öğrenecek” geniş bir hedeftir. “Katılımcı yönlendirici bir anket sorusunu ayırt edebilecek” dediğinizde neyi sınayacağınız daha açıktır. Önce en önemli iki veya üç öğrenme hedefini yazın. Her hedef için “Bu becerinin edinildiğini hangi yanıt veya uygulama gösterecek?” diye sorun.
Eğitimde anlatılmayan bir ayrıntıyı son teste koymayın; yalnız kolay sorulardan oluşan bir testle de başarının tamamını temsil ettiğinizi varsaymayın.
Bilgi için tek seçimli soru, birden fazla doğru unsuru tanıma için çoklu seçim, uygulama için kısa bir görev kullanılabilir. Beceriyi ancak kişinin bir işi yapışını görerek değerlendirebiliyorsanız gözlem veya uygulama örneği, çoktan seçmeli bir sorudan daha uygun olabilir. Test sorusunun türünü değil, öğrenme hedefinin gerektirdiği kanıtı önce seçin.
Soru yazma rehberi tarafsız ifade ve yanıt seçeneklerini ayrıntılı anlatıyor.
Ön test ile son test ne kadar benzer olmalı?
İki ölçüm de aynı kazanımı ve benzer güçlük düzeyini sınamalıdır. Eğitimden önce temel kavramı, eğitimden sonra bütünüyle farklı ve daha zor bir beceriyi sorarsanız puan farkını öğrenme farkı olarak okuyamazsınız. Aynı soruları iki kez kullanabilirsiniz; bu durumda katılımcının önceki soruyu hatırlamasının sonuçları etkileyebileceğini düşünün.
Farklı sorular kullanacaksanız aynı hedefi, yanıt biçimini ve güçlük düzeyini korumaya çalışın; denk olduklarını küçük bir pilot uygulamada inceleyin.
Ölçüm süresini, yönergeleri, puanlama kuralını ve mümkünse uygulama koşullarını da benzer tutun. Ön test katılımcıyı elemek için değil başlangıç düzeyini görmek için yapılıyorsa bunu açıkça söyleyin. Son testte yalnız puan artışına bakmak yerine hangi hedeflerde güçlük sürdüğünü de inceleyin.
Örnek: Tarafsız anket sorusu yazma eğitimi
Diyelim ki bir eğitimde katılımcıların yönlendirici soruları ayırt etmesini ve bunları yeniden yazmasını hedefliyorsunuz. Ölçüm planının küçük bir bölümü şöyle olabilir:
- Ön testte ayırt etme sorusu: “Katılımın önündeki engeli hangi soru daha tarafsız biçimde araştırır?” A: “Kötü seçilmiş saat yüzünden mi katılamadınız?” B: “Katılımınızı zorlaştıran bir durum oldu mu? Olduysa neydi?” Burada B daha tarafsızdır; A bir nedeni peşinen öne sürer.
- Son testte benzer kazanım: “Çevrim içi toplantıya neden gelinmediğini araştırmak için hangi soru daha tarafsızdır?” Yeni bağlam kullanın ama yine yönlendirici ifadeyi ayırt etmeyi sınayın. Seçeneklerin güçlüğünün değişip değişmediğini önceden deneyin.
- Uygulama görevi: “İnsanlar zaten eğitimi çok yararlı buldu, değil mi?” sorusunu tarafsız biçimde yeniden yazdırın. Bu görevi puanlayacaksanız hangi değişikliklere puan vereceğinizi iki ölçümden önce belirleyin.
Bu üç örnek tek başına geçerli bir test oluşturmaz; bir sorunun doğru yanıtlanması da bütün becerinin kazanıldığını kanıtlamaz. Ama hangi hedef için hangi kanıtı aradığınızı açıkça gösterir. Kısa ön ve son değerlendirme rehberinde başka bir konu için örnek bulabilirsiniz.
Aynı kişilerin ilerlemesini görmek istiyorsanız eşlemeyi planlayın
Ön teste 30, son teste 24 kişi katılmış olabilir. Bunların 18’i iki testi de tamamladıysa aynı kişilerin puan farkını yalnız bu 18 kişide hesaplayabilirsiniz. Kalan yanıtları ayrı genel tablo olarak gösterebilirsiniz; fakat farklı kişilerin iki ortalaması arasındaki farkı “katılımcı başına öğrenme artışı” diye sunmayın.
İki ankette kullanılacak ortak bir katılımcı kodunu önceden belirleyebilirsiniz. Kodu nasıl vereceğinizi, kişinin kaybetmesi hâlinde ne yapacağınızı ve kod listesinin kimde duracağını planlayın. Gerçek ad veya kimlik numarası toplamanın gerekli olup olmadığını ayrıca değerlendirin.
Kod kullanmak, yanıtların korunması ve saklanmasıyla ilgili kararları ortadan kaldırmaz.
Nuvopoll ön ve son testi kişi bazında kendiliğinden eşleştirmez. İki değerlendirmeyi ayrı çalışmalar olarak açıp ortak kodu iki çalışmada da toplarsanız sonuçları CSV veya SPSS biçiminde indirebilir; eşleştirmeyi, puan farkını ve gerekiyorsa daha ileri çözümlemeyi dışarıda yapabilirsiniz. Bu sınıra baştan göre plan yapmak sonradan veri eksikliğini önler.
Puanı ve farkı nasıl raporlamalısınız?
Ön ve son testte aynı 18 kişinin on üzerinden ortalama puanı sırasıyla 4 ve 7 ise eşleşen grupta ortalama fark 3 puandır. “Puan 3 puan arttı” demek, “katılımcıların tamamı 3 puan ilerledi” demek değildir. Kişilerin farkları ayrı ayrı incelendiğinde kimi daha fazla ilerlemiş, kiminin puanı aynı kalmış olabilir. Sonuçla birlikte katılımcı sayısını, puan aralığını ve yalnız iki ölçümü de tamamlayanların karşılaştırıldığını yazın.
Ön testte 30, son testte 24 yanıt varsa iki grubun genel ortalamasını da ayrı gösterebilirsiniz. Ancak bu ortalamaların farkı, gruplar aynı kişiler olsa bile eşlenmiş bireysel fark değildir; önce hangi kişilerin iki ölçümde de bulunduğunu saptayın. Kısa eğitimlerde ayrıca tek bir puan ortalamasına bakmak yerine hangi soruların hâlâ güç geldiğini gösterin.
Küçük bir grupta birkaç yanıt ortalamayı belirgin biçimde oynatabilir.
Nuvopoll’de puanlı değerlendirme anketi kurabilir, sorulara ve bölümlere puan verebilir, katılımcıya sonuç ekranını gösterebilirsiniz. Dilerseniz tanımladığınız ölçüte göre kurum belgesi sunabilirsiniz; bu belge bir ölçümün bilimsel geçerliliğini veya resmî akreditasyonunu kendiliğinden sağlamaz. Ön ve son çalışmanın seçtiğiniz bulgularını tek canlı raporda kaynaklarıyla yan yana gösterebilirsiniz.
Bu rapor, kişi bazında eşleştirme ve fark hesabının yerini almaz.
Öğrenilenlerin daha sonra kullanılıp kullanılmadığını sorun
Bir katılımcı son testte soruları doğru yanıtlayıp öğrendiklerini günlük işinde hiç kullanmamış olabilir. Eğitimin konusu buna uygunsa birkaç hafta sonra “Hangi yöntemi kullandınız?”, “Uygulamanızı ne kolaylaştırdı?” ve “Nerede zorlandınız?” gibi sorularla yeniden görüşebilirsiniz. Uygulamaya fırsatı olmayan kişiyi, öğrendiğini kullanmak istememiş gibi değerlendirmeyin.
Gözlem veya üretilen iş örneği elinizdeyse yalnız öz bildirime dayanmak zorunda kalmazsınız.
Bu takip ölçümü eğitimden hemen sonra yapılan testle aynı işi görmez. Son test öğrenmenin o andaki durumuna, sonraki görüşme ise kullanımına ilişkin bilgi verir. CDC de öğrenilenlerin uygulamaya aktarılıp aktarılmadığını görmek için, kişilerin öğrendiklerini kullanmaya fırsat bulmasından sonra takip ölçümü yapmayı öneriyor.
Yayımlamadan önce yedi kontrol
- Hangi iki veya üç öğrenme hedefi ölçülecek?
- Her soru ya da görev gerçekten bu hedeflerden birini sınayacak mı?
- Ön ve son test aynı kazanımı, benzer güçlük ve puanlama kuralıyla mı ölçüyor?
- Aynı kişileri karşılaştırmak istiyorsanız iki ölçümde ortak kod ve uygun bilgilendirme hazır mı?
- Farklı kişiler yanıt verirse sonuçları nasıl adlandıracaksınız?
- Memnuniyet, test puanı ve sonraki kullanım ayrı sonuçlar olarak mı sunulacak?
- Küçük bir pilot uygulamada soruların anlaşılması ve puanlama denendi mi?
Bu ölçüm planını kullandığınız araçla kurabilirsiniz. Nuvopoll’de denemek isterseniz ön ve son ölçüm için ayrı değerlendirme anketleri hazırlayıp soru ve bölüm puanlarını tanımlayabilirsiniz. Aynı kişilerin gelişimini hesaplayacaksanız ortak kodu iki ankette de toplayın ve sonuçları indirerek dışarıda eşleştirin.
Nuvopoll’a kaydolup değerlendirme oluşturun → · Kısa uygulama rehberi
Başlangıç ve bitiş ölçümlerini önceden planlayın; Nuvopoll’de puanlı değerlendirmelerinizi düzenleyip sonuçlarını inceleyin.