28 Kasım 2012 Çarşamba

LEZİZ TARİFLER! E-öğrenmede Ölçme ve Değerlendirme: Kirkpatrick Modeli ve Yatırım Getirisi Yaklaşımı

Literatürde en çok bilinen ve en sık değinilen eğitim değerlendirme modellerinden biri olan Kirkpatrick’in 4 seviyeli değerlendirme modelini ele alıyoruz. Enocta olarak birlikte çalıştığımız kurumlara bu alanda da danışmanlık hizmeti veriyoruz.
Kurumsal öğrenmede değerlendirme konusunu ele alarak, değerlendirme konusuna bir e-öğrenme gözlüğüyle bakıyoruz. Kirkpatrick’in 4 seviyeli değerlendirme modeline ve Philip’in yatırım getirisi yaklaşımına değineceğimiz yazıda, bilim adamlarının ortaya koydukları sonuçların yanı sıra Enocta’nın sunduğu çözümlere ilişkin açıklamalar da bulabileceksiniz.

Her e-öğrenme farklı değerlendirme yaklaşımını gerektirir
Söz konusu olan eğitimin başarısının ve gerçek hayat problemlerini çözmeye katkısının değerlendirilmesi olduğunda, pek çok farklı bakış açısıyla karşı karşıya gelmek mümkün. Kurumsal bir e- öğrenme projesini ele alalım. Böyle bir projede, çalışanları için e-öğrenme modelini seçen kurum, eğitimi tasarlayan ve üretimini gerçekleştiren ekiple eğitimi alanlar, birbiriyle kesişen ancak farklı bakış açılarıyla eğitimi değerlendirmek isteyebilirler. Kurum, eğitimin performansa yansımasıyla ilgilenirken; eğitimi alanlar, eğitim süresindeki motivasyonlarının düzeyiyle ilgileniyor olabilirler. Biraz düşününce, burada saydıklarımızın dışında, başka bakış açılarının da var olduğunu görebiliriz. E- öğrenmede ölçme ve değerlendirme, bu karmaşık yapısı nedeniyle dinamik, yerinde duramayan bir araştırma alanı olarak literatürde kendine yer buluyor. Farklı e-öğrenme deneyimlerini değerlendirmeye yönelik tek ve kesin bir çözüm bulunmuyor. Her e-öğrenme deneyimi kendine has bir ölçme ve değerlendirme yaklaşımını gerektiriyor.

Değerlendirme Modelleri
Farklı bakış açıları ve farklı yaklaşımlar nedeniyle, e-öğrenme literatürü, değerlendirme sorununu çözmeye yönelik olarak farklı modeller öneriyor. Çok sayıda modelden birkaçı aşağıdaki tabloda listeleniyor.



Hangi model en doğrusu?
Aslında hiçbir modeli ya da yaklaşımı tek başına “en doğru” olarak nitelendirmek doğru değil. Her yaklaşım, mevcut probleme kendi bağlamında, farklı yollardan çözüm yolları sunuyor. Bu çözüm yolları hakkında bilgi sahibi olmak, hangi modelin sizin probleminize uygun olduğu konusunda bir karara varmak ve daha sonra uygulamak gerekiyor. Uygulayacağınız değerlendirme yaklaşımı sizin projenize özgü, size özel yepyeni bir deneyim olarak ortaya çıkıyor.

Kirkpatrick- 4 seviyeli değerlendirme modeli
Literatürde yer alan farklı çözümlerin hepsini bir solukta ele almak mümkün değil. Çok sayıda model arasında en bilinenlerden biri, Kirkpatrick’in 4 seviyeli değerlendirme modeli. Bu model sadece e-öğrenmeye yönelik olarak değil, “training” olarak adlandırılan her türlü hizmet içi eğitimin değerlendirilmesi için de kullanılabilen bir model. Değerlendirmeyi 4 farklı seviyede ele alan model; 1. seviyede eğitimi alan kişinin tepkisini,2. seviyede öğrenmeyi, üçüncü seviyede davranış değişikliğini ve 4. seviyede ise eğitimin çevreye yansıyan sonuçlarını dikkate alıyor.


Kirkpatrick modeline göre farklı seviyelerde değerlendirme

Seviye 1 - Eğitimi alan kişinin tepkisinin ölçümü yoluyla değerlendirme (Reaction):
Bu seviyede yapılan değerlendirme, kişinin öğrenme deneyimine ilişkin duygularını, düşüncelerini ve kişisel tepkilerini dikkate alır. Aşağıdaki soruların yanıtlarını almaya yönelik bir değerlendirme çabasıdır:
  • Kişi, aldığı eğitimi beğenmiş mi, eğitimden hoşlanmış mı?
  • Kişi, eğitimi uygun, yerinde bulmuş mu?
  • Kişi, öğretim etkinliğine harcadığı zamanın boşa geçip geçmediği konusunda ne düşünüyor?
  • Kişinin eğitime katılım seviyesi ne düzeyde?
  • Kişinin eğitimin zorluğu/kolaylığına ilişkin görüşleri nasıl?
  • Kişi aldığı eğitimden memnun kalmış mı?
  • Kişinin eğitimi tamamlamak için harcadığı çabaya ilişkin görüşleri neler?
  • Kişinin eğitimde elde ettiklerini pratik olarak kullanılabileceğine yönelik görüşleri neler?
Eğitim etkinliğinin değerlendirilmesinde birinci seviye değerlendirme yapabilmek için kullanılabilecek yöntem ve araçlar ise şöyle listelenebilir:
  • Katılımcılardan öznel bilgi toplamaya yönelik kişisel geri bildirim/değerlendirme formları oluşturmak,
  • Katılımcıların eğitime ilişkin sözlü yorumlarını dinlemek, not etmek ve değerlendirmek,
  • Eğitim sonunda değerlendirme anketleri uygulamak,
  • Katılımcıların işlerine döndüklerinde yöneticilerine sunacakları değerlendirme raporlarını dikkate almak.
Birinci seviye değerlendirme, eğitim sonunda hemen uygulanabilir olduğundan, kısa anketler uygulamak yoluyla katılımcılardan kolayca geri bildirim elde edilebilir. Geri bildirimin alınması ve analiz maliyeti düşüktür. Eğitimi alanların, aynı eğitimi alabilecek kişilere eğitimi önerip önermeyeceklerini öngörmek açısından, almış oldukları eğitimden hoşnut olup olmadıklarını belirlemek önemlidir. Bununla birlikte, bu seviyedeki değerlendirmede toplanacak bilginin öznel olduğu unutulmamalıdır.

Enocta yaklaşımı 

Enocta olarak, 1. seviye değerlendirmeye yönelik, farklı konulara ilişkin katılımcı memnuniyetini ölçen bir “Eğitim Değerlendirme Formu” sunuyoruz. Bu formlar aracılığıyla , eğitimin genel içeriği, kapsamı, eğitimin sunuluş şekli, eğitim ara yüzleri, eğitimde sunulan etkileşimlere yönelik kullanıcı memnuniyet düzeyi ölçülüyor. Anketler yoluyla ölçülen memnuniyet düzeyi, farklı açılardan analiz ediliyor ve raporlanıyor. Bu raporlar, bir yandan enocta gelişim ekibine eğitimin kalitesinin arttırılmasına yönelik katkı sağlarken, diğer yandan da kurumlara, eğitimi alan çalışanlarının görüşleriyle ilgili değerlendirme yapma olanağı sağlıyor.

Seviye 2- Öğrenmenin ölçümü yoluyla değerlendirme (Learning)
Bu seviyede yapılan değerlendirme, eğitim öncesine kıyasla, eğitimi alan kişide meydana gelen bilgi ya da kapasite artışını dikkate alır. Değerlendirme sonunda aşağıdaki soruların yanıtları alınmaya çalışılıyor:
  • Kişiler eğitimde hedeflenenlere ulaşabildiler mi?
  • Kişiler eğitimle hedeflenen öğrenme deneyimlerini yaşadılar mı?
  • Kişiler eğitimle amaçlanan alanda ya da istenen yönde olumlu gelişme ve değişme gösterdiler mi? Gösterdiler ise, hangi oranda?
Eğitim etkinliği için ikinci seviye değerlendirme yapabilmek amacıyla kullanılabilecek yöntem ve araçlar ise şöyle listelenebilir:
  • Eğitimin öncesinde ve sonrasında test uygulaması yapmak (Ön test/Son test)
  • Eğitimin öncesinde ve sonrasında gözlem ve görüşmeler yapmak (Çok zaman alıcı olduğu göz önünde bulundurulmalıdır)
  • Şartlara göre, grup bazında değerlendirme ve analiz yapmak
İkinci seviye değerlendirmede kullanılacak ölçme metotlarının, eğitimin hedefleri ve amaçlarıyla yakından ilişkili olduğu unutulmamalıdır. İster kağıt üzerinde olsun, ister elektronik ortamda olsun, güvenilir değerlendirme sonuçlarına ulaşabilmek için, eğitime uygun, geçerli ve güvenilir ölçme araçlarının kullanılması ve puanlama konusunda titiz davranılması gerekir. Bu tür bir değerlendirmenin, birinci seviye değerlendirme metotlarına kıyasla daha fazla yatırım ve ön çalışma gerektirdiği göz önünde bulundurulmalıdır.
İkinci seviye değerlendirme, özellikle ölçülebilen teknik becerilerin kazandırılmasına yönelik eğitimlere uygundur. Daha üst seviye öğrenme hedeflerinde, örneğin davranış değişikliğini hedef alan eğitimlerde uygulanması güçtür. Özellikle, eğitim programı başlangıçta sistemli bir şekilde tasarlanamamışsa, ölçme ve analize harcanacak emeğin artması sebebiyle, eğitimin maliyetinin yükselmesine neden olabileceği unutulmamalıdır.

Enocta yaklaşımı
Enocta olarak 2. seviye değerlendirmeye yönelik altyapılarımız hazır. Akıllı içerik olarak adlandırdığımız, ön test ve son test uygulamaları içeren, konu içindeki etkileşim, soru ve uygulamalarla başarı puanı kazanmaya imkan tanıyan ve bunu ciddi bir öğretim tasarımıyla destekleyen içerikler üretiyoruz. Bu sayede, eğitimi alan bireyin eğitim hedeflerine yönelik gösterdiği çabayı raporlayabiliyoruz. Bu kapsamda, konu uzmanlarıyla birlikte hazırlanan, eğitim hedefleriyle birebir ilişkilendirilen ön test ve son test uygulamalarıyla öğrenmede meydana gelen değişimi ölçebiliyoruz. Enocta Eğitim Platformu’nun sunduğu özellikler sayesinde, eğitim içeriğinden ayrı olarak, eğitimin soru bankasından seçilen sorularla oluşturulan sınavlar aracılığıyla, istenilen zamanda, istenilen hedeflerin gerçekleşip gerçekleşmediğini değerlendirmeye olanak tanıyan yöntemler sunuyoruz. Bu değerlendirme sonuçları, eğitime özgü şartlara ve tercihlere bağlı olarak, Enocta ekibine, kurumlara ve bireylere geri bildirim olarak sunuluyor. Aynı zamanda kurumsal eğitim analizinde kullanılabilecek ciddi bir veri sağlıyor.

Seviye 3- Davranış değişikliği ölçümü yoluyla değerlendirme (Behaviour)
Davranış değişikliği yoluyla değerlendirmede, kişilerin öğrenme sonunda kazandıklarıyla oluşan davranış değişikliği dikkate alınır. Eğitimi alan kişiler, birinci seviye değerlendirmede pozitif tepkiler vermiş olabilirler. İkinci seviye değerlendirmede de öğrenmenin meydana geldiğine yönelik sonuçlar çıkmış olabilir. Ancak, eğitim sonunda meydana gelen değişimin davranışa dönüşüp dönüşmediği; yani öğrenmenin gerçek yaşama transfer edilip edilmediği, üçüncü seviye değerlendirme ile ortaya çıkarılabilir. Davranış değişikliği hemen olabileceği gibi, eğitimden aylar sonra da meydana gelebilir. Üçüncü seviye değerlendirme aşağıdaki soruların yanıtlarını arar:
  • Kişiler eğitimde öğrendiklerini işyerlerinde uygulayabiliyorlar mı?
  • İlgili bilgi ve beceriler uygulamaya konulmuş mu?
  • Kişilerin işyerlerindeki rollerini etkileyen, ölçülebilir ve gözlemlenebilir seviyede bir performans değişikliği var mı?
  • Kazanılan bilgi ve davranış değişikliği sürdürülebilir özellik taşıyor mu?
  • Kişi eğitim sonunda kazandıklarını bir başkasına aktarabiliyor mu?
  • Kişi, oluşan davranış, bilgi ve beceri değişikliğinin farkında mı?
Eğitim etkinliğini üçüncü seviyede değerlendirebilmek için, aşağıdaki yöntemler kullanılır:
  • Eğitim sonucu oluşan değişimi, değişimin eğitimle olan ilişkisini ve değişimin sürdürülebilirliğini değerlendirmek için sürece yayılan gözlem ve görüşmeler yapılabilir.
  • Rastgele zamanlarda ölçümlemeler yapmak güvenilir değildir. Çünkü kişilerde davranış değişimi farklı yollardan ve farklı sürelerde gerçekleşir.
  • Ölçme araçları ustaca hazırlanmış ve sürekli olmalıdır. Ölçme sonucu elde edilen veriler, daha sonra uygun bir analiz aracıyla incelenmelidir.
  • Ölçümler, geçerlilik ve güvenirliği sağlayabilmek açısından, gözlemi ya da görüşmeyi yapan bireyin öznel etkilerini minimize edecek şekilde tasarlanmalıdır.
  • Davranış değişikliğinin belirlenmesinde, performans kriterleri belirlemek ve bunlara uygun senaryolar hazırlamak uygun bir yöntemdir.
  • Online ölçümleme tekniklerini üçüncü seviye değerlendirmede kullanmak güçtür. Ancak, online ölçme yöntemlerini mevcut yönetim prosedürlerine entegre etmek uygun olabilir.
  • Titizlikle belirlenen ölçü ve kriterler kullanıldığı takdirde, kişinin kendi kendini değerlendirdiği (self-assesment) metotlar kullanılabilir.
Üçüncü seviye, yani davranış değişikliğinin ölçülmesine yönelik değerlendirme, birinci ve ikinci seviye değerlendirmeye göre çok daha zordur. Bu tür değerlendirmede kısa, basit ve hızlı yanıtlar yetersizdir. Bunun yanı sıra, üçüncü seviye değerlendirmede yöneticilerin etkileri ve gözlemcilerin yetenekleri gibi etkileri ortadan kaldırmak ayrı bir çaba gerektirir ve çoğunlukla da tamamen ortadan kaldırmak mümkün değildir. Çalışmanın başında düzgün şekilde tasarlanmış bir sistem olmaksızın, incelikli ve sürekli bir değerlendirmenin yürütülmesi ve analiz edilmesi neredeyse imkânsızdır.
Davranış değişiminin ölçülmesi, ancak yöneticilerden eğitimi alan kişilere kadar, herkesin sürece dahil edilmesiyle mümkün olabilir. Bu nedenle, en başından itibaren bu kişilerin rollerini ve katkılarını belirlemek yararlı olur.

Enocta yaklaşımı
3. seviye değerlendirme, davranış değişikliğinin ölçülmesine yönelik bir çaba gerektirdiği için, bu noktada hazır, tek tip bir değerlendirme çözümü sunmak mümkün değil. Buna ek olarak, 3. seviye değerlendirme, yapısı gereği, kurumların isteğini ve kararlılığını gerekli kılıyor. Enocta olarak sunduğumuz farklı altyapı çözümleri, kuruma özel değerlendirme yaklaşımları ve alanında uzman e-öğrenme profesyonelleriyle isteyen kurumlara danışmanlık hizmeti sunabiliyoruz. Bu sayede, kurumsal eğitim faaliyetlerinin çıktılarının daha geniş bir perspektifte değerlendirilmesi için gerekli desteği sağlayabiliyoruz.

Seviye 4- Çevreye yansıyan sonuçların ölçümü yoluyla değerlendirme (Results)
Sonuçların değerlendirilmesi, eğitimi alan çalışanların performansının işe ya da çevrelerine yansıttıklarının ölçümü yoluyla yapılan değerlendirmedir. Organizasyon içerisindeki performans göstergelerinin yüzdelere ve değerlere dökülmesiyle ölçüm gerçekleştirilir. Örneğin; müşterilerden geri dönen şikâyet sayıları, kurumda çalışan personelin işe-giriş çıkış oranı, yıpranma, hata geri dönüşleri, kalite göstergeleri, standartlara uygunluk, büyüme, sektörde tutunma gibi.
Aslına bakılırsa, 4. seviye değerlendirmeye yönelik pek çok değişken (örneğin: müşteri memnuniyeti oranları, hata geri dönüş sayıları ya da satış artışı göstergeleri gibi…) şirket içi yönetim fonksiyonları dahilinde raporlanıyor olabilir. Burada zor olan, raporlanan bu değişkenlerde meydana gelen değişime, eğitimi alan çalışanlar tarafından çevreye yansıtılan sonuçların etkisini belirlemektir. Örneğin, müşteri memnuniyetine ilişkin şirket göstergelerinde meydana gelen artışın doğrudan eğitim sonucu oluştuğunu söylemek mümkün olmayabilir. Müşteri memnuniyetine etkisi olabilecek diğer değişkenlerin de göz önüne alınması gerekir.
Çevreye yansıyan sonuçların ölçümü yoluyla değerlendirme yapılmak isteniyorsa, eğitimin en başında, eğitimi alacak kişilerin konuya ilişkin ilgi ve sorumluluklarını belirlemek gerekir. Yani eğitimi alacak kişilerin hangi konularda ölçümleme yapılacağını bilmeleri sağlanır.

Enocta yaklaşımı
Sonuç değerlendirme, özellikle kurumsal eğitim alanında, örneklerine pek sık rastladığımız bir değerlendirme türü değildir. Bu seviyede değerlendirmenin, bireylerden ziyade bir kurumun bütününü içine alacağı düşünülürse, bu durumun nedeni kolayca anlaşılabilir. Sonuç değerlendirme uygulamasının başarıyla gerçekleşmesi için, kurumsal kültür anlayışı, yönetimsel destek ve planlamanın yanı sıra ek bir maliyet ve emek de gerekir. Örneğin: kurum içi rollerin değişmesi gibi yönetimden kaynaklanan etkiler nedeniyle, eğitimin çevreye yansıyan sonuçlarının ölçülmesinde sıkıntılar yaşanması muhtemeldir. Ayrıca bu seviyede, iş performansını etkileyen dış faktörlerin varlığı, elde edilen sonuçların kesinliğini etkiler. Enocta olarak, 3. seviye değerlendirme için olduğu gibi, 4. seviye değerlendirme için de, sunduğumuz farklı altyapı çözümleri ve kuruma özel değerlendirme yaklaşımlarıyla danışmanlık hizmetleri verebiliyoruz.

Seviye 5- Yatırım getirisi (ROI-Return of Investment)
Yatırım getirisi seviyesi, Kirkpatrick’in 4 seviyeli eğitim değerlendirme modeline bir ekleme olarak, daha sonra Philip (1996) tarafından ortaya konmuştur. 5. seviye değerlendirmede, 4. seviye değerlendirme sonucu elde edilen veriler finansal veriye dönüştürülür ve eğitim için yapılan harcamayla orantılanarak, yapılan yatırımın ne oranda getiriye dönüştüğü hesaplanır.




Enocta yaklaşımı
Burada sözünü ettiğimiz yatırım getirisi modeli, kurumsal eğitimi değerlendirmede kullanılan pek çok farklı yatırım getirisi yaklaşımından sadece biridir. Literatürü incelediğimizde, kurumların yatırım getirisi hesaplamalarında farklı yaklaşımlar benimsediklerini görüyoruz. Farklı kurumların farklı yatırım getirisi modelleri benimsemeleri, kurumlar ve eğitimlerdeki farklılıklar gözetildiğinde oldukça anlamlı görünüyor. Burada altı çizilmesi gereken, yalnızca klasik eğitimle e-öğrenmeyi konsept bazında karşılaştıran yatırım getirisi modellerinin yanı sıra, eğitimin diğer özelliklerini de dikkate alan yatırım getirisi modellerinin bulunduğunun farkına varmak. Enocta olarak, kurumlara yatırım getirisine ilişkin ne gibi faydalar sağlayabilecekleri konusunda danışmanlık sağlıyoruz.

Özet 
Bu yazıda, literatürde en çok bilinen ve en sık değinilen eğitim değerlendirme modellerinden biri olan Kirkpatrick’in 4 seviyeli değerlendirme modelini ele aldık ve Philip’in bu modele yatırım getirisi yaklaşımını da dâhil ederek yaptığı katkıya değindik.
Özellikle kurumsal öğrenme alanında, hem kurumlar hem eğitimi üretenler hem de eğitimi alan kişiler açısından değerlendirmenin bir ihtiyaç olduğu yadsınamaz bir gerçek. Ancak değerlendirme alanının özünden kaynaklanan zorluklar, ticari yaşam şartlarından kaynaklanan engeller ve çeşitli finansal faktörler, kurumsal öğrenmede değerlendirmeyi hem araştırma hem de uygulama açısından geri plana itiyor. Biz Enocta olarak, kurumsal e-öğrenme çalışmalarımız için, araştırma/geliştirme faaliyetlerini temel alan, planlanmış ve iyi koordine edilmiş eğitim değerlendirme çalışmaları açığının farkındayız. Eğitimlerimizin kalitesini bir seviye daha yukarı taşıyacak bu alanda da çalışmalarımızı sürdürüyor ve birlikte çalıştığımız kurumlara ihtiyaç duydukları anda bu alanda da danışmanlık hizmeti sunuyoruz. Kurumların, eğitim işini profesyonellikle yürüten bir ekiple çalışmanın yarattığı katma değeri kendilerine katmanın farkını hissedeceklerine inanıyoruz.

Kaynakça 
  1. http://www.businessballs.com/kirkpatricklearningevaluationmodel.htm
  2. http://bozarthzone.blogspot.com/2009/01/alternatives-to-kirkpatrick.html
  3. Michalski, G. V., & Cousins, J. B. (2001). Multiple Perspectives on Training Evaluation: Probing Stakeholder Perceptions in a Global... American Journal of Evaluation, 22(1), 37. doi: Article. .
  4. Newton, R. & Doonga, N. (2007). Corporate e-learning: Justification for implementation and evaluation of benefits. A study examining the views of training managers and training providers . Education for Informationmerican, 25(1), 11-130.
  5. PhD, V. R., & PhD, B. D. Z. (2008). Evaluation in Distance Education and E-Learning: The Unfolding Model (1st ed.). The Guilford Press.
  6. Piskurich, G. M. (2000). Rapid Instructional Design : Learning ID Fast and Right. Pfeiffer.
  7. Stroher, J. (2002). An Assessment of the Effectiveness of e-learning in Corporate Training Programs. International Review of Research in Open and Distance Learning, 3 (1).

Hiç yorum yok: