Yetkinlik Değerlendirmesinde "Kurumsal Pantomim" ve Geçerlilik
Bu yazı dizisi Norman MacLeod'un Linkedin Platformunda yazılı ve video paylaşımları ve kitaplarından derlenerek hazırlanmıştır. Havacılık Eğitiminde Bilişsel Paradigmalar (İlk Yazı ve Diğer Bölümler)
5. BÖLÜM
Sivil havacılık endüstrisi, uçuş emniyetini artırmak amacıyla son yıllarda devrim niteliğinde adımlar atmış; geleneksel, süreye dayalı ve tekdüze manevra tekrarlarına odaklanan eğitim modellerini geride bırakarak Yetkinlik Odaklı Eğitim ve Değerlendirme (CBTA) ile Kanıta Dayalı Eğitim (EBT) sistemlerine geçiş yapmıştır. Bu dönüşümün arkasındaki temel iddia, pilotların sadece teknik becerilerini değil, aynı zamanda karar verme, liderlik, iletişim ve tehdit yönetimi gibi teknik olmayan (non-technical) yetkinliklerini de geliştirmektir. Ancak simülatör seanslarında ve line check sırasında bu yetkinliklerin nasıl ölçüldüğü ve değerlendirildiği derinlemesine incelendiğinde, karşımıza sarsıcı bir gerçek çıkmaktadır: Mevcut değerlendirme sistemleri "Geçerlilik" (Validity) ve "Güvenilirlik" (Reliability) anlamında iyileştirilmesi gereken alanlara sahiptir.
Havacılık eğitim bilimcisi Norman MacLeod’un sıklıkla dile getirdiği üzere; bugün simülatörlerde uygulanılan değerlendirme yöntemleri, pilotların gerçek bilişsel kapasitelerini ölçmekten ziyade, onları sadece eğitmeni tatmin etmeye çalışan birer oyuncuya dönüştürmektedir. MacLeod bu durumu son derece çarpıcı bir terimle tanımlar: "Kurumsal Pantomim" (Corporate Pantomime).
Yazı dizimizin ilk dört bölümünde, beynimizin dış dünyayı doğrudan algılayamadığı için "yeterince iyi" zihinsel temsiller ve tahmin hataları üzerinden uçuşu yönettiğini (Bölüm 1), CBTA ve EBT sistemlerinin felsefi olarak neden birbiriyle karıştırılmaması gerektiğini (Bölüm 2), iletişimin sosyal stresi azaltan ve zihinsel resimleri senkronize eden evrimsel bir enstrüman olduğunu (Bölüm 3) ve stres altındaki bilişsel sınırlarımız ile gerçek görev dayanıklılığının (resilience) gelişmiş bir görev yönetimi becerisi olduğunu (Bölüm 4) detaylıca incelemiştik. Yazı dizimizin bu son ve en kritik bölümünde ise, simülatör değerlendirme süreçlerindeki ölçüm yanılgılarını masaya yatıracak; pilotları sadece standart usullere (SOP) ve kurallara ne kadar uyduklarına göre puanlamanın yarattığı "kurumsal pantomim" tehlikesini analiz edeceğiz. Ayrıca, göz tarama (eye-tracking) çalışmalarının ışığında, değerlendirme sistemlerimizi mekanik kontrollerden çıkarıp pilotların beklenmedik durum ve krizlerdeki esneklik, yaratıcılık ve adaptasyon yeteneklerini ölçen geçerli yöntemlere nasıl dönüştürebileceğimizi sorgulayacağız.
Ölçme Biliminde Altın Kural: Geçerlilik ve Güvenilirlik Nedir?
Havacılıkta uçuş emniyeti gibi insan hayatını doğrudan ilgilendiren bir alanda uygulanan her türlü test ve değerlendirme sisteminin, ölçme biliminin iki temel ilkesine sıkı sıkıya uyması gerekir: Geçerlilik ve Güvenilirlik.
Geçerlilik (Validity), bir ölçüm aracının gerçekten ölçmeyi hedeflediği özelliği ne kadar doğru ve saf bir şekilde ölçebildiğidir. Örneğin, bir pilotun zihinsel problem çözme yeteneğini ölçmek istiyorsak, tasarladığımız değerlendirme aracının doğrudan bu bilişsel süreci yakalaması gerekir. Eğer ölçüm aracımız problem çözme yeteneği yerine, sadece pilotun belirli bir SOP adımını ezberden ne kadar hızlı uyguladığını ölçüyorsa, bu testin geçerliliği düşüktür.
Güvenilirlik (Reliability) ise, ölçüm aracının zaman içinde ve farklı değerlendiriciler arasında gösterdiği tutarlılık düzeyidir. Yani, aynı pilot performansını bugün gözlemleyen bir eğitmen ile yarın gözlemleyen başka bir eğitmen veya aynı performansı izleyen iki farklı eğitmen pilotun performansına aynı notu ve aynı değerlendirmeyi vermelidir.
Norman MacLeod, sivil havacılıkta kullanılan mevcut yetkinlik değerlendirme şablonlarının (örneğin IATA ve EASA tarafından yayınlanan 8 veya 9 ana yetkinlik alanı) bu iki temel kriteri karşılamada sınıfta kaldığını savunmaktadır. Bunun en büyük sebebi, insan davranışının ve bilişsel süreçlerinin son derece karmaşık, akışkan ve birbirinden bağımsız kompartımanlara bölünemez bir yapıda olmasıdır. “Bizler, pilotun kafasının içindeki o görünmez bilişsel süreçleri (karar verme, durumsal farkındalık vb.) doğrudan ölçemediğimiz için, onların dışarıya yansıyan eylemlerini (davranışlarını) ölçmeye çalışırız. Ancak gözlemlediğimiz bu dışsal davranışlar ile pilotun iç dünyasındaki gerçek yetkinliği arasındaki mesafe uzadıkça, yaptığımız değerlendirmelerin geçerliliği de kaçınılmaz olarak aşınmaktadır.”
Kelimelerin Ötesindeki Karmaşa: "Gözlemlenebilir Davranışlar" Efsanesi
Modern CBTA ve EBT sistemleri, pilot performansını değerlendirmek için "Gözlemlenebilir Davranışlar" (Observable Behaviors - OBs) adı verilen ve sayıları 70'i aşan detaylı davranış göstergelerine dayanır. Eğitmenlerin simülatör seanslarında bu davranışları tek tek izlemesi, kaydetmesi ve bunlara göre puan vermesi beklenir. Ancak MacLeod, bu yaklaşımın pratik ve bilimsel olarak çok büyük bir yanılgı içerdiğini belirtir.
İlk olarak, bu 70 küsur davranış göstergesinin çok büyük bir kısmı gerçek anlamda "gözlemlenebilir" değildir. Çoğu gösterge, içinde belirli standartlar, koşullar ve nitelendiriciler barındıran karmaşık komite dileklerinden (wish list) ibarettir.
Örneğin, "interruptions, distractions, variations, and failures effectively while performing tasks" (işleri yürütürken bölünmeleri, dikkat dağınıklıklarını, sapmaları ve arızaları etkili bir şekilde yönetir ve toparlar) şeklindeki bir göstergeyi ele alalım. Bu ifade, tek bir davranış değildir; içinde iki farklı eylem (yönetmek ve toparlamak), dört farklı operasyonel durum (bölünme, dikkat dağınıklığı, sapma, arıza) ve "etkili bir şekilde" gibi son derece öznel bir kalite segmenti barındırır.
Bir eğitmenin simülatörün yoğun iş yükü altındayken bu kadar karmaşık bir yapıyı tek bir bakışta "nesnel" olarak gözlemlemesi ve puanlaması olasılığı biyolojik olarak imkansıza yakındır.
MacLeod bu durumu kanıtlamak için eğlenceli ama sarsıcı bir oyun önerir: Bu 70 küsur davranış göstergesinden birini rastgele seçin ve bir grup insanın önünde bunu sessiz sinema gibi sadece hareketlerinizle canlandırmaya çalışın. Eğer bu davranışlar gerçekten "gözlemlenebilir" olsaydı, seyircilerin o davranışı anında tanıması gerekirdi. Ancak bu göstergelerin neredeyse hiçbirini hareketlerle canlandırmak mümkün değildir; çünkü bunlar fiziksel davranışlar değil, ancak satır aralarından ve derin analizlerden çıkarılabilecek karmaşık kognitif durumlardır.
Bunun yanı sıra, bu davranış göstergelerinin birçoğu birbiriyle örtüşmekte ve sistemde ciddi bir "bilişsel gürültüye" (cognitive noise) yol açmaktadır.
Örneğin, "Application of Knowledge" (Bilgiyi Uygulama) yetkinliği altında yer alan "knows where to source required information" (gerekli bilginin kaynağını bilir) göstergesi ile, "Application of Procedures" (Prosedürleri Uygulama) yetkinliği altında yer alan "identifies where to find procedures and regulations" (prosedürlerin ve kuralların nerede bulunacağını belirler) göstergesi arasında qualitatively (nitelsel olarak) hiçbir fark yoktur. İki farklı eğitmen, aynı pilot davranışını bu iki farklı sepete koyabilir, bu da değerlendirmeler arasındaki güvenilirliği (Inter-rater Reliability) tamamen yok eder.
Değerlendirme kategorilerinin ucu ne kadar açık ve yoruma müsaitse, eğitmenler arasındaki tutarsızlık da o kadar artmaktadır.
Değerlendirmede "Kurumsal Pantomim" Tehlikesi
Değerlendirme sistemlerinin geçerliliğini tehdit eden en sinsi faktörlerden biri de "Gözlemci Etkisi"dir (Observer Effect). Psikolojide çok iyi bilindiği üzere, insanlar izlendiklerini bildiklerinde davranışlarını değiştirirler ve kendilerini izleyen kişinin beklentilerine uygun hareket etmeye başlarlar.
Simülatör seanslarında pilotlar, kendilerini değerlendiren eğitmenin elindeki formda hangi "gözlemlenebilir davranış kutucuklarının" yer aldığını çok iyi bilirler. Sonuç olarak, gerçek operasyonel emniyeti artıracak esnek ve yaratıcı çözümler üretmek yerine, tamamen eğitmeni memnun etmeye ve o formdaki doğru kutucukların işaretlenmesini sağlamaya odaklanırlar. Kokpitte adeta ezberlenmiş, tiyatral bir oyun sergilenir: Pilotlar yüksek sesle ve abartılı bir şekilde birbirleriyle konuşur, ellerini düğmelere götürürken aşırı vurgulu hareketler yapar ve SOP kurallarını mekanik bir şekilde seslendirirler. İşte bu durum, tam anlamıyla bir "Kurumsal Pantomim"dir.
Bu pantomim esnasında ölçülen şey, pilotun gerçek operasyonel yetkinliği veya belirsiz durumları yönetme becerisi değildir; sadece pilotun simülatörde "iyi bir aday rolünü" ne kadar iyi oynayabildiğidir. Pilot kurallara mekanik bir uyum (compliance) gösterir, checklist kutucuklarını kusursuzca işaretler ancak zihnindeki algı-eylem döngüsü tamamen bu yapay tiyatroyu oynamaya odaklanmıştır. Gerçek dünyadaki krizlerin simülatördeki o öngörülebilir senaryolar gibi doğrusal ve steril olmadığını unutmamak gerekir.
Göz Tarama (Eye-Tracking) Çalışmaları ve Uzmanlığın Doğası
MacLeod’a göre; havacılıkta pilot değerlendirmelerinde sıklıkla düşülen hatalardan biri de, uzman bir pilotun her koşulda kusursuz, sistematik ve standart bir uçuş aletleri tarama (scan) düzenine sahip olması gerektiği varsayımıdır. Birçok değerlendirme formunda "etkin uçuş aletleri taraması yapar" gibi göstergeler yer alır. Ancak sivil havacılıkta ve nörolojide yapılan göz tarama (eye-tracking) araştırmaları, bu yerleşik inancı sarsmaktadır.
Normal ve sakin uçuş koşullarında, deneyimli bir Kaptan Pilotun gösterge paneli üzerindeki göz tarama hareketleri gerçekten de son derece düzenli, hızlı ve belirli kritik parametrelere odaklanan sistematik bir yapı sergiler. Ancak işler karıştığında, yani kokpitte daha önce hiç karşılaşılmamış, karmaşık ve bilinmeyen bir problem ortaya çıktığında (yani problem çözme ve anlamlandırma safhasına geçildiğinde), uzman pilotun da göz tarama düzeni tamamen bozulur. Uzman pilotun gözleri de tıpkı az tecrübeli bir pilotunki gibi, göstergeler üzerinde düzensizce ve hızla gidip gelmeye başlar.
Bunun sebebi bir yetersizlik veya durumsal farkındalık kaybı değildir; aksine insan beyninin kriz anında yeni ve güvenilir bir zihinsel resim inşa edebilmek için görsel alanda çılgınca yeni bilgi kırıntıları arama çabasıdır (information search). Beyin, büyük yordama hatası yapmamak (prediction error) ve durumu çözmek için yoğun bir kognitif çaba harcamaktadır.
Eğer bir eğitmen pilot, simülatörde kriz anında pilotun gözlerinin bu doğal ve kognitif problem çözme çabasını "yetersiz alet taraması yaptı" diyerek olumsuz puanlarsa, insan biyolojisinin en temel hayatta kalma mekanizmasını cezalandırmış olur. Bu durum, mevcut gözlemlenebilir davranış modellerinin insan bilişinin gerçek doğasından kopuk olmaması gerektiğini gösteren en net bilimsel kanıttır.
Mekanik Kontrollerden "Geçerli" Değerlendirmeye: ORCE ve ICAP Çözümü
Peki, bu tıkanmış ve kurumsal bir pantomime dönüşmüş değerlendirme sistemini nasıl düzeltilebilir? Norman MacLeod, bu bilişsel açmazı çözmek ve değerlendirmelere yeniden gerçek bir "geçerlilik" kazandırmak için sivil havacılık endüstrisine çok net, rasyonel ve uygulanabilir çözümler önermektedir.
Değerlendirmenin ilk adımı, eğitmenlerin gözlem kalitesini artıracak standart bir davranışsal izleme metodolojisi olan ORCE (Observe, Record, Classify, Evaluate) modelini kokpite ve simülatöre tam anlamıyla entegre etmektir:
Observe (Gözlemle): Eğitmenin simülatör seansında adayın sadece fiziksel hareketlerini değil, uçuşun akışı içindeki eylemlerini ve konuşmalarını (utterances) önyargısız bir şekilde izlemesidir. Bu aşamada eğitmen kesinlikle bir not vermez veya yorum yapmaz.
Record (Kaydet): Gözlemlenen somut eylemlerin ve sözlerin seans esnasında eğitmen tarafından objektif bir şekilde not edilmesidir. MacLeod, "Kaptan Pilot flap 15 istedi, Yardımcı Pilot flap kolunu çekti ama hızı doğrulamadı" gibi doğrudan somut gerçeklerin kaydedilmesi gerektiğini vurgular.
Classify (Sınıflandır): Seans bittikten ve uçağın motorları sustuktan sonra, eğitmenin aldığı somut notları ilgili yetkinlik sepetlerine yerleştirmesidir. Bu aşama, verilerin bilişsel olarak temizlenmesini sağlar.
Evaluate (Değerlendir): En son aşamada, toplanan somut kanıtlara dayanarak adayın performansına grade scale (derecelendirme ölçeği) üzerinden bir değer biçilmesidir.
Değerlendirmenin geçerliliğini ve güvenilirliğini garanti altına almanın ikinci hayati adımı ise, eğitmen kadrosunun kalibrasyonunu sağlamak amacıyla tasarlanmış olan ICAP (Instructor Concordance Assurance Program - Eğitmen Concordance Güvence Programı) metodolojisidir.
Farklı eğitmenlerin aynı pilot performansına tamamen farklı notlar vermesi, uçuş emniyet verilerinin kalitesini bozar. ICAP kapsamında eğitmenler, önceden uzmanlar tarafından değerlendirilmiş ve standart notları belirlenmiş video senaryolarını izlerler. Her eğitmen kendi değerlendirmesini yapar ve ardından bu değerlendirmeler istatistiksel analizlere tabi tutulur. Bu sayede, eğitmenlerin kendi kişisel dünya görüşlerine veya subjektif yargılarına göre değil; şirketin ve sivil havacılığın ortak emniyet standartlarına göre not vermeleri sağlanır.
Detaylı bilgi, eğitim, danışmanlık, koçluk ve psikolojik danışmanlık için: info@anahtaregitim.com
Sonuç ve Yazı Dizisinin Genel Kapanışı
"Gökyüzündeki Zihinsel Devrim" başlığıyla yola çıktığımız bu 5 bölümlük yazı dizisinin sonuna gelmiş bulunuyoruz. Yolculuğumuz boyunca, sivil havacılık eğitiminin geleceğini şekillendirecek bilimsel ve son derece yapıcı bilişsel paradigmaları birlikte inceledik.
Gördük ki; uçuş emniyetini korumanın yolu, pilotlarımızın önüne doldurulması gereken karmaşık gözlemlenebilir davranış listeleri koymak veya onları simülatörlerde "kurumsal bir pantomim" sergilemeye zorlamak değildir. Gerçek emniyet; pilotun kafatasının içindeki dünyada ürettiği "yeterince iyi" zihinsel temsilleri güçlendirmek, yordama hatalarını rasyonel bilgilerle en az enerjiyle açıklayabilmesini sağlamak, kokpitte hiyerarşik baskıyı kırarak Psikolojik Güvenliği inşa etmek ve beklenmedik krizlerde esnek bir görev yönetimiyle dayanıklılık (resilience) gösterebilmesini sağlamaktır.
Sadece kurallara mekanik uyum gösteren "otomatlar" değil, bilinmezliğin ortasında emniyetli çözümler üretebilen gerçek "yaratıcı problem çözücüler" yetiştirilebilir. Kokpitteki en büyük güç olan insan zihnini hak ettiği derinlikle eğitmek ve değerlendirmek, ortak gökyüzü sorumluluğudur.
Kaynakça
MacLeod, N. (2005). Building Safe Systems in Aviation: A CRM Developer's Handbook. Ashgate Publishing.
MacLeod, N. (2021). Crew Resource Management Training: A Competence-based Approach for Airline Pilots. CRC Press, Taylor & Francis Group.
Neerincx, M. A. (2003). Cognitive task load analysis: Allocating tasks and designing support. In E. Hollnagel (Ed.), Handbook of Cognitive Task Design (pp. 283–305). Lawrence Erlbaum Associates.
Bu 5 bölümlük makale serisi, havacılık eğitim bilimcisi Norman MacLeod'un LinkedIn platformlarında yayınladığı video konuşmaları ve havacılık emniyeti üzerine kaleme aldığı bilimsel makaleler temel alınarak hazırlanmıştır.
Yorumlar