Pilot Eğitiminde Yetkinliğin Ölçülmesi: CBTA Değerlendirmelerinde Eğitmen Eğilimleri ve Söylenenler ile Yapılanlar Arasındaki Görünmeyen Köprü

Havacılık endüstrisi, kurulduğu ilk günden bu yana emniyet standartlarını en üst düzeyde tutmak amacıyla sürekli bir dönüşüm ve gelişim içerisindedir. Bu dönüşümlerden son yıllarda en çok ses getireni, pilot eğitim felsefesinde yaşanan köklü değişimdir. Geleneksel olarak uçuş saatlerini doldurmaya, belirli görevlerin tamamlanmasına veya tekil teknik egzersizlerin başarıyla icra edilmesine dayanan eğitim modelleri, yerini artık çok daha dinamik ve bütünsel bir yaklaşıma bırakmaktadır.

Bu yeni yaklaşımın adı: Yetkinliğe Dayalı Eğitim ve Değerlendirme (CBTA).

CBTA, bir pilotun uçuş emniyetini en üst düzeyde sağlayabilmesi için ihtiyaç duyduğu temel becerileri, bilgileri ve davranışsal yetkinlikleri tanımlamayı hedefler. Sadece uçuş saatlerini doldurmuş olmaya değil; gözlemlenebilir performans standartlarının oluşturulmasına, farklı bağlamlarda bu performansların kanıtlanmasına ve pilot adayının bu standartlara gerçekten ulaşıp ulaşmadığının objektif olarak ölçülmesine odaklanır. CBTA mimarisinde değerlendirme süreci, eğitimin sonunda yer alan sıradan bir idari işlem değildir. Aksine, eğitim ihtiyaçlarının belirlendiği, performansın sürekli analiz edildiği ve bir sonraki aşamaya geçiş ya da ek eğitim kararlarının şekillendirildiği yaşayan, dinamik bir mekanizmadır.

Ancak CBTA’nın başarısı, kağıt üzerindeki harika tanımlamalardan çok daha fazlasına bağlıdır: Sistemi işleten eğitmenlerin değerlendirme süreçlerindeki objektifliğine ve tutarlılığına.

Kaptan Pilot Srinivas Rao FRAeS tarafından gerçekleştirilen güncel bir araştırma, eğitmenlerin kendilerini nasıl değerlendirdikleri ile gerçekte nasıl not verdikleri arasındaki ilişkiyi mercek altına alarak, havacılık eğitim merkezleri için ezber bozan bulgular ortaya koyuyor.

CBTA Değerlendirme Karar Döngüsü: Görünenden Görünmeyene Yolculuk

CBTA kapsamında gerçekleştirilen bir değerlendirme süreci, tek bir not vermekten çok daha karmaşık ve birbirine bağlı adımlardan oluşan bir döngüdür. ICAO standartlarına göre bu süreci bir Değerlendirme Karar Döngüsü olarak tanımlayabiliriz. Bu döngü şu beş temel aşamadan oluşur:

1. Performans Kanıtı (Performance Evidence): Pilot adayının uçuşta, simülatörde veya diğer eğitim ortamlarında sergilediği, gözlemlenebilir davranışlar bütünüdür. Bu aşama tamamen somut verilere ve gözlemlere dayanır.

2. Eğitmenin Yorumu (Instructor Interpretation): Eğitmen, gözlemlediği bu somut performans kanıtlarını analiz eder. Bunları ilgili yetkinlik kriterleri, SOP’ler (Standart Operasyon Usulleri) ve uçuş bağlamı çerçevesinde anlamlandırır.

3. Profesyonel Değerlendirme (Professional Judgement): Eğitmen, yorumladığı kanıtların hedeflenen performans standardına kıyasla ne kadar anlamlı ve yeterli olduğuna dair profesyonel bir yargıya varır.

4. Derecelendirme (Rating): Eğitmenin vardığı bu profesyonel yargı, eğitim merkezinin kullandığı değerlendirme ölçeğine (örneğin 1-5 arası bir skala) dökülür ve resmi bir nota dönüştürülür.

5. Eğitim, İyileştirme veya İlerleme Kararı (Training, Remediation or Progression Decision): Verilen bu derecelendirme notu, bir sonraki adımı belirler. Pilot / pilot adayının eğitimine devam mı edeceği, ek bir iyileştirme eğitimi mi alacağı, yoksa bir sonraki aşamaya mı geçeceği bu nota göre kararlaştırılır.

Bu döngünün en ilginç yönü, uçlardaki elemanların çok net bir şekilde belgelenebilmesidir. Yani, adayın sergilediği ilk performans kanıtı kaydedilebilir ve döngünün sonundaki resmi karar (geçti/kaldı veya ek uçuş) eğitim yönetim sistemine kolayca girilebilir. Ancak bu ikisinin arasında kalan süreç—yani eğitmenin kanıtları nasıl yorumladığı ve bunu profesyonel bir yargıya dönüştürürken zihninde hangi süreçlerden geçtiği—çoğunlukla karanlıkta kalır, yani dışarıdan görünmez.

İşte tam bu noktada çok önemli bir soru ortaya çıkıyor: Farklı eğitmenler, aynı uçuş performansını izlediklerinde aynı profesyonel yargıya varıp aynı notu mu veriyorlar?. CBTA'da profesyonel yargının varlığı sistemin bir zayıflığı değil, tam aksine en güçlü yönüdür. Ancak asıl zorluk, eğitmenler arasındaki değerlendirme varyasyonunun (farklılığının) kabul edilebilir sınırlar içinde kalmasını ve eğitmenler arası tutarlılığın (inter-rater reliability) sağlanabilmesidir.

Söylenenler ve Yapılanlar: Bir Eğitmen Değerlendirme Eğilimleri Araştırması

Kaptan Pilot Srinivas Rao’nun liderliğinde gerçekleştirilen araştırma, eğitmenlerin kendi değerlendirme felsefelerini tanımlama biçimleri ile bir test aracı üzerinde gerçekleştirdikleri gerçek derecelendirme davranışları arasındaki ilişkiyi incelemektedir.

Araştırmanın Metodolojisi ve Katılımcı Profili

Araştırmaya, dört farklı bölgeden 32 ab-initio (sıfırdan yetişen pilot eğitimi) eğitmeni katılmıştır. Bu eğitmenler uçuş eğitmenleri, simülatör eğitmenleri ve yer dersi eğitmenlerinden oluşmaktadır. Katılımcı havuzunun %56'sı sadece tek bir role (uçuş eğitmeni) sahip olup, %75'i (32 eğitmenin 24'ü) Asya bölgesinde görev yapmaktadır. Araştırma kapsamında eğitmenlere, öğrencilerin performanslarını derecelendirmelerini gerektiren 24 farklı durum sunulmuş ve toplamda 766 adet geçerli derecelendirme (1 ile 5 arası notlar) elde edilmiştir.

Büyük Tezat: Kağıt Üzerindeki Felsefe ile Gerçek Kararlar

Araştırmaya katılan eğitmenlerin tam %84'ü, "Performans gerçekten olağanüstü veya açıkça emniyetsiz olmadıkça uç değerlerde (1 veya 5) not vermekten kaçınırım" ifadesini desteklemiştir. Eğitmenler kendilerini genellikle "orta yolu tercih eden, aşırı uç notlar vermekten kaçınan" profesyoneller olarak tanımlamışlardır.

Ancak araştırma aracından elde edilen 766 gerçek derecelendirme incelendiğinde şaşırtıcı bir tablo ortaya çıkmıştır:

• Gerçekte verilen notların %22,5'ini en uçtaki notlar olan 1 ve 5 puanları oluşturmuştur.

• Notların %7,6'sı "1" (kesinlikle katılmıyorum / emniyetsiz), %14,9'u ise "5" (kesinlikle katılıyorum / mükemmel) olarak dağılmıştır.

• Notların en büyük kısmı %36,0 ile "4" ve %24,9 ile "3" seviyesinde yoğunlaşmıştır.

Peki, eğitmenlerin "Ben uç notlar vermekten kaçınırım" yönündeki kişisel beyanları ile gerçek değerlendirme davranışları arasında istatistiksel olarak anlamlı bir bağ var mıdır? İstatistiksel analiz sonuçları bu soruya sarsıcı bir yanıt veriyor: İki değişken arasındaki korelasyon katsayısı sadece rho = +0.16 (p = 0.40) olarak ölçülmüştür.

İstatistikte bu değer, iki durum arasında tespit edilebilir hiçbir doğrusal ilişki olmadığını gösterir. Yani bir eğitmenin, "Ben çok katıyım" ya da "Uç derecelendirmeler yapmaktan kaçınırım, ortaları tercih ederim" şeklindeki kendi değerlendirme felsefesini tanımlama biçimi, onun gerçekte nasıl not vereceğini tahmin etmek için hiçbir şekilde güvenilir bir gösterge değildir. Eğitmenler içtenlikle objektif ve koruyucu bir felsefeye sahip olduklarını beyan etseler de, her bir değerlendirme anında verdikleri kararlar çok farklı dinamiklerin etkisi altında şekillenmektedir.

Eğitmenlerin Ortak Refleksi: Standartları Koruma Güdüsü

Araştırmanın sunduğu bir diğer çok değerli veri ise havacılık eğitmenlerinin ortak mesleki kültürüne dairdir. Araştırmada eğitmenlerin en güçlü şekilde desteklediği ve üzerinde fikir birliğine vardığı ifadeler, onların gevşek veya toleranslı değerlendiriciler olmaktan ziyade, standartları korumaya aşırı derecede odaklandıklarını kanıtlamaktadır:

• Gereksiz İlerlemeye Karşı Kararlılık (%72): Eğitmenlerin %72'si, "Öğrencinin harcadığı çaba ya da gösterdiği gelişme ne olursa olsun, bir sonraki aşamaya geçmeden önce mutlaka belirlenen performans standardını karşılaması gerekir" ilkesini benimsemiştir.

• Ek Eğitim Verme Eğilimi (%69): Katılımcıların %69'u, sınırda performans gösteren bir öğrencinin bir üst aşamaya geçmesine onay vermektense, ona ek uçuş saatleri veya pratik görevleri atamayı çok daha rahatlatıcı bulduğunu belirtmiştir.

• Tekrar ve Hassasiyet (%62): Eğitmenlerin %62'si, daha yüksek bir uçuş hassasiyeti ve doğruluğu elde etmek adına öğrencilerden uçuş egzersizlerini sık sık tekrarlamalarını talep ettiğini doğrulamıştır.

• Yavaş Ama Emin Adımlar (%56): Katılımcıların %56'sı, sınırda bir performans sergileyen öğrencinin hızlıca ilerlemesine izin vermek yerine, onun eğitim sürecini uzatmayı ve ilerlemesini geciktirmeyi tercih ettiğini ifade etmiştir.

Bu veriler, eğitmenlerin genel tutumunun standartları koruyucu, emniyet odaklı ve havacılık disiplinine son derece sadık olduğunu net bir şekilde ortaya koymaktadır. Ancak buradaki ironi şudur: Eğitmenlerin bireysel olarak "emniyet ve standart odaklı" olmaları, onların hep birlikte aynı değerlendirme standardını yakaladıkları anlamına gelmez. Eğitmenlerin hepsi kendi zihninde yüksek standartları korumaya çalışırken, bu standartları uygulama ve derecelendirme biçimlerinde ciddi tutarsızlıklar yaşanabilmektedir.

Eğitmen Öz-Değerlendirmelerindeki Çelişkiler ve Metodolojik Sınırlar

Araştırmanın analiz aşamasında ortaya çıkan bir diğer dikkat çekici bulgu ise, eğitmenlerin anket sorularını yanıtlarken sergiledikleri "genel onaylama eğilimi"dir (acquiescence bias). Araştırmada kullanılan anket soruları incelendiğinde, katılımcıların neredeyse üçte ikisinin, mantıksal olarak birbiriyle doğrudan çelişen en az bir çift ifadeyi aynı anda onayladığı görülmüştür.

Örneğin, eğitmenlerin anket sorularına verdikleri genel yanıtlar analiz edildiğinde, anket sorularına "evet" deme eğilimi yüksek olan gruptaki eğitmenlerin %93'ünün çelişkili ifadeleri aynı anda onayladığı tespit edilmiştir. Bu durum, eğitmenlerin kendi değerlendirme tarzları üzerine düşünürken ve bunu kağıda dökerken aslında bilişsel olarak rasyonel bir analiz yapmaktan ziyade, kulağa hoş gelen, mesleki olarak doğru kabul edilen ifadelere katılma eğiliminde olduklarını göstermektedir.

Bu bulgu bizlere, sadece anketler veya eğitmen öz-değerlendirmeleri üzerinden bir uçuş okulundaki eğitim kalitesini ya da değerlendirme standardizasyonunu ölçmenin ne kadar yanıltıcı olabileceğini bir kez daha kanıtlamaktadır.

Havacılık Eğitim Merkezleri İçin Yol Haritası: Ne Yapmalı?

Peki, havacılık sektörü ve uçuş akademileri, CBTA standartlarının kağıt üzerinde kalmaması ve tüm eğitmenlerin gerçekten tutarlı değerlendirmeler yapabilmesi için hangi adımları atmalıdır? Kaptan Pilot Srinivas Rao’nun araştırmasından yola çıkarak dört temel stratejik adım önerebiliriz:

1. Öz-Değerlendirmeleri Tek Ölçüt Olarak Kullanmayın

Eğitmenlerin kendi değerlendirme tarzlarını ve felsefelerini anlattığı öz-değerlendirme formları veya mülakatlar, onların profesyonel gelişimi ve öz-yansıtma (reflective practice) becerileri için son derece değerlidir. Ancak bir eğitmenin "nasıl not verdiğini" ölçmek için bu beyanları asla tek başına bağımsız bir veri kaynağı olarak kabul etmeyin. Beyan edilen felsefe ile gerçek değerlendirme davranışı arasındaki köprü her zaman düşündüğümüzden daha zayıftır.

2. Ortak Gözlemlerle Kalibrasyon (Calibration Against Shared Observation) Yapın

Eğitmenlerin standartları aynı şekilde yorumlamasını sağlamanın en etkili yolu, onları ortak bir gözlem platformunda buluşturmaktır. İki veya daha fazla eğitmenin aynı kaydedilmiş simülatör seansını veya uçuş performansını bağımsız olarak izlemesini ve derecelendirmesini sağlayın. Daha sonra verdikleri notları karşılaştırarak nerede, neden ve nasıl farklılaştıklarını tartışmalarına olanak tanıyın. Buradaki amaç, eğitmenlerin profesyonel yargı yeteneğini yok etmek veya onları birer robota dönüştürmek değildir; amaç, yargılardaki farklılıkları görünür kılmak, anlamak ve kalibre etmektir.

3. Değerlendirme Verilerini Profesyonel Yansıtmayla Birlikte Analiz Edin

Eğitim merkezleri, eğitmenlerin verdikleri notların dağılımını, görev bazlı başarı oranlarını ve eğitim aşamalarındaki not paternlerini düzenli olarak analiz etmelidir. Bu analizleri yaparken öğrencilerin bireysel yeteneklerini, uçuş görevlerinin zorluk derecesini ve eğitimin hangi evresinde olunduğunu da göz önünde bulundurmak gerekir. Herhangi bir eğitmenin not dağılımının genel ortalamadan saptığını gördüğünüzde, bunu otomatik olarak "doğru" ya da "yanlış" olarak etiketlemek yerine, eğitmenle birlikte bu verileri inceleyip değerlendirme felsefesi üzerine profesyonel bir tartışma başlatın.

4. Derecelendirme Ölçeğinin Uç Noktalarını Gerçekten Kullanın

Kullanılan 1-5 arası değerlendirme ölçeklerinde uç noktaların (örneğin 1: Emniyetsiz Performans veya 5: Olağanüstü/Kusursuz Performans gibi) ne anlama geldiği net bir şekilde tanımlanmış olmalıdır. Eğer bir kurum bu tanımları yapmışsa, gerçek uçuş performansları bu tanımları karşıladığında eğitmenlerin bu notları vermekten çekinmemesi sağlanmalıdır. Eğer eğitmenler her ne olursa olsun hep 3 ve 4 notları arasında sıkışıp kalırsa, derecelendirme ölçeği ayrıştırıcı gücünü (discriminatory power) tamamen kaybeder. Uç notlar, emniyetin kırmızı çizgilerini veya mükemmelliğin sınırlarını çizmek için oradadır ve gerektiğinde cesurca kullanılmalıdır.

Sonuç: CBTA’nın Kalbi İnsanda Atıyor

Yetkinliğe Dayalı Eğitim ve Değerlendirme (CBTA), modern havacılık eğitiminin en güçlü ve emniyet odaklı yapı taşıdır. Ancak her mükemmel sistem gibi, CBTA da en nihayetinde onu uygulayan insan faktörünün omuzlarında yükselir. Eğitmenlerin mesleki bilgisi, SOP’lere bağlılığı ve emniyet odaklı yaklaşımları tartışmasız çok yüksektir; ancak bu yüksek mesleki bilinç, kendiliğinden standart ve tutarlı bir değerlendirme davranışı yaratmaya yetmemektedir.

Kaptan Pilot Rao’nun çalışmasının bize gösterdiği en önemli gerçek şudur: Değerlendirme standardizasyonu, sadece sınıfta verilen teorik metodoloji eğitimleriyle veya eğitmenlerin "ben objektifim" beyanlarıyla sağlanamaz. Bu, sistem tarafından sürekli olarak izlenmesi, ölçülmesi ve kalibre edilmesi gereken ampirik ve yaşayan bir süreçtir.

Eğer pilot eğitiminde gerçekten yüksek standartlar ve maksimum uçuş emniyeti hedefliyorsak, eğitmenlerimizin profesyonel yargılarını özgür bırakmalı ancak bu yargıların tutarlılığını sağlamak için veriye dayalı kalibrasyon mekanizmalarını sistemli bir şekilde işletmeliyiz. Unutmayalım ki, kokpitteki emniyetin sınırları, eğitimdeki değerlendirmelerin objektifliği ve kalitesiyle çizilir.

Kaynakça

• International Civil Aviation Organization. (2021). Training Instructors Guide (Doc 10097). ICAO.

• International Civil Aviation Organization. (2025). Supporting enhancements in pilot training through modification to ICAO competency-based training and assessment (CBTA) (A42-WP/179 TE/56). ICAO.

• Landy, F. J., & Farr, J. L. (1980). Performance rating. Psychological Bulletin, 87(1), 72–107.

• Podsakoff, P. M., MacKenzie, S. B., Lee, J.-Y., & Podsakoff, N. P. (2003). Common method biases in behavioral research: A critical review of the literature and recommended remedies. Journal of Applied Psychology, 88(5), 879–903.

• Saal, F. E., Downey, R. G., & Lahey, M. A. (1980). Rating the ratings: Assessing the psychometric quality of rating data. Psychological Bulletin, 88(2), 413-428.

• Thornton, G. C. III. (1980). Psychometric properties of self-appraisals of job performance. Personnel Psychology, 33, 263-271.

• Weijters, B., Baumgartner, H., & Schillewaert, N. (2013). Reversed item bias: An integrative model. Psychological Methods, 18(3), 320-334.