1986’daki Challenger fırlatmasından önceki gece Morton Thiokol mühendisleri, mekiğin O-ring contalarının soğukta daha kötü performans göstereceği konusunda uyarıda bulundu. Öngörülen sıcaklık 26 ile 29 derece Fahrenheit arasındaydı ve mekiğin daha önce uçtuğu her şeyin çok altındaydı. Uyarı karar vericilere slaytlar halinde ulaştı ve slaytlar mühendislerin bildiklerini düzleştirdi.
Deniz Tunçalp’in Journal of Management History’de yayımlanan yeni makalesi, kurumların bu örüntüyü üretken yapay zeka ile tekrarladığını savunuyor. Teknoloji yeni, arkasındaki baskı eski. Yöneticiler kısa ve hemen harekete geçilebilir brifingler istiyor ve bunları sunan her araç, brifingin neyi dışarıda bırakacağına sessizce karar veriyor.
Slaytlarda ne ters gitti
Makale Rogers Komisyonu raporundan, Diane Vaughan’ın NASA çalışmasından ve Edward Tufte’nin slaytların kendisine dair analizinden yararlanıyor. Madde işaretli bir slayt olasılıksal ve doğrusal olmayan bir akıl yürütmeyi taşıyamazdı. Bu yüzden mühendisler kesin kanıttan yoksun görünüyordu. 13 grafikli sunum, O-ring hasarı olmayan uçuşların sıcaklık verilerini de dışarıda bıraktı. Soğuk ile arıza arasındaki bağı gösterecek karşılaştırma böylece ortadan kalktı. İspat yükü de yer değiştirdi. Yöneticilerin artık fırlatmanın güvenli olduğunu göstermesi gerekmiyordu, mühendisler ise fırlatmanın tehlikeli olduğunu kanıtlamak zorundaydı.
Yapay zekada aynı örüntü
Önce bir modelin aynı anda ne kadar okuyabildiğine bakın. Bir belge modelin bağlam penceresinden uzun olduğunda birçok sistem ilk bölümü okuyor ve atladığı kısımlar hakkında hiçbir not düşmeden yine de kendinden emin bir özet yazıyor. Sınırın içinde bile araştırmalar, modellerin uzun girdilerin ortasındaki bilgiyi daha zayıf işlediğini gösteriyor. Makale buna token temelli epistemik filtreleme (token-based epistemic filtering) diyor.
Sonra sürecte uzmanın yeri var. Mata v. Avianca davasında bir avukat içtihat araştırması için ChatGPT kullandı ve altı uydurma atıf içeren bir dilekçe sundu. Makale buna algoritmik epistemik ikame (algorithmic epistemic substitution) diyor. Bu durum, çıktı nihai cevap sayıldığında ve hiçbir uzman onu kontrol etmediğinde ortaya çıkıyor.
Son olarak yapay zeka araçları, hataların hızla yayıldığı süreçlerin içinde yer alıyor. Makale, Charles Perrow’un normal kazalar kuramını izleyerek, karmaşık ve sıkı bağlı sistemlerin yönetim ne isterse istesin bir miktar arıza üreteceğini savunuyor.
Döngü nasıl kuruluyor
Makalenin modeli bir döngü. Sadeleştirme baskısı, kurumu sadeleştiren bir araç benimsemeye yöneltiyor. Araç filtreliyor ve çıktısı eksiksiz ve kendinden emin görünüyor. Ona dayanan kararlar yeterince sık işe yarıyor ve insanlar kontrolü bırakıyor. Vaughan bunu NASA’da sapmanın normalleşmesi olarak adlandırmıştı. Bağımlılık büyüyor. Sonunda bir arıza geldiğinde, nedeni düzenin içine yerleşmiş olsa da daha önce hiç yaşanmamış gibi görünüyor. Yararlar hemen görünür, riskler gizli kalır. Bu yüzden kurumlar tarihi bilseler bile benimsemeye devam ediyor.
Argümanın geçerli olduğu yerler
Argüman koşulludur. En güçlü biçimde, riski yüksek, uzmanlığa dayanan ve zaman baskısı altındaki kararlar için geçerli. Sağlık, hukuk, finans ve güvenliği kritik mühendislik bunlara örnek. Rutin işler, beyin fırtınası ve kolay doğrulanabilir sorular için makale, yararların riskleri aşabileceğini söylüyor. Makale aynı zamanda kavramsal bir çalışma, dolayısıyla modelin deneysel olarak sınanması gerekiyor.
Ne yapmalı
Makale, epistemik dayanıklılık uygulamaları adını verdiği bir dizi öneri sunuyor. Kontrolü riske, kararın geri alınmasının ne kadar zor olduğuna, uzmanlık bilgisine ne kadar dayandığına ve sistemin kapsamının ne kadar opak olduğuna göre ayarlayın. Bir araç girdinin tamamını kapsadığını doğrulayamıyorsa çıktısını kısmi bir örnek sayın ve bir uzmana inceletin. Sistemlerin girdinin hangi bölümlerini işlediğini açıklamasını bekleyin. Bağımsız alan uzmanlarından oluşan kırmızı takımlar kurun. Yapay zekanın taslak hazırladığı, uzmanların inceleyip not düştüğü, ekibin yapay zekanın neyi kaçırmış olabileceğini tartıştığı ve nihai kararın ikisini birleştirdiği iş akışları tasarlayın. Özetlerin ne sıklıkla kullanıldığına ve kimsenin doğrulayıp doğrulamadığına dair denetim izleri tutun.
Makale üretken yapay zekadan kaçınmayı önermiyor. Amacı yapısal dinamikleri görünür kılmak, böylece kurumlar bunlara göre harekete geçebilsin. Kapanış cümlesi riskleri kısaca özetliyor. Hayatlar, adalet ve kurumun varlığı kararlara bağlı olduğunda, makalenin deyişiyle “iyi bilmenin kestirme yolu yoktur.”
Makalenin tamamını, Historical failures and epistemic accidents, Journal of Management History’de okuyabilirsiniz. Ekibiniz yapay zeka araçlarını benimsiyorsa ve doğrulamanın nerede olması gerektiğine karar vermek istiyorsanız, bize ulaşın.