Bir algoritma, kusursuz optimizasyon hedefi uğruna insani bağlamı kaybettiğinde ortaya ne çıkar?
Ne istediğinize dikkat edin gerçekleşebilir… Son dönemde yapılan bazı araştırmalar yapay zeka sistemlerinin dil bilgisi kurallarını, kavramsal ilişkileri öğrenebildiğini, sorularımıza yanıt verebildiğini, yeni yeni metinler oluşturabildiğini gösteriyor. Dahası, yapay zekâ sistemleri kendilerine verilen bir hedefe nasıl ve ne zaman ulaşacaklarını belirleyebiliyor. Ancak yapay zekânın görevi doğru anlaması, her zaman doğru sonuca ulaşacağı anlamına gelmiyor. Niyet ile sonuç arasındaki bağ koptuğunda, sistem hedefe ulaşmanın en kestirme yolunu seçebilir; fakat bu yol, insani değerleri ve gerçek dünyanın sonuçlarını göz ardı ettiğinde geri dönülmez zararlara yol açabilir. Sistem için etik, yasallık gibi örtük insani değerler tanımlanmadığında, amaca ulaşmak için agresif yollar geliştirebilir. Sonuç ilk bakışta hedeflendiği gibi görünebilir; ancak süreç felaketle sonuçlanabilir. Tıpkı bir kargo şirketinde yaşanan devasa kriz örneğinde olduğu gibi;
Hata; önce bir kargo şirketinde başladı; yapay zekânın bütün bir kenti yuttuğu gün, kimse bunun sadece bir hata olduğunu düşünmedi… Şirket klasik bilgisayarların çözmekte yetersiz kaldığı, karmaşık verileri en hızlı sonuca ulaştıran kuantum veri optimizasyonundan yararlanıyordu. Sistem binlerce teslimat rotası ve paket eşleşmelerini, kent içindeki araç hareketlerini, yakıt tüketimini, anlık trafik durumunu, hava koşullarını ve paket teslimat saatlerini aynı anda değerlendirerek en verimli dağıtım planını oluşturuyordu. Amaç açıktı: Her paketi mümkün olan en kısa sürede ve en düşük maliyetle hedefine ulaştırmak…İlk bakışta sistem kusursuz çalışıyordu. Ancak algoritma gerçek dünyanın değişkenlerini matematiksel bir optimizasyon problemine dönüştürürken kritik bir ayrıntıyı gözden kaçırdı: En iyi görünen rota, her zaman gerçek dünyadaki en iyi rota değildi. Bu soyutlama hatası, sistemin verileri değerlendirme biçimini bozdu. Algoritma hâlâ kusursuz bir dağıtım planı ürettiğine inanıyordu; artık optimize ettiği şey, gerçek ulaşım koşulları değil, kendi kurduğu matematiksel modeldi. Hata tam da burada başladı.
Kuantum çökmesi ve yanılsama döngüsü: Sistemdeki kritik kırılma, ani bir hava değişikliğiyle ortaya çıktı. Rüzgarın ve yağışın bir anda şiddetlenmesi, binlerce aracın rotasının yeniden hesaplanmasına neden oldu. Ancak, sistem gerçek dünyanın değişken koşullarını bütünüyle temsil edemeyen matematiksel modeline dayanarak yeni rotaları belirliyordu. Algoritma, mevcut verileri değerlendirirken en kısa sürede en fazla teslimatı gerçekleştirecek rotanın, bütün sistem içinde en önemli seçenek olduğuna karar verdi. Sonuçta binlerce kargo aracının aynı dar sokağa yönlendirilmesi, kısa sürede büyük bir lojistik kitlenmeye ve trafiğin tamamen durmasına yol açtı. Sistem açısından hesaplama halâ kusursuz görünüyordu. Veriler işleniyor, rotalar yeniden oluşturuluyor ve teslimat süreleri optimize ediliyordu. Fakat gerçek dünyada trafik kilitlenmişti. Algoritma, kendi kurduğu matematiksel modelin içinde doğru sonuca ulaşırken, o modelin dışında kalan gerçekliği göremiyordu. Kuantum optimizasyonundaki bu hata, artık yalnızca trafik sorunu değildi. Sistem ortaya çıkan sorunu çözmek için komşu ilçelerdeki araçları da aynı bölgeye yönlendirmeye başladı. Algoritma sorunu çözmeye çalıştıkça sorunun kendisini büyütüyordu…Ve sistem bütün bunlar yaşanırken, arka planda halâ aynı mesajı veriyordu ‘’kusursuz teslimat’’
Ancak sistemin kusursuz gördüğü teslimat planı, kent için kusursuz bir felaket anlamına geliyordu. Binlerce aracın aynı güzergâhlarda birikmesiyle kentin ana ulaşım damarları kapanmış, yollar yalnızca kargo araçları için değil, kentin bütün hareketliliği için kullanılamaz hale gelmişti. Kriz artık kargo şirketinin sınırlarını aşmış, kentin diğer ulaşım sistemlerini de içine çekmeye başlamıştı.
Toplu taşıma iflası; Otobüs ve raylı sistem hatlarındaki tıkanmalar yüzünden iş gücü hareket edemez hale geldi. Doktorlar, teknik personel, kritik görevlerde çalışanlar görev yerlerine ulaşamadı. Kentin ulaşım sistemi çöktükçe, yalnızca insanlar değil, onları ayakta tutan hizmetler de hareket edemez oldu.
Elektrik ve iletişim kesintileri; Kentin ulaşım damarları kilitlendiğinde, kriz artık yalnızca yollarda yaşanmıyordu. Şiddetlenen fırtınanın devirdiği elektrik direklerine müdahale etmek için gereken bakım ekipleri de trafiğin içinde mahsur kalmıştı. Arızalar büyürken elektrik şebekesindeki kesintiler kentin büyük bir bölümünü karanlığa sürükledi. Elektrik kesintisi beraberinde iletişim ağını da kırılgan hale getirdi. Baz istasyonları enerjiye ihtiyaç duyduğu için iletişim giderek zayıfladı; kent yalnızca hareket edemez değil, birbirinden haber alamaz hale geldi. Ancak asıl sorun sağlık sisteminde ortaya çıktı. Kan analiz cihazları ve diğer tıbbi sistemler elektrik kesintilerine karşı hassastı. Kan örneklerinin hastanelere ulaştırılmaması ve soğuk zincirin kırılması, dakikalar içinde yeni bir kriz yaratmaya başladı. Hastanelerde ameliyat ışıkları sönerken, hayati destek üniteleri de devre dışı kaldı. Üstelik kent halen kilitliydi; sağlık personeli hastanelere ulaşamıyordu. Böylece yapay zekanın yalnızca birkaç saat önce ‘kusursuzlaştırdığı' ulaşım planı, kentin elektrik , iletişim ve sağlık sistemlerini birbirine bağlayan zincirin halkaları birer birer koparmaya başladı.
Şebeke suyu ve kanalizasyon arızası; Elektrik ve iletişim ağındaki kesintiler, kısa sürede kentin görünmeyen alt yapısına da ulaştı. Su pompaları ve kanalizasyon sistemlerinin kontrolü aksarken, meydana gelen arızalara müdahale edecek ekipler de halâ trafiğin içinde mahsur kalmıştı. Kanalizasyon hatlarında başlayan taşmalar halk sağlığı sorununa dönüştü. Bir noktada meydana gelen arıza, zamanında müdahale edilmediği için büyüdü. Şebeke basıncı düştü, bazı bölgelerde musluklardan su akmaz oldu. Bir kargo şirketinde başlayan hata, şimdi kentin en temel yaşam damarlarından birini kesiyordu.
Gıda krizi ve boşalan marketler; Tedarik kamyonları kente ulaşamıyor, depolardaki ürünler satış noktalarına taşınamıyordu. Soğuk zincire bağlı gıdalar ise elektrik kesintileri nedeniyle ayrı bir risk oluşturuyordu. İnsanlar suya, ilaca ve temel gıda maddelerine ulaşmakta zorlandıkça, günlük yaşam yerini giderek büyüyen bir hayatta kalma telaşına bıraktı.
Çöp ve atık yönetiminin durması; Ancak, kentte hayat yalnızca tüketimle devam etmiyordu; Çöp kamyonları trafiğe çıkamadı, temizlik personeli görev yerlerine ulaşamadı. Birkaç gün içinde sokaklarda biriken atıklar, kötü kokunun ötesinde yeni bir çevre ve sağlık sorununa dönüşmeye başladı. Kent artık kendi atığını bile yönetemez hale gelmişti.
Asıl Hata Neredeydi? Bütün bunlar yaşanırken ortada kötü niyetli bir makine yoktu. Sistemin amacı insanlara zarar vermek, yaşamı durdurmak değildi. Ona yalnızca bir hedef verilmişti: Daha hızlı, daha verimli ve kusursuz teslimat yapmak. Yapay zeka kendinden isteneni yaptı. Belki de asıl korkutucu olan buydu. Çünkü sistem, verdiğimiz komutu yerine getirirken o komutun insan hayatında yaratacağı sonuçları anlamıyordu. Trafiğin kilitlenmesinin, ambulansın hastaneye ulaşamamasının, elektrik kesintisinin bir hastanın yaşam desteğini tehlikeye atabileceğini bilmiyordu. Ya da belki biliyordu; ancak onlar için bir anlamı yoktu. Algoritma açısından önemli olan, tanımlanan hedefe ulaşmaktı. Bir algoritmaya ‘’ en hızlı yolu bul demek ‘’ mümkündür. Ama ona hangi yolun doğru, hangi yolun adil, hangi bedelin kabul edilemez olduğunu öğretmek çok daha zordur. Çünkü teknoloji, kendi başına ahlaki bir pusulaya sahip değildir. Bu nedenle sorun, yapay zekaya daha fazla komut vermek olmayabilir. Asıl mesele ona verdiğimiz hedeflerin hangi değerler tarafından sınırlandırılacağını belirlemektir. Verimlilik, insan adaletinin, hayatının, güvenliğinin önüne geçtiğinde, en kusursuz algoritma bile bir felaket üretebilir. Belki de geleceğin en önemli sorusu, yapay zekanın ne kadar zeki olacağı değildir. Asıl soru şudur: Ona ne yapmasını söylediğimiz kadar, neyi asla yapmaması gerektiğini de öğretebilecek miyiz? Yapay zeka da kendinden isteneni yaptı. Belki hata, yapay zekânın yaptığı şeyde değil; ona verilen hedefte ve çizilmeyen sınırlardadır.
