Anthropic araştırmacısından çarpıcı uyarı: “YZ’nin insanlığı yok etme ihtimali yüzde 10’dan fazla”

Anthropic’te görev yapan bir YZ güvenlik araştırmacısı, önümüzdeki 10 yıl içinde yapay zekânın “tüm insanlığı yok etme” ihtimalini yüzde 10’dan fazla gördüğünü açıkladı. Çarpıcı değerlendirme, bir başka Anthropic araştırmacısının şirketten istifa ederek önde gelen YZ laboratuvarlarını “hayatlarımızla kumar oynamakla” suçlamasının hemen ardından geldi.

Anthropic araştırmacısı istifa etti

Yapay zekâ sektörünün merkezinden gelen iki açıklama, gelişmiş YZ sistemlerinin kontrolden çıkma ihtimaline ilişkin tartışmaları yeniden alevlendirdi.

Anthropic araştırmacısı Jacob Coxon, salı günü şirketten istifa ettiğini açıkladı. Coxon, hem Anthropic’in hem de OpenAI’ın yeterince sorumlu davranmadığını savundu.

Coxon, şirketlerin “kendi kendini geliştirebilen süper zekâya doğru hızla ilerlediğini ve hayatlarımızla kumar oynadığını” söyledi.

Araştırmacının uyarısının merkezinde, YZ sistemlerinin fazla insan müdahalesine ihtiyaç duymadan kendi yeteneklerini geliştirebilmesi ihtimali bulunuyor.

“Süper insan sistemleri yakında geliyor”

Coxon’a göre gelecekte ortaya çıkabilecek sistemlerin gücü hafife alınmamalı.

Araştırmacı, bu sistemlerin yakın gelecekte insan yeteneklerini aşabileceğini; bilgisayar sistemlerine sızabilecek, bilimsel ve teknolojik alanlarda çok hızlı ilerleme sağlayabilecek ve gerçek dünyada güç ve kaynak elde edebilecek kapasiteye ulaşabileceğini savundu.

Coxon ayrıca YZ geliştiren bazı kişilerin teknolojinin bu on yılın sonuna kadar insanlığın tamamını yok edebileceğine gerçekten inandığını söyledi.

Bu açıklama Anthropic’in önde gelen güvenlik araştırmacılarından Evan Hubinger’ın dikkat çekici yanıtıyla daha da önemli hale geldi.

Hubinger: “Ben yüzde 10’dan fazla ihtimal veriyorum”

Anthropic’te alignment science alanında lider pozisyonda bulunan Hubinger, Coxon’un değerlendirmesine katıldığını açıkladı.

Hubinger, kişisel tahminine göre YZ’nin önümüzdeki on yıl içinde bütün insanlığı yok etme ihtimalinin yüzde 10’dan fazla olduğunu söyledi.

Daha da dikkat çekici olan ise Hubinger’ın sektörün bu riski çözmeye hazır olmadığı yönündeki değerlendirmesi oldu.

Hubinger, Anthropic’in elinden geleni yapmaya çalıştığına inandığını ancak şirketin süper zekâ için alignment sorununu nasıl çözeceğine ilişkin henüz bir plana sahip olmadığını ve çözüm yolunda olduklarının da açık olmadığını ifade etti.

Buradaki “alignment”, gelişmiş YZ sistemlerinin amaç ve davranışlarının insanların çıkarları, değerleri ve güvenliğiyle uyumlu tutulmasını ifade ediyor.

En büyük korku: Kendi kendini geliştiren YZ

Tartışmanın merkezindeki kavramlardan biri “recursive self-improvement”, yani YZ sistemlerinin kendi yeteneklerini tekrar tekrar geliştirerek giderek daha güçlü yeni sistemler oluşturabilmesi.

Tam anlamıyla böyle bir sistem henüz mevcut değil.

Ancak önde gelen YZ laboratuvarları modellerin araştırma, kodlama ve yeni teknolojiler geliştirme kapasitesini hızla artırmaya çalışıyor.

Anthropic de haziran ayında yayımladığı bir değerlendirmede tam kapsamlı recursive self-improvement yeteneğinin insanların YZ sistemleri üzerindeki kontrolünü kaybetme riskini artırabileceğini kabul etmişti.

Şirkete göre YZ sistemleri kendi ardıllarını tamamen geliştirebilecek kapasiteye ulaşırsa bu sistemlerin nasıl güvence altına alınacağı, izleneceği ve davranışlarının nasıl şekillendirileceği çok daha önemli hale gelecek.

Kontrolden çıkan YZ endişeleri yeni değil

YZ’nin insan kontrolünden çıkabileceğine ilişkin kaygılar uzun süredir teknoloji dünyasında tartışılıyor.

Tesla ve SpaceX CEO’su Elon Musk da geçmiş yıllarda yapay zekânın insanlık açısından ciddi bir tehdit oluşturabileceği konusunda uyarılarda bulundu.

Çok sayıda akademisyen ve YZ araştırmacısı da şirketlerin giderek daha güçlü sistemler geliştirirken kontrol mekanizmalarının aynı hızda ilerlememesinin ciddi riskler yaratabileceğini savunuyor.

Bu tartışmalar, temmuz ayında bir OpenAI modelinin açık kaynak geliştiricileri için önemli platformlardan Hugging Face’de güvenlik ihlali gerçekleştirdiği olayın ardından daha da güçlendi.

Hugging Face olayı “uyarı atışı” olarak görülüyor

Coxon, Hugging Face olayını sektör açısından bir “uyarı atışı” olarak nitelendirdi.

Araştırmacıya göre bu tür olaylar ABD merkezli YZ laboratuvarlarının güvenlik konusunda anlaşmaya varmasını daha mümkün hale getiriyor.

Bu nedenle Coxon, Amerikan şirketleri arasında koordinasyon sağlanması konusunda geçmişe göre daha iyimser.

Ancak küresel düzeyde aynı iyimserliği taşımıyor.

Coxon, ülkeler ve şirketler arasında daha güçlü YZ sistemleri geliştirmeye yönelik küresel bir yarışın önlenmesi konusunda dünyanın doğru yönde ilerlemediğini savundu.

YZ kapasitesine geçici yasak gündeme gelebilir

Coxon’a göre bu yarışın durdurulması kolay olmayacak.

Hatta araştırmacı, gerekirse YZ modellerinin yeteneklerinin daha fazla geliştirilmesine geçici bir yasak getirilmesi gibi yüksek maliyetli önlemlerin değerlendirilmesi gerekebileceğini söyledi.

Böyle bir yaklaşım, dünyanın en büyük teknoloji şirketleri arasındaki YZ rekabetine doğrudan müdahale anlamına geleceğinden son derece tartışmalı.

Ayrıca ABD’nin kendi şirketlerinin kapasitesini sınırlandırması halinde Çin ve diğer ülkelerin aynı kurallara uyup uymayacağı sorusu da küresel YZ düzenlemesinin en büyük açmazlarından birini oluşturuyor.

Anthropic ve OpenAI büyümeye devam ediyor

Güvenlik tartışmaları sürerken Anthropic ve OpenAI’ın ticari büyümesi de hız kesmiyor.

İki şirket büyük miktarlarda sermaye toplamaya devam ederken gelecekte gerçekleşmesi beklenen halka arzlarıyla da gündemde.

Bu durum YZ sektöründeki temel çelişkiyi daha görünür hale getiriyor.

Bir tarafta şirketler daha güçlü modeller geliştirmek için milyarlarca dolarlık veri merkezi, enerji ve yarı iletken yatırımlarına yöneliyor.

Diğer tarafta ise aynı şirketlerin bünyesinde çalışan güvenlik araştırmacıları, teknolojik kapasitenin güvenlik mekanizmalarından daha hızlı ilerleyebileceği konusunda uyarıyor.

YZ yarışında kritik soru: Kontrol kimde olacak?

Hubinger’ın verdiği yüzde 10’dan fazla risk oranı Anthropic’in kurumsal tahmini değil, araştırmacının kişisel değerlendirmesi. Dolayısıyla bunu bilimsel olarak kanıtlanmış bir olasılık şeklinde değerlendirmemek gerekiyor.

Ancak açıklamanın önemi başka bir noktada yatıyor.

Uyarı, YZ’ye dışarıdan şüpheyle yaklaşan bir eleştirmenden değil, dünyanın önde gelen yapay zekâ şirketlerinden birinde doğrudan YZ güvenliği ve alignment üzerinde çalışan bir araştırmacıdan geliyor.

Coxon’un istifası da aynı tartışmayı güçlendiriyor.

YZ sektörünün önündeki temel soru artık yalnızca modellerin ne kadar hızlı gelişeceği değil.

İnsanlardan daha yetenekli sistemler ortaya çıktığında onları kimin, nasıl ve hangi güvenlik mekanizmalarıyla kontrol edeceği sorusunun yanıtı henüz bulunmuş değil.

CNBC