Yapay Genel Zeka (AGI), gelişmiş hesaplama gücüne ve insan seviyesinde zekaya sahip olacak. AGI sistemleri öğrenebilecek, problemleri çözebilecek, uyum sağlayabilecek ve kendilerini geliştirebilecekler.
Hatta, tasarlandıkları şeylerinde ötesinde dahi görev yapabilecekler.
Daha da önemlisi, kendilerini meydana getiren insanlardan çok daha gelişmiş hale geldikçe, gelişim oranları üstel olabilir. AGI’nin başlangıcı, hızlı bir şekilde Yapay Süper Zeka’ya (ASI) yol açabilir.
Tam anlamıyla işlev sergileyen AGI sistemleri henüz mevcut olmasa da, 2029 ile bu yüzyılın sonu arasındaki bir zamanda bizimle olacakları tahmin ediliyor.
Er ya da geç gelecek olmalarına neredeyse kesin gözüyle bakılıyor. Geldikleri zaman onları kontrol edemeyeceğimize yönelik büyük ve doğal bir endişe mevcut.
Popular Science’ta yer alan makaleye göre tehlikeler, süper zeki sistemlerin; her şeyi daha verimli şekilde yapmanın yollarını bulmasıyla, hedeflere ulaşmak için kendi taktiklerini hazırlamasıyla ve hatta kendi hedeflerini geliştirmesiyle ortaya çıkacak.
Örneğin;
HIV’i önlemekle görevlendirilen bir AGI sistemi, bu sorunu, hastalığı taşıyan herkesi öldürerek halletmeye karar veriyor veya kanseri tedavi etmekle görevlendirilen biri de, kansere karşı genetik yatkınlığı olan herkesi öldürmeye karar veriyor
Özerk bir askerî AGI insansız hava aracı, bir düşman hedefinin yok edilmesini garantiye almanın tek yolunun, bir topluluğun tamamını ortadan kaldırmak olduğuna karar veriyor
Çevreyi koruyan bir AGI, iklim değişikliğini yavaşlatmanın veya tersine çevirmenin tek yolunun, teknolojileri ve onlara sebep olan insanları ortadan kaldırmak olduğuna karar veriyor.
Bu senaryolar, insanların endişelerini esas emirleri olarak görmeyen ve birbirleriyle savaşan bambaşka AGI’leri akla getiriyor.
İnsanların sonunda gereksiz hale geldiği ve insan ırkının daha sonra yok olduğu senaryolar da dahil olmak üzere, distopik içerikli çeşitli gelecek senaryoları ileri sürülmüş durumda.
Diğerleri ise, bu kadar aşırı olmayan fakat yine de kayda değer sorunlar içeren senaryolar ortaya attılar. Bunların sadece birkaçından bahsedecek olursak; aralarında, AGI’nin terör saldırıları veya siber saldırılar için kötü amaçla kullanımı, insan emeğine olan ihtiyacın ortadan kalkması ve insanları kitlesel şekilde gözetleme bulunuyor.
Bu yüzden, tehlikeleri en aza indirmek ve en fazla faydayı elde etmek amacıyla, AGI’yı tasarlama ve yönetme bakımından; merkezinde insanın olduğu en güvenli yolların araştırılması gerekiyor.