Yapay zeka modellerinin güvenilirliğini ve etkililiğini değerlendirmeye yönelik testlerin ciddi hatalar yaptığı belirlendi.
İngiltere'deki Yapay Zeka Güvenliği Enstitüsü ile Stanford, Berkeley ve Oxford üniversitelerinden uzmanların gerçekleştirdiği geniş kapsamlı bir araştırmada 440'tan fazla test incelendi.
Testlerin Kusurlu Çıktığı Belirlendi
İngiltere ve ABD'de henüz kapsamlı bir yapay zeka yasası mevcut olmadığından, teknoloji şirketleri yeni modellerini piyasaya sürmeden önce bu testlere başvurmak zorunda kalıyor. Bu testler, yapay zekaların mantık yürütme, matematik ve kodlama becerilerini, ayrıca insan değerlerine ne ölçüde uyduğunu ölçmeye yönelik.
Araştırmada, bu testlerin “sonuçların geçerliliğini zayıflatan kusurlar içerdiği” ve neredeyse tamamının en az bir alanda zayıf olduğu tespit edilmiştir.
Çalışmanın sonuçları, testlerin yalnızca yüzde 16'sının istatistiksel güven aralıkları ve hata olasılıklarını sunduğunu gösterdi. Ayrıca, bazı testlerde ölçülmek istenen “zararsızlık” gibi özelliklerin tanımının bile belirsiz olduğu belirlendi.
Çalışmanın başyazarı ve Oxford İnternet Enstitüsü araştırmacısı Andrew Bean, “Bu testler, yapay zekaların gerçekten gelişip gelişmediğini belirlememize yardımcı oluyor. Ancak ortak tanımlar ve güvenilir ölçüm yöntemleri olmadan, modellerin gerçek anlamda ilerleme kaydedip kaydetmediğini anlamak zorlaşıyor” şeklinde açıklamada bulundu.
Güven Sorunu Büyüyor
Yapay zeka güvenliği konuları, son günlerde yaşanan olaylarla yeniden gündeme geldi. Google, ABD'li senatör Marsha Blackburn hakkında asılsız cinsel ilişki iddiaları içeren sahte haber bağlantıları üreten Gemma modelini geri çekmek zorunda kaldı.
Blackburn, Google CEO'su Sundar Pichai'ye yazdığı mektupta, “Bu zararsız bir hata değil, bir iftira eylemidir” ifadesine yer verdi.
Yapay zekaların sıkça karşılaştığı gerçek dışı bilgi üretme ya da “halüsinasyon görme” durumu, kullanıcıların duymak istediklerini söyleme problemiyle birlikte özellikle küçük modellerde daha yaygın şekilde görülüyor.
