Bilim insanları, yapay zekanın güvenlik ve etkinliğini değerlendiren 445 testte “sonuç geçerliliğini etkileyen” hatalar buldu.
İngiltere Yapay Zeka Güvenlik Enstitüsü'nden bilgisayar bilimcilerinin yanı sıra Stanford, Berkeley ve Oxford üniversitelerinden 14 kurumda görev yapan 29 araştırmacı, “Önemli Olanı Ölçmek: Büyük Dil Modellerinin Kıyaslamasında Yapı Geçerliği” başlıklı bir çalışma yürüttü.
Bu araştırma kapsamında, yapay zekanın “doğal dil işleme” ve “makine öğrenimi” alanlarından öne çıkan konferanslardan alınan 445 değerlendirme testi incelendi.
İncelemeler sonucunda, testlerin tamamına yakınının “sonuçların geçerliliğini tehdit edebilecek” hatalar içerdiği belirlendi.
Çalışmanın baş yazarı olan Oxford İnternet Enstitüsü'nden Andrew Bean, Guardian'a yaptığı açıklamada, bu testlerin büyük teknoloji firmaları tarafından piyasaya sürülen son yapay zeka modellerinin değerlendirilmesinde kullanıldığını belirtti.
Bean, bu değerlendirme testlerinin yapay zeka ile ilgili tüm iddiaların temelini oluşturduğuna dikkat çekerek, ortak tanımlar ve sağlıklı ölçümler olmadan modellerin gerçekten ilerleyip ilerlemediğini anlamanın güç olduğunu ifade etti.
