Yapay Zeka 'Şov'u Bırak, Gerçek Sorunları Çöz: Surge AI'dan Uyarı

Surge AI'nin CEO'su Edwin Chen, yapay zeka (AI) şirketlerinin, gerçek dünya sorunlarını çözmek yerine gösterişli ve yüzeysel AI yanıtlarına odaklandığını belirtti. Bu durumun, yapay zeka gelişiminin yönünü saptırabileceği endişesini dile getirdi.

Yapay Zeka Yarışında Yanlış Hedefler Mi Var?

Edwin Chen, katıldığı bir podcast yayınında, yapay zeka endüstrisindeki mevcut eğilimleri eleştirdi. Chen, şirketlerin, kanseri tedavi etmek veya yoksulluğu çözmek gibi insanlığa fayda sağlayacak büyük hedeflere odaklanmak yerine, "AI slop" olarak nitelendirdiği yüzeysel ve anlamsız yapay zeka çıktılarını optimize etmeye çalıştığını vurguladı.

Chen, "İnsanlığı ileriye taşıyacak, kanseri tedavi edecek, yoksulluğu çözecek, evrensel soruları anlayacak yapay zeka inşa etmek yerine, AI slop için optimizasyon yapıyoruz," dedi.

Surge AI, 2020 yılında Edwin Chen tarafından kuruldu. Chen daha önce Twitter, Google ve Meta gibi büyük teknoloji şirketlerinde çalışmıştı. Surge AI, yapay zeka modellerini eğitmek için bir milyon serbest çalışanı görevlendiren Data Annotation platformunu işletiyor. Şirket, Scale AI ve Mercor gibi veri etiketleme girişimleriyle rekabet ediyor ve Anthropic'i müşteri olarak sayıyor.

Liderlik Tabloları mı Yanıltıyor?

Chen, şirketlerin AI slop'u önceliklendirmesinin nedenlerinden birinin, LMArena gibi endüstri liderlik tabloları olduğunu belirtti. Bu platformlarda, kullanıcılar yapay zeka yanıtlarına oy vererek sıralamaları etkiliyor.

"Sektör şu anda LMArena gibi berbat liderlik tablolarıyla oynuyor," diyen Chen, insanların yanıtları dikkatle okumadığını veya gerçekleri kontrol etmediğini, sadece en gösterişli olanı seçtiğini ifade etti.

"Modellerinizi, bakkalda gazete alan insanların tipine göre optimize ediyorsunuz," şeklinde konuştu.

Ancak Chen, yapay zeka laboratuvarlarının bu liderlik tablolarına dikkat etmek zorunda olduğunu, çünkü satış toplantılarında sıralamalarıyla ilgili sorularla karşılaşabildiklerini de sözlerine ekledi.

Uzmanlardan Eleştiriler ve Meta'nın Benchmark Sorunları

Chen gibi, araştırma bilimcileri de karşılaştırma ölçütlerini yüzeysel özelliklere aşırı değer vermekle eleştirdi.

ZeroPath'in kurucu ortağı ve CEO'su Dean Valentine, Mart ayında yaptığı bir blog gönderisinde, "Son yapay zeka modeli ilerlemesi çoğunlukla saçmalık gibi geliyor" dedi.

Valentine ve ekibinin, Haziran 2024'te Anthropic'in 3.5 Sonnet sürümünden bu yana "bir tür iyileşme" olduğunu iddia eden farklı modellerin performansını değerlendirdiğini söyledi. Ekibinin denediği yeni modellerin hiçbiri, şirketinin dahili kıyaslamalarında veya geliştiricilerin yeni hatalar bulma yeteneklerinde "önemli bir fark" yaratmamıştı.

Daha "eğlenceli" olsalar da, "ekonomik kullanışlılığı veya genelliği yansıtmıyorlardı."

Avrupa Komisyonu Ortak Araştırma Merkezi'ndeki araştırmacılar, Şubat ayında yayınladıkları "Yapay Zeka Kıyaslamalarına Güvenebilir miyiz?" başlıklı bir makalede, günümüzün değerlendirme yaklaşımında büyük sorunlar olduğu sonucuna vardı.

Araştırmacılar, kıyaslamanın "kültürel, ticari ve rekabetçi dinamikler tarafından şekillendirildiğini ve genellikle daha geniş toplumsal kaygılar pahasına son teknoloji performansa öncelik verdiğini" söyledi.

Şirketler de bu kıyaslamaları "oynamakla" suçlandı.

Nisan ayında Meta, Google ve Fransız yapay zeka laboratuvarı Mistral'in karşılaştırılabilir büyüklükteki modellerinden "daha iyi sonuçlar" verdiğini söylediği Llama ailesine iki yeni model yayınladı. Daha sonra bir kıyaslamayı manipüle etmekle suçlandı.

LMArena, Meta'nın test formatı için daha iyi performans göstermek üzere "özelleştirilmiş" bir Llama 4 Maverick sürümünü sunduğunu "daha açık hale getirmesi gerektiğini" söyledi.

LMArena bir X gönderisinde, "Meta'nın politikamızı yorumlaması, model sağlayıcılardan beklediğimizle eşleşmedi" dedi.