Yedi yapay zekâ uzun sohbette sınandı: Yanlış bilgiye açık verdiler
Üniversite araştırmacıları yedi büyük dil modelini tek soruluk testler yerine uzun konuşmalara soktu. Sonuçlar modellerin aynı yanlış bilgi karşısında konuşma boyunca tutarsızlaşabildiğini ortaya koydu.
University of Arizona araştırmacıları, yapay zekâ sistemlerinin yanlış bilgi karşısındaki davranışlarını uzun süreli sohbetler üzerinden inceledi.
Test edilen sistemler arasında GPT-3.5, GPT-4o, GPT-4o-mini, Claude 3.5 Sonnet, Gemini 1.5 Pro, Llama-3-70B ve DeepSeek-R1 yer aldı.
Tekrarlanan yanlış bilgi etkili oldu
Araştırmada GPT-3.5’in konuşma içinde tekrar edilen yanlış bilgiyi yeniden doğrulama konusunda en savunmasız model olduğu, Claude 3.5 Sonnet’in ise en dirençli model olduğu bildirildi.
Tüm modellerin az bilinen konularda yanlış bilgilere karşı daha kolay etkilendiği görüldü.
Bazıları hatayı tamamen düzeltti
GPT-4o, GPT-4o-mini, Gemini 1.5 Pro ve DeepSeek’e hatalarını düzeltmeleri için ikinci fırsat verildiğinde testlerde yüzde 100 düzeltme oranına ulaştı.
Buna karşılık bazı modellerin aynı yanlış ifadeyi bir aşamada kabul edip daha sonra reddettiği görüldü.
Araştırmacılar, uzun sohbetlerin gerçek kullanım koşullarını tek seferlik sorulardan daha iyi yansıttığını belirtiyor.
Yorum Yazın