TLDR:
Yapay zekada halüsinasyon, bir modelin—tipik olarak bir LLM veya üretken AI’nın—makul görünen ancak gerçeklere aykırı, mantıksız veya sağlanan bağlamla desteklenmeyen çıktı üretmesi olayına atıfta bulunur. Halüsinasyon, üretim yapay zeka sistemlerinde en önemli güvenilirlik zorluklarından biridir.
Halüsinasyonlar Neden Oluşur
LLM’ler, önceki bağlam göz önüne alındığında en olası sonraki token’ı tahmin ederek metin üretir. Gerçek anımsama ile özgüvenli görünen uydurma arasında ayrım yapmak için doğal bir mekanizmaları yoktur. Yaygın nedenler arasında bilgi boşlukları (model ilgili gerçekler üzerinde eğitilmedi), karıştırma (benzer ancak farklı kavramların birleştirilmesi), sınırlı eğitim örneklerinden aşırı genelleme ve belirsizliği kabul etmek yerine cevap verme baskısı yer alır. Modern modeller atıfları, istatistikleri, mahkeme kararlarını, kod API’lerini ve tarihsel gerçekleri özgüvenli ayrıntıyla halüsinasyon yapabilir.
Tespit ve Azaltma
Azaltma stratejileri şunları içerir: RAG (çıktıları erişilen belgelere dayandırma), atıf gereksinimleri (modeli kaynaklar sağlamaya zorlama), anayasal öz-eleştiri (modelin kendi işini kontrol etmesi), şema doğrulamayla yapılandırılmış çıktı, ensemble yöntemleri (birden çok yanıt örnekleme ve tutarlılık kontrolü) ve yüksek riskli sorguları özelleşmiş doğrulama hatlarına yönlendirme.
Hukuki ve Sorumluluk Etkileri
Halüsinasyonlar gerçek dünya hukuki sonuçlarına yol açtı: uydurulmuş içtihat atıflar nedeniyle yaptırıma uğrayan avukatlar (Mata v. Avianca, 2023 ve birçok takip dava), gerçek insanlar hakkında halüsinasyon iddialar üzerinden hakaret davaları, uydurulmuş şartlarla yapay zeka tarafından üretilen belgeler üzerinden sözleşme uyuşmazlıkları. AB AI Act ve gelişen ürün sorumluluğu çerçeveleri yüksek riskli uygulamalarda halüsinasyon riskini azaltmak için AI sağlayıcılarına yükümlülükler dayatır. Yapay zeka dağıtan kuruluşlar hukuki olarak sonuç doğuran çıktılar için çıktı inceleme iş akışları uygulamalı ve halüsinasyon azaltma stratejilerini belgelemelidir.