Hallucination

Halüsinasyon, bir yapay zeka modelinin -özellikle büyük bir dil modelinin- gerçekte var olmayan, yanlış veya kaynağı bulunmayan bir bilgiyi, tamamen kendinden emin ve akıcı bir üslupla, sanki doğruymuş gibi üretmesi durumudur. Bu davranış, modelin "yalan söylemesinden" değil, temel çalışma prensibinden kaynaklanır: bir dil modeli aslında bir gerçeklik veritabanı değil, eğitim verisindeki istatistiksel kelime ve kavram örüntülerine dayanarak bir sonraki en olası token'ı tahmin eden bir sistemdir. Model, bilmediği bir konuda dahi dilbilgisel ve üslup açısından akıcı bir cevap üretme baskısı altında olduğundan, gerçek bilgi yerine olası ama uydurma bir cevap üretebilir; örneğin var olmayan bir akademik makaleye atıf yapabilir veya yanlış bir tarih verebilir.

Halüsinasyon, yapay zeka sistemlerinin özellikle tıp, hukuk ve finans gibi yüksek riskli alanlarda güvenilir kullanımının önündeki en ciddi engellerden biridir. Sorunu azaltmak için birkaç yaklaşım kullanılır: RAG ile modelin cevaplarını gerçek belgelere dayandırmak, modelin çıktısını harici kaynaklarla gerçek zamanlı doğrulamak, insan geri bildirimiyle pekiştirmeli öğrenme (RLHF) sırasında modeli belirsizlik durumunda dürüst olmaya teşvik etmek ve daha temiz, doğru eğitim verisi kullanmak. Hiçbir teknik halüsinasyonu tamamen ortadan kaldırmadığından, kullanıcıların kritik kararlarda model çıktılarını bağımsız kaynaklarla doğrulaması genellikle tavsiye edilir.