Model Hakemi Kalibrasyon Testi
LLM tabanlı değerlendiricinin önyargılarını kontrollü deneyle ortaya çıkarır.
PROMPT
Bir model hakeminin puanlama güvenilirliğini ölçmek için deney tasarla. Aynı yanıt çiftlerini ters sıra, eşit uzunluk ve gizlenmiş model adı koşullarında yeniden değerlendir. Konum ve uzunluk önyargısını ayrı hesapla; insan uzmanlarla uyuşma oranı için güven aralığı ver. Sonuçta hakemin hangi görevlerde kullanılmaması gerektiğini yaz.
Köşeli parantezli alanları kendi hedefin, kitlen ve bağlamınla değiştir.
Promptu önerilen araca yapıştır; ilk çıktıyı bir taslak olarak değerlendir.
Eksik noktaları belirt, örnek ekle ve istediğin çıktı biçimini daha kesin tanımla.
Üye yorumları