RLHF nedir?
İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme (RLHF), LLM’leri ön eğitimden sonra insan tercihleriyle hizalamak için kullanılan tekniktir. RLHF, GPT-3’ü ChatGPT’ye dönüştürdü ve temel bir hizalama tekniği olarak kalmaya devam ediyor; ancak yeni yaklaşımlar (DPO, RLAIF, Anayasal AI) giderek artan biçimde klasik RLHF’yi yerinden ediyor.
RLHF Hattı
Klasik RLHF üç aşamaya sahiptir. İlk olarak, önceden eğitilmiş bir LLM, istenen davranışın gösterimleriyle ince ayar yapılır (denetimli ince ayar). İkinci olarak, insan açıklayıcılar aynı prompt için birden çok model çıktısını kaliteye göre sıralar ve bu sıralamalar insan tercihlerini tahmin eden ayrı bir “ödül modeli” eğitir. Üçüncü olarak, LLM pekiştirmeli öğrenme:tipik olarak PPO (Proximal Policy Optimization):kullanılarak daha fazla eğitilir; ödül modeli ödül sinyali sağlar ve insanların daha iyi olarak değerlendirdiği çıktılar üretir.
RLHF Neden Önemli
Ham web metni üzerinde eğitilmiş ön eğitimli LLM’ler kullanıcıların istediğiyle hizalı değildir:uzun, konu dışı, zararlı veya yardımsız yanıtlar üretebilirler. RLHF modellere talimatları takip etmeyi, yararlı ve zararsız olmayı, zararlı talepleri reddetmeyi ve tercih edilen stillerde çıktı üretmeyi öğretir. Hizalama eğitimi olmadan modern temel modellerin dramatik yetenekleri yararlı ürünlere dönüşmez.
Sınırlamalar ve Alternatifler
RLHF’nin bilinen sınırlamaları vardır: kapsamlı insan etiketleme gerektirir, yağcılığı veya yüzeysel hoş davranışı teşvik edebilir ve yeni senaryolara uzanmayabilir. Yeni yöntemler şunlardır: Doğrudan Tercih Optimizasyonu (DPO, PPO’dan daha basit ve daha kararlı), RLAIF (etiketlemeyi ölçeklendirmek için AI eleştirmenleri kullanan Yapay Zeka Geri Bildirimiyle Pekiştirmeli Öğrenme) ve Anayasal AI (öğrenilmiş tercihler yerine açık ilkeler kullanma). Çoğu modern sınır model birden çok hizalama tekniğini birleştirir.
Ek riskler: ödül istismarı ve etiketleyici yanlılığı
- Ödül istismarı (reward hacking): politika, gerçek yararlılık yerine ödül modelinin kusurlarından yararlanmayı öğrenir.
- Etiketleyici yanlılığı: çıktıları sıralayan (çoğu zaman küçük) ekibin değerleri modele aktarılır.
- Sınırlı yanlılık azaltımı: RLHF sistematik zararlı çıktıları azaltır, ancak tamamen ortadan kaldırmaz.
RLHF’nin hukuki boyutu
RLHF, ham dil modellerini kullanılabilir asistanlara dönüştüren tekniktir ve birçok hukuki sorunun yoğunlaştığı alandır:
- İnsan geri bildirimi iş gücü: büyük ölçekli etiketleme, tedarikçiler ve kitle platformları üzerinden yürütülür; bu da istihdam statüsünün nitelendirilmesi, çalışma koşulları ve gizlilik sorunlarını yapay zekâ tedarik zincirine taşır. Satın alma birimleri etiketleme hizmetini her hassas dış kaynak kullanımı gibi ele almalıdır: veri işleme sözleşmeleri (DPA), güvenlik tedbirleri ve denetim hakları.
- Geri bildirim verisi: değerlendiricilerin gerçek kullanıcı içerikleri üzerindeki yargıları kişisel veri işleme niteliği taşıyabilir; bu nedenle bu veri hatları analitik faaliyetlerle aynı KVKK/GDPR muamelesine tabi tutulmalıdır.
- Hizalama beyanları: “insan geri bildirimiyle güvenli olacak şekilde eğitildi” ifadesi pazarlanabilir ve test edilebilir bir beyandır; hem AB Yapay Zekâ Tüzüğü’nün (AI Act) dokümantasyon yükümlülükleri hem de yanıltıcı beyanlara ilişkin genel kurallar bu beyanı kapsar. Ürün beyanlarında RLHF’ye atıf yapan ekipler, beyanın ima ettiği değerlendirme kanıtlarını saklamalıdır.