\u0130nsan Geri Bildirimiyle Peki\u015ftirmeli \u00d6\u011frenme (RLHF), LLM’leri<\/a> \u00f6n e\u011fitimden sonra insan tercihleriyle hizalamak i\u00e7in kullan\u0131lan tekniktir. RLHF, GPT-3’\u00fc ChatGPT’ye d\u00f6n\u00fc\u015ft\u00fcrd\u00fc ve temel bir hizalama tekni\u011fi olarak kalmaya devam ediyor; ancak yeni yakla\u015f\u0131mlar (DPO<\/a>, RLAIF, Anayasal AI) giderek artan bi\u00e7imde klasik RLHF’yi yerinden ediyor.<\/p>\n Klasik RLHF \u00fc\u00e7 a\u015famaya sahiptir. \u0130lk olarak, \u00f6nceden e\u011fitilmi\u015f bir LLM<\/a>, istenen davran\u0131\u015f\u0131n g\u00f6sterimleriyle ince ayar yap\u0131l\u0131r (denetimli ince ayar). \u0130kinci olarak, insan a\u00e7\u0131klay\u0131c\u0131lar ayn\u0131 prompt i\u00e7in birden \u00e7ok model \u00e7\u0131kt\u0131s\u0131n\u0131 kaliteye g\u00f6re s\u0131ralar ve bu s\u0131ralamalar insan tercihlerini tahmin eden ayr\u0131 bir “\u00f6d\u00fcl modeli” e\u011fitir. \u00dc\u00e7\u00fcnc\u00fc olarak, LLM<\/a> peki\u015ftirmeli \u00f6\u011frenme\u2014tipik olarak PPO (Proximal Policy Optimization)\u2014kullan\u0131larak daha fazla e\u011fitilir; \u00f6d\u00fcl modeli \u00f6d\u00fcl sinyali sa\u011flar ve insanlar\u0131n daha iyi olarak de\u011ferlendirdi\u011fi \u00e7\u0131kt\u0131lar \u00fcretir.<\/p>\n Ham web metni \u00fczerinde e\u011fitilmi\u015f \u00f6n e\u011fitimli LLM’ler kullan\u0131c\u0131lar\u0131n istedi\u011fiyle hizal\u0131 de\u011fildir\u2014uzun, konu d\u0131\u015f\u0131, zararl\u0131 veya yard\u0131ms\u0131z yan\u0131tlar \u00fcretebilirler. RLHF modellere talimatlar\u0131 takip etmeyi, yararl\u0131 ve zarars\u0131z olmay\u0131, zararl\u0131 talepleri reddetmeyi ve tercih edilen stillerde \u00e7\u0131kt\u0131 \u00fcretmeyi \u00f6\u011fretir. Hizalama e\u011fitimi olmadan modern temel modellerin dramatik yetenekleri yararl\u0131 \u00fcr\u00fcnlere d\u00f6n\u00fc\u015fmez.<\/p>\n RLHF’nin bilinen s\u0131n\u0131rlamalar\u0131 vard\u0131r: kapsaml\u0131 insan etiketleme gerektirir, ya\u011fc\u0131l\u0131\u011f\u0131 veya y\u00fczeysel ho\u015f davran\u0131\u015f\u0131 te\u015fvik edebilir ve yeni senaryolara uzanmayabilir. Yeni y\u00f6ntemler \u015funlard\u0131r: Do\u011frudan Tercih Optimizasyonu (DPO<\/a>, PPO’dan daha basit ve daha kararl\u0131), RLAIF (etiketlemeyi \u00f6l\u00e7eklendirmek i\u00e7in AI ele\u015ftirmenleri kullanan Yapay Zeka Geri Bildirimiyle Peki\u015ftirmeli \u00d6\u011frenme) ve Anayasal AI (\u00f6\u011frenilmi\u015f tercihler yerine a\u00e7\u0131k ilkeler kullanma). \u00c7o\u011fu modern s\u0131n\u0131r model birden \u00e7ok hizalama tekni\u011fini birle\u015ftirir.<\/p>\n","protected":false},"excerpt":{"rendered":" TLDR: \u0130nsan Geri Bildirimiyle Peki\u015ftirmeli \u00d6\u011frenme (RLHF), LLM’leri \u00f6n e\u011fitimden sonra insan tercihleriyle hizalamak i\u00e7in kullan\u0131lan tekniktir. RLHF, GPT-3’\u00fc ChatGPT’ye d\u00f6n\u00fc\u015ft\u00fcrd\u00fc ve temel bir hizalama tekni\u011fi olarak kalmaya devam ediyor; ancak yeni yakla\u015f\u0131mlar (DPO, RLAIF, Anayasal AI) giderek artan bi\u00e7imde klasik RLHF’yi yerinden ediyor. RLHF Hatt\u0131 Klasik RLHF \u00fc\u00e7 a\u015famaya sahiptir. \u0130lk olarak, \u00f6nceden e\u011fitilmi\u015f […]<\/p>\n","protected":false},"author":4,"featured_media":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","format":"standard","meta":{"footnotes":""},"categories":[],"class_list":["post-11913","term","type-term","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/virconlegal.com\/tr\/wp-json\/wp\/v2\/term\/11913","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/virconlegal.com\/tr\/wp-json\/wp\/v2\/term"}],"about":[{"href":"https:\/\/virconlegal.com\/tr\/wp-json\/wp\/v2\/types\/term"}],"author":[{"embeddable":true,"href":"https:\/\/virconlegal.com\/tr\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/virconlegal.com\/tr\/wp-json\/wp\/v2\/comments?post=11913"}],"version-history":[{"count":2,"href":"https:\/\/virconlegal.com\/tr\/wp-json\/wp\/v2\/term\/11913\/revisions"}],"predecessor-version":[{"id":12931,"href":"https:\/\/virconlegal.com\/tr\/wp-json\/wp\/v2\/term\/11913\/revisions\/12931"}],"wp:attachment":[{"href":"https:\/\/virconlegal.com\/tr\/wp-json\/wp\/v2\/media?parent=11913"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/virconlegal.com\/tr\/wp-json\/wp\/v2\/categories?post=11913"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}RLHF Hatt\u0131<\/h3>\n
RLHF Neden \u00d6nemli<\/h3>\n
S\u0131n\u0131rlamalar ve Alternatifler<\/h3>\n