Bir LLM’nin<\/a> ba\u011flam penceresi, tek bir ileri ge\u00e7i\u015fte i\u015fleyebildi\u011fi maksimum metin miktar\u0131d\u0131r (token cinsinden \u00f6l\u00e7\u00fcl\u00fcr)\u2014hem girdi prompt’unu hem de \u00fcretilen \u00e7\u0131kt\u0131y\u0131 dahil. Ba\u011flam pencereleri dramatik bi\u00e7imde b\u00fcy\u00fcd\u00fc: GPT-2’de 2.048 token’dan mevcut s\u0131n\u0131r modellerde 200K-2M+’a, temelden yeni uygulamalar\u0131 m\u00fcmk\u00fcn k\u0131ld\u0131.<\/p>\n Token’lar bir LLM<\/a>’nin i\u015fledi\u011fi metin birimleridir\u2014ortalama olarak yakla\u015f\u0131k 0,75 \u0130ngilizce kelimeye e\u015fde\u011fer, ancak tokenizer’a g\u00f6re de\u011fi\u015fir (farkl\u0131 modeller farkl\u0131 \u015fekilde tokenize eder). 200.000 token’l\u0131k bir ba\u011flam penceresi yakla\u015f\u0131k 150.000 \u0130ngilizce kelime veya tipik bir kitab\u0131n yakla\u015f\u0131k 300 sayfas\u0131n\u0131 tutar. LLM<\/a> API’leri i\u00e7in fiyatland\u0131rma tipik olarak token ba\u015f\u0131nad\u0131r, girdi ve \u00e7\u0131kt\u0131 token’lar\u0131 genellikle farkl\u0131 fiyatland\u0131r\u0131l\u0131r.<\/p>\n B\u00fcy\u00fck ba\u011flam pencereleri \u015funlar\u0131 m\u00fcmk\u00fcn k\u0131lar: tam belge analizi (t\u00fcm s\u00f6zle\u015fmeler, kod tabanlar\u0131, kitaplar bir kerede i\u015flenir), kapsaml\u0131 eri\u015filen ba\u011flamla RAG<\/a>, tam ge\u00e7mi\u015fle uzun s\u00fcreli ajan konu\u015fmalar\u0131, \u00e7ok belge muhakemesi (bir\u00e7ok kaynak aras\u0131nda kar\u015f\u0131la\u015ft\u0131rma\/sentezleme) ve prompt i\u00e7inde bir\u00e7ok \u00f6rnekle birka\u00e7 at\u0131\u015f \u00f6\u011frenme. Daha \u00f6nce karma\u015f\u0131k RAG<\/a> mimarileri gerektiren kullan\u0131m vakalar\u0131 art\u0131k bazen basit uzun ba\u011flam prompt’lar\u0131yla \u00e7\u00f6z\u00fclebilir.<\/p>\nToken Mekani\u011fi<\/h3>\n
Uzun Ba\u011flamla M\u00fcmk\u00fcn Olan Uygulamalar<\/h3>\n
S\u0131n\u0131rlamalar ve Takaslar<\/h3>\n