TLDR:
Bir LLM’nin bağlam penceresi, tek bir ileri geçişte işleyebildiği maksimum metin miktarıdır (token cinsinden ölçülür)—hem girdi prompt’unu hem de üretilen çıktıyı dahil. Bağlam pencereleri dramatik biçimde büyüdü: GPT-2’de 2.048 token’dan mevcut sınır modellerde 200K-2M+’a, temelden yeni uygulamaları mümkün kıldı.
Token Mekaniği
Token’lar bir LLM’nin işlediği metin birimleridir—ortalama olarak yaklaşık 0,75 İngilizce kelimeye eşdeğer, ancak tokenizer’a göre değişir (farklı modeller farklı şekilde tokenize eder). 200.000 token’lık bir bağlam penceresi yaklaşık 150.000 İngilizce kelime veya tipik bir kitabın yaklaşık 300 sayfasını tutar. LLM API’leri için fiyatlandırma tipik olarak token başınadır, girdi ve çıktı token’ları genellikle farklı fiyatlandırılır.
Uzun Bağlamla Mümkün Olan Uygulamalar
Büyük bağlam pencereleri şunları mümkün kılar: tam belge analizi (tüm sözleşmeler, kod tabanları, kitaplar bir kerede işlenir), kapsamlı erişilen bağlamla RAG, tam geçmişle uzun süreli ajan konuşmaları, çok belge muhakemesi (birçok kaynak arasında karşılaştırma/sentezleme) ve prompt içinde birçok örnekle birkaç atış öğrenme. Daha önce karmaşık RAG mimarileri gerektiren kullanım vakaları artık bazen basit uzun bağlam prompt’larıyla çözülebilir.
Sınırlamalar ve Takaslar
Uzun bağlam gerçek takaslarla gelir: maliyet (bağlam uzunluğuyla orantılı, genellikle saf kullanımı pahalı kılar), gecikme (daha uzun girdilerin işlenmesi daha uzun sürer), “ortada kaybolma” problemi (LLM’ler çok uzun bağlamların ortasındaki bilgiye daha az etkili dikkat edebilir) ve kalite varyasyonu (performans, reklamlanmış bağlam uzunluğunun aşırılarında düşebilir).