Bağlam Penceresi nedir?
Bir LLM’nin bağlam penceresi, tek bir ileri geçişte işleyebildiği maksimum metin miktarıdır (token cinsinden ölçülür)—hem girdi prompt’unu hem de üretilen çıktıyı dahil. Bağlam pencereleri dramatik biçimde büyüdü: GPT-2’de 2.048 token’dan mevcut sınır modellerde 200K-2M+’a, temelden yeni uygulamaları mümkün kıldı.
Token Mekaniği
Token’lar bir LLM’nin işlediği metin birimleridir—ortalama olarak yaklaşık 0,75 İngilizce kelimeye eşdeğer, ancak tokenizer’a göre değişir (farklı modeller farklı şekilde tokenize eder). 200.000 token’lık bir bağlam penceresi yaklaşık 150.000 İngilizce kelime veya tipik bir kitabın yaklaşık 300 sayfasını tutar. LLM API’leri için fiyatlandırma tipik olarak token başınadır, girdi ve çıktı token’ları genellikle farklı fiyatlandırılır.
Uzun Bağlamla Mümkün Olan Uygulamalar
Büyük bağlam pencereleri şunları mümkün kılar: tam belge analizi (tüm sözleşmeler, kod tabanları, kitaplar bir kerede işlenir), kapsamlı erişilen bağlamla RAG, tam geçmişle uzun süreli ajan konuşmaları, çok belge muhakemesi (birçok kaynak arasında karşılaştırma/sentezleme) ve prompt içinde birçok örnekle birkaç atış öğrenme. Daha önce karmaşık RAG mimarileri gerektiren kullanım vakaları artık bazen basit uzun bağlam prompt’larıyla çözülebilir.
Sınırlamalar ve Takaslar
Uzun bağlam gerçek takaslarla gelir: maliyet (bağlam uzunluğuyla orantılı, genellikle saf kullanımı pahalı kılar), gecikme (daha uzun girdilerin işlenmesi daha uzun sürer), “ortada kaybolma” problemi (LLM’ler çok uzun bağlamların ortasındaki bilgiye daha az etkili dikkat edebilir) ve kalite varyasyonu (performans, reklamlanmış bağlam uzunluğunun aşırılarında düşebilir).
Referanslar
Bağlam penceresinin ürün ve sözleşme yansımaları
Bağlam penceresi teknik bir sınır gibi görünür; pratikte ürün taahhütlerini ve veri işleme analizini şekillendirir. Ürün tarafında: “tüm dokümanlarınızı analiz eder” gibi pazarlama cümleleri, pencere sınırları ve parçalama (chunking) mimarisiyle uyumlu yazılmalıdır — kapasite iddiası test edilebilir bir beyandır. Veri tarafında: pencereye giren her şey modele gönderilen veridir; kişisel veri içeren bağlamlar için KVKK/GDPR analizi, sağlayıcı sözleşmesindeki işleme ve saklama şartlarına (girdilerin eğitimde kullanılmaması, log süreleri) bağlanır. Kurumsal alımlarda asgari iki soru standartlaştı: bağlama gönderilen veriler nerede, ne kadar tutuluyor ve hangi coğrafyada işleniyor? Cevapların sözleşme ekinde yazılı olması, güvenlik anketinin yarısını kapatır.