TLDR:
Yapay zekada red teaming, AI sistemlerini bir düşman zihniyeti benimseyerek—sistemin zararlı, yanlış veya başka bir şekilde istenmeyen çıktılar üretmesini sağlamaya çalışarak—sistematik olarak test etme pratiğidir. Siber güvenlik ve askeri planlamadan ödünç alınan red teaming, sınır AI sistemleri için standart bir dağıtım öncesi gereksinim haline geldi.
Red Teaming Metodolojisi
Etkili AI red teaming manuel ve otomatik yaklaşımları birleştirir: manuel red teaming sistemi saldırı yüzeylerinde araştıran çeşitli uzmanları (bio/kimya/siber konularında konu uzmanları, sosyal bilimciler, düşman aktör simülasyon uzmanları) içerir; otomatik red teaming, güvenlik eğitimini atlatan prompt’lar üretmek için zıt makine öğrenmesini kullanır. Red ekipler yetenek kötüye kullanımı (silahlar/siber saldırılar/CSAM konusunda yardımcı olan model), sosyal mühendislik açıkları (jailbreak’ler, prompt enjeksiyonu), önyargı ve ayrımcılık, yüksek riskli bağlamlarda halüsinasyon ve istenmeyen çift kullanımlı uygulamalar için test eder.
Sınır Laboratuvar Uygulamaları
Büyük AI laboratuvarları detaylı red teaming protokolleri yayımlar: Anthropic’in Sorumlu Ölçeklendirme Politikası AI Güvenlik Seviyesi başına red teaming gereksinimlerini belirtir; OpenAI’nin Hazırlık Çerçevesi dağıtım öncesi değerlendirmeler içerir; Google DeepMind, Meta ve Mistral benzer çerçeveler yayımlar. Red teaming artık tanımlanmış yetenek eşiklerinin üzerindeki sistemleri dağıtmadan önce genellikle gereklidir.
Düzenleyici ve Sektörel Benimseme
Düzenleyici çerçeveler giderek artan biçimde red teaming gerektirir: AB AI Act yüksek riskli AI sistemlerinin amaçlanan kullanıma karşı test edilmesini gerektirir; AI üzerine ABD başkanlık kararnamesi güvenlik test gereksinimlerini yönlendirdi; NIST AI Risk Yönetim Çerçevesi düşman testini içerir. Sektörel uygulamalar arasında sağlık AI (tıbbi hatalar için test), finansal AI (ayrımcı kredilendirme kararları için test) ve eğitim AI (küçük izleyicilerle uygunsuz içerik için test) yer alır.