TLDR:
Algoritmik önyargı, AI sistem çıktılarında adil olmayan veya ayrımcı sonuçlar üreten sistematik hatalara atıfta bulunur ve tipik olarak ırk, cinsiyet, yaş veya engellilik gibi özelliklerle tanımlanan korunan grupları dezavantajlı hale getirir. Önyargı, özellikle işe alım, kredilendirme, sağlık ve ceza adaletinde AI dağıtımlarında büyük bir hukuki, etik ve operasyonel kaygıdır.
Önyargı Kaynakları
Algoritmik önyargı AI sistemlerine birkaç yolla girer: eğitim verisi önyargısı (geçmiş ayrımcılığı yansıtan tarihsel veri), örnekleme önyargısı (belirli grupların yetersiz temsili), etiketleme önyargısı (açıklayıcı önyargısını yansıtan öznel etiketler), proxy değişkenler (korunan özelliklerle ilişkili görünüşte tarafsız özellikler—örn. ırk için proxy olarak posta kodu), ölçüm önyargısı (aynı sonucun gruplar arasında farklı ölçülmesi) ve dağıtım önyargısı (bir popülasyon için eğitilmiş bir modelin başka bir popülasyonda dağıtılması). Önyargı veri toplamadan dağıtıma kadar AI hattı boyunca birikebilir.
Tespit ve Azaltma
Önyargı tespiti istatistiksel adalet metrikleri kullanır: demografik eşitlik (gruplar arasında eşit pozitif tahmin oranları), eşitlenmiş oranlar (eşit gerçek pozitif ve yanlış pozitif oranlar), kalibrasyon (tahmin edilen olasılıkların gruplar arasında gözlemlenen sonuçlarla eşit eşleşmesi) ve bireysel adalet (benzer bireylerin benzer tahminler alması). Bu metrikler matematiksel olarak çatışabilir ve takasları gerektirir. Azaltma teknikleri arasında eğitim verisini yeniden dengeleme, adalet farkında öğrenme algoritmaları, model çıktılarının son işlenmesi ve ayrıştırılmış metriklerle süregelen izleme yer alır.
Hukuki ve Düzenleyici Yükümlülükler
Birden çok hukuki çerçeve algoritmik önyargıyı ele alma yükümlülükleri dayatır: ABD’de Başlık VII (istihdam), Adil Konut Yasası, Eşit Kredi Fırsatı Yasası ve Bölüm 1557 (sağlık) ayrımcı sonuçları yasaklar; EEOC AI işe alım araçları konusunda özel rehberlik yayımlamıştır; AB AI Act birçok önyargı ile ilgili sistemi yüksek riskli olarak sınıflandırır; GDPR otomatik kararlara itiraz etme haklarını verir. Başarısızlıklar önemli davalara yol açmıştır.