Yapay zekanın önyargılı bir sorunu var ve bu bizim hatamız

2016 yılında Boston Üniversitesi ve Microsoft araştırmacıları, her gün kullandığımız en popüler ve kritik hizmetlerden bazılarının altında yatan teknolojideki ırkçı ve cinsiyetçi eğilimleri keşfettiklerinde yapay zeka algoritmaları üzerinde çalışıyorlardı. Vahiy, yapay zekanın, insanların yaptığı cinsiyet, ırk ve kültürel önyargılardan muzdarip olmadığı bilinen akıl bilgisine karşı çıktı.

Araştırmacılar, bu gömme kelimeyi gömme algoritmalarını incelerken, büyük metin gövdelerini analiz ederek farklı kelimeler arasında korelasyon ve dernekler bulan bir AI tipidir. Örneğin, eğitimli bir kelime gömme algoritması, çiçek kelimelerinin hoş hislerle yakından ilişkili olduğunu anlayabilir. Daha pratik bir düzeyde, kelime gömme "bilgisayar programlama" teriminin "C ++", "JavaScript" ve "nesne yönelimli analiz ve tasarım" ile yakından ilgili olduğunu anlamaktadır. Özgeçmiş tarama uygulamasına dahil edildiğinde, bu işlevsellik, işverenlerin daha az çabayla nitelikli adaylar bulmalarını sağlar. Arama motorlarında, semantik olarak arama terimiyle ilgili içerik getirerek daha iyi sonuçlar sağlayabilir.

BÜ ve Microsoft araştırmacıları, kelime gömme algoritmalarının "bilgisayar programcısını" erkek zamirlerle ve "ev kadını" nı kadınlarla ilişkilendirmek gibi sorunlu önyargılara sahip olduğunu buldu. Bir araştırma belgesinde yayımladıkları bulgular, uygun olarak "Kadın, Ev Kadını Olarak Bilgisayar Programcısı Adam mı?" AI tarafsızlık efsanesini aldatmak ve algoritmik önyargıya ışık tutmak için yapılan birkaç rapordan biriydi; algoritmalar gündelik kararlarımızda giderek artan bir şekilde kritik boyutlara ulaşan bir olgudur.

Algoritmik Önyargının Kökenleri

Makine öğrenimi ve derin öğrenme algoritmaları, en güncel AI destekli yazılımların temelini oluşturur. Önceden tanımlanmış ve doğrulanabilir kurallara dayanan çalışan geleneksel yazılımın aksine, derin öğrenme kendi kurallarını yaratır ve örnek olarak öğrenir.

Örneğin, derin öğrenmeye dayalı bir görüntü tanıma uygulaması oluşturmak için, programcılar algoritmayı etiketli verileri besleyerek "eğitir": bu durumda, içerdikleri nesnenin adıyla etiketlenen fotoğraflar. Algoritma, yeterince örnek aldığında, benzer şekilde etiketlenmiş veriler arasında ortak kalıpları toplayabilir ve bu bilgileri etiketlenmemiş örnekleri sınıflandırmak için kullanabilir.

Bu mekanizma, derinlemesine öğrenmenin kurala dayalı yazılımla neredeyse imkansız olan birçok görevi gerçekleştirmesini sağlar. Ancak aynı zamanda derin öğrenme yazılımının gizli veya açık önyargıları devralabildiği anlamına gelir .

Boston Üniversitesi Elektrik ve Bilgisayar Mühendisliği Bölümünde ders veren ve kelime yerleştirme algoritmaları üzerinde çalışan Profesör Venkatesh Saligrama, “AI algoritmaları doğası gereği önyargılı değil” diyor. “Belirleyici işlevselliğe sahipler ve üzerinde çalıştıkları verilerde var olan eğilimleri yakalayacaklar.”

Boston Üniversitesi araştırmacıları tarafından test edilen kelime yerleştirme algoritmaları Google Haberler, Wikipedia ve sosyal önyargıların derinden gömülü olduğu diğer çevrimiçi kaynaklardan yüz binlerce makalede eğitildi. Örnek olarak, teknoloji endüstrisine hâkim olan erkek kardeş kültürü nedeniyle, erkek isimleri teknoloji ile ilgili mesleklerde daha sık ortaya çıkıyor ve bu da erkekleri programlama ve yazılım mühendisliği gibi mesleklerle ilişkilendirme algoritmalarına öncülük ediyor.

BU'da son sınıf doktora öğrencisi olan Tolga Bolukbaşı, “Algoritmalar, doğru olanı ayırt etmede insan aklının gücüne sahip değil” diyor. İnsanlar etik normlara karşı hareket etmeye karar versek bile eylemlerimizin ahlakını yargılayabilirler. Ancak algoritmalar için veriler nihai belirleyici faktördür.

Saligrama ve Bolukbasi, bu önyargı hakkında alarm veren ilk kişi değillerdi. IBM, Microsoft ve Toronto Üniversitesi'ndeki araştırmacılar, 2011'de yayınlanan bir makalede algoritmik ayrımcılığı önleme gereğinin altını çizdiler. O zamanlar, algoritmik önyargı ezoterik bir sorundu ve derinlemesine öğrenme hala ana akıma girmedi. Bugün ise, algoritmik önyargı zaten haber okumak, arkadaş bulmak, online alışveriş yapmak ve Netflix ve YouTube'da video izlemek gibi yaptığımız pek çok şeye işaret ediyor.

Algoritmik Önyargının Etkisi

2015'te Google, Fotoğraflar uygulamasına güç veren algoritmalar iki siyah insanı goriller olarak etiketledikten sonra özür dilemek zorunda kaldı - çünkü eğitim veri setinde yeterince siyah insan resmi yoktu. 2016 yılında, AI tarafından değerlendirilen bir güzellik yarışmasının 44 kazananının neredeyse tamamı beyaz, birkaç tanesi Asyalı, yalnızca bir tanesi koyu tenliydi. Yine nedeni, algoritmanın çoğunlukla beyaz insanların fotoğraflarıyla eğitilmiş olmasıdır.

Google Foto, hepiniz berbattınız. Arkadaşım bir goril değil. pic.twitter.com/SMkMCsNVX4

- Jackyalciné, burada çok fazla cevap vermiyor. DM (@jackyalcine) 29 Haziran 2015

Daha yakın bir zamanda, IBM ve Microsoft'un yüz analiz hizmetlerinin bir testi, şirketlerin algoritmalarının açık tenli erkeklerin cinsiyetini tespit etmede neredeyse kusursuz olduğunu, ancak koyu tenli kadınların resimlerinde sunulduğunda genellikle hata yaptığını tespit etti.

Bu olaylar muhtemelen ihmal edilebilir bir hasara yol açsa da, aynı durum sağlık hizmetleri, kolluk kuvvetleri ve işe alım gibi daha kritik alanlarda AI algoritmaları için söylenemez. 2016 yılında, ProPublica tarafından yapılan bir araştırma, suçluların iadesi riskini değerlendiren AI güdümlü bir yazılım olan COMPAS'ın renkli insanlara karşı önyargılı olduğunu buldu. Keşif özellikle ilgiliydi çünkü bazı eyaletlerdeki hakimler kimlerin serbest yürüdüğünü ve hapiste kimin kaldığını belirlemek için COMPAS kullanıyorlardı.

Başka bir durumda, Google’ın derin öğrenme algoritmaları tarafından desteklenen reklam platformu çalışması, erkeklere yüksek ücretli işler için reklamları kadınlardan daha sık gösterdi. Ayrı bir çalışma, LinkedIn'in iş ilanlarıyla benzer bir sorun buldu. Bir diğeri, taraflı önyargı işe alım algoritmalarının, adı Avrupa-Amerikan olan bir kişiye, Afrikalı-Amerikalı bir isme göre olanlardan birine röportaj daveti gönderme olasılığı yüzde 50 daha fazla olduğunu gösterdi.

Kredi onayı, kredi notu ve burs gibi alanlar da benzer tehditlerle karşı karşıya.

Algoritmik önyargı, sosyal önyargıları nasıl artırabileceğinden endişe duyuyor. AI'nın soğuk olduğu yanılsaması altında, önyargı veya önyargıdan yoksun matematiksel hesaplama, insanlar sorgulamadan algoritmik yargıya güvenme eğiliminde olabilirler.

Wired UK ile yapılan bir röportajda, Edinburgh Napier Üniversitesi kriminoloji öğretim görevlisi Andrew Wooff, "zaman baskısı, kaynak yoğun" polislik dünyasının kolluk kuvvetlerinin algoritmik kararlara çok fazla güvenmesine neden olabileceğini gözlemledi. “Bir polis memurunun sisteme kendi karar verme süreçlerinden daha fazla güvenebileceği bir durum hayal edebiliyorum” dedi. “Kısmen bu, bir şeyler ters gittiğinde bir kararı haklı çıkarmak için olabilir.”

Önyargılı algoritmalara güvenmek bir geri besleme döngüsü oluşturur: Gelecekte algoritmaların analiz edeceği ve geliştireceği önyargılı veriler yaratan kararlar alırız.

Bu tür bir şey zaten Facebook ve Twitter gibi sosyal medya ağlarında oluyor. Haber akışlarını çalıştıran algoritmalar, kullanıcıların tercihlerine ve önyargılarına uygun içerik gösteren "filtre balonları" oluşturur. Bu, onların karşıt görüşlere daha az tolerans göstermesini sağlayabilir ve ayrıca siyasi ve sosyal bölünme boyunca bir kama sürerek toplumu daha da kutuplaştırabilir.

Microsoft'ta kıdemli araştırmacı olan Jenn Wortman Vaughan, “Algoritmik önyargı herhangi bir grubu potansiyel olarak etkileyebilir” diyor. "Verilerde yeterince temsil edilmeyen gruplar özellikle risk altında olabilir."

Teknoloji endüstrisinin kadınlara yönelik endemik ayrımcılığı gibi önyargılarla bilinen alanlarda, AI algoritmaları bu önyargıları vurgulayabilir ve iyi temsil edilmemiş grupların marjinalleşmesine yol açabilir.

Sağlık başka bir kritik alan, Wortman'a dikkat çekiyor. “Tıbbi tanı için kullanılan bir makine öğrenme algoritması bir popülasyondan elde edilen veriler üzerinde eğitiliyorsa ve bunun sonucunda diğerlerinde iyi performans göstermiyorsa ciddi sorunlara neden olabilir” diyor.

Önyargı ayrıca daha ince şekillerde de zararlı olabilir. Wortman, "Geçen yıl kızımı saçını kestirmeyi planlamıştım ve ilham için 'yürümeye başlayan saç kesimi' görüntülerini çevrimiçi olarak aradım" diyor. Ancak geri gönderilen görüntüler, hemen hemen tüm beyaz çocuklardı, öncelikle düz saçlı ve daha da şaşırtıcı bir şekilde, öncelikle erkeklerdi.

Uzmanlar bu fenomene "temsil edici zarar" diyorlar: teknoloji kalıplaşmış klişeleri güçlendirdiğinde veya belirli grupları azalttığında. Wortman, "Bu tür önyargının kesin etkisini ölçmek veya ölçmek zordur, ancak bu önemli olmadığı anlamına gelmez" diyor.

AI Algoritmalarından Önyargıyı Çıkarma

Artan önyargıların giderek daha kritik bir şekilde ortaya çıkması, çeşitli kuruluşların ve devlet kurumlarının dikkatini çekti ve AI'nın farklı alanlarda kullanımını çevreleyen etik ve sosyal sorunları ele almak için bazı olumlu adımlar atıldı.

Ürünleri ağırlıklı olarak AI algoritmalarına dayanan Microsoft, kullanıcıların AI destekli servislerin ayrımcılığa uğramadan daha iyi bir şekilde kavrayışlarını ve verimliliğini kullanmalarını sağlamak amacıyla üç yıl önce AI'da Adalet, Hesap Verebilirlik, Şeffaflık ve Etik (FATE) adında bir araştırma projesi başlattı. önyargı.

Bazı durumlarda, AI tarafından düzenlenen güzellik yarışması gibi, bir AI algoritmasının önyargılı davranışının kaynağını bulmak ve düzeltmek, eğitim veri setindeki fotoğrafları kontrol etmek ve değiştirmek kadar kolay olabilir. Ancak, Boston Üniversitesi araştırmacılarının araştırdığı kelime gömme algoritmaları gibi diğer durumlarda, önyargı eğitim verilerinde daha ince şekillerde oyulmuştur.

Microsoft araştırmacısı Adam Kalai'nin bir araya geldiği BÜ ekibi, cinsiyet kategorilerine göre kelime yerleştirmelerini sınıflandırma ve potansiyel olarak önyargılı analojileri belirleme yöntemi geliştirdi. Ancak nihai kararı vermediler ve şüpheli derneklerin her birini 10 kişinin, Amazon'un çevrimiçi pazar yeri olan ve birliğin kaldırılıp kaldırılmayacağına karar verecek olan veri ile ilgili görevler yapan Mekanik Turk'de yürüteceklerini söylediler.

BU profesör ve araştırmacı Saligrama, "Sürece kendi önyargılarımızı eklemek istemedik" diyor. “Sorunlu dernekleri keşfetmeye yönelik araçlar sağladık. İnsanlar nihai kararı verdi.”

Daha yakın bir makalede, Kalai ve diğer araştırmacılar, herkes için aynı önlemleri kullanmak yerine farklı insan gruplarını sınıflandırmak için ayrı algoritmalar kullanmayı teklif etti. Bu yöntem, mevcut verilerin belirli bir grubun lehine zaten önyargılı olduğu alanlarda etkili olabilir. Örneğin, kadın adayları bir programlama işi için değerlendirecek olan algoritmalar, mevcut önyargılardan derinden etkilenen daha geniş veri setini kullanmak yerine, bu grup için en uygun kriterleri kullanacaktır.

Microsoft’un Wortman’ı AI endüstrisinde kapsayıcılık yapmayı algoritmalardaki önyargıyla mücadelede gerekli bir adım olarak görüyor. “AI sistemlerimizin sadece bazı demografik bilgiler için değil, herkes için yararlı olmasını istiyorsak, şirketlerin AI üzerinde çalışması için çeşitli ekipler kiralamaları gerekir” diyor.

Wortman, 2006'da, AI endüstrisinde çalışan ve çalışan kadınların, endüstri ve akademi'deki üst düzey kadınlarla panel toplantılarına katılabileceği, ağ kurabileceği, fikir alışverişinde bulunabileceği ve panel tartışmalarına katılabileceği yıllık bir çalıştay düzenleyen Kadın Makine Öğrenimi (WiML) 'nin kurulmasına yardımcı oldu. Benzer bir çaba, AI'da daha çeşitli yetenekler geliştirmeyi amaçlayan başka bir Microsoft araştırmacısı Timnit Gebru tarafından kurulan AI Atölyesinde yeni Siyah'tır.

Boston Üniversitesi Bolukbaşı da AI algoritmalarının problem çözme şeklini değiştirmeyi öneriyor. "Algoritmalar, amaçlarını en üst düzeye çıkaran bir kural seti seçeceklerdir. Verilen girdi çıktı çiftleri için aynı sonuca ulaşmanın birçok yolu olabilir" diyor. “İnsanlar için çoktan seçmeli testlere bir örnek verin. Kişi yanlış bir düşünme süreci ile doğru cevaba ulaşabilir, ancak yine de aynı puanı elde edebilir. Bu etkiyi en aza indirgemek için sadece gerçekten insanlara izin veren yüksek kaliteli bir test tasarlanmalıdır. Doğru puanları almak için konuyu bilmek, algoritmaların sosyal kısıtlamaların farkında olmasını sağlamak, yanlış bir kural kümesinin öğrenilmesinin hedef olarak cezalandırıldığı bu örneğe benzer (kesin bir kural olmasa da) olarak görülebilir.Bu, devam eden ve zorlu bir araştırmadır. konu."

AI'in Opaklığı Adaleti Zorlaştırıyor

AI algoritmalarını daha adil yapma yolunda öne çıkan bir diğer zorluk da “kara kutu” olgusudur. Birçok durumda, şirketler algoritmalarını kıskanç bir şekilde korurlar: Örneğin, suç tahmin yazılımı olan COMPAS'ın üreticisi Northpointe Inc. kendi tescilli algoritmasını ifşa etmeyi reddetti. COMPAS'ın iç işleyişine mahkum olan yegâne insanlar programcılarıdır, yargılamak için kullanan yargıçlar değil.

Kurumsal gizliliğin yanı sıra, AI algoritmaları bazen kararları arkasındaki sebep ve mekanizmaların yaratıcılarını bile engellemeyecek kadar kıvrılıyor. İngiltere'de Durham polisi, şüphelilerin iki yıl içinde düşük, orta veya yüksek suç işleme riski bulunup bulunmadığını belirlemek için AI sistemi HART'ı kullanıyor. Ancak HART'ın 2017 tarihli bir akademik değerlendirmesi, “opaklığın kaçınılması zor görünüyor” dedi. Bu kısmen, sistemin kullandığı büyük miktar ve çeşitlilikten dolayı kararlarının arkasındaki nedenleri analiz etmeyi zorlaştırıyor. Gazetede, "Bu detaylar halka ücretsiz olarak sunulabilir, ancak tam olarak anlaşılması için çok fazla zaman ve çaba gerektirir" diyor.

Bazı şirketler ve kuruluşlar, makine kalitesi öğrenme algoritmalarının davranışını çıktı kalitesinden ödün vermeden daha anlaşılır hale getirme girişimi olan GlassBox'ı başlatan Google dahil olmak üzere AI'ya şeffaflık sağlama konusunda öncü çalışmalar yapıyor. Askeri alanda AI kullanımını denetleyen Savunma Gelişmiş Araştırma Projeleri Ajansı (DARPA), AI algoritmalarının kararlarını açıklamalarını sağlamak için çaba harcıyor.

Diğer durumlarda, insan yargıları önyargıyla başa çıkmada kilit rol oynayacaktır. Mevcut ırksal ve sosyal insan önyargılarının HART'ın algoritmalarına sürtünmesini önlemek için, Durham Constabulary çalışanlarına bilinçsiz önyargı etrafında bilinçlendirme seansları sağladı. Polis gücü ayrıca, önyargılı kararlar için zemin oluşturabilecek ırksal özellikler gibi veri noktalarını kaldırmak için adımlar attı.

İnsan Sorumluluğu

Farklı bir bakış açısıyla, AI algoritmaları kendi önyargılarımıza ve önyargılarımıza yansıtma fırsatı sağlayabilir. Oxford Üniversitesi veri etiği ve algoritmalarında araştırma yapan Sandra Wachter, The Guardian'a verdiği demeçte, "Dünya önyargılı, tarihsel verileri önyargılı, bu nedenle önyargılı sonuçlar almamız şaşırtıcı değil."

Wachter, Londra'daki Alan Turing Enstitüsü ve Oxford Üniversitesi'nden bir araştırma ekibinin parçasıdır ve AI algoritmalarıyla olası ayrımcılığı araştırmak için düzenlemeler ve kurumlar için bir bildiri yayınladı.

Ayrıca, The University of Bath’ta bilgisayar bilimci ve algoritmik önyargı konusunda bir araştırma makalesinin yazarlarından Joanna Bryson’a da değinerek, “Bir çok insan AI’nin önyargılı olduğunu gösteriyor. Hayır. önyargılı ve AI bunu öğreniyor. "

Microsoft, 2016'da, insanlardan öğrenmesi ve akıllı konuşmalar yapması beklenen bir Twitter botu olan Tay'ı başlattı. Ancak Tay'in başlatılmasından sonraki 24 saat içinde Microsoft, Twitter kullanıcıları ile yaptığı konuşmalardan aldığı ırkçı yorumları yaymaya başladıktan sonra kapatması gerekiyordu. Belki de bu, insanların algoritmik önyargı fenomeninin ortaya çıkmasında ve yayılmasındaki kendi rolümüzü kabul ettiğimiz ve etkilerini geri almak için ortak adımlar attığımızın bir hatırlatmadır.

Wachter, "Bu çok karmaşık bir görev, ancak toplum olarak uzak durmamamız gereken bir sorumluluk." Diyor.