Несколько недавних интересных статей о дискриминации людей роботами и Искусственным интеллектом (в том числе в финансовой сфере):

Большая статья в The Guardian от 2017 года, которая начинается с того, что алгоритмы ИИ, которые использовал Суд для риск менеджмента (уже звучит интересно), дискриминировали темнокожих обвиняемых и заключенных – ставили им более высокий риск совершения повторного преступления. Похожие системы используются банками при расчете кредитного риска;

Недавняя история из NYT о том, как ФБ дискриминировал пользователей, предоставляя им таргетированную рекламу исходя из их района проживания. На Фб подали в суд – гос орган – посчитал, что ФБ занимается house segregation;

И еще один кейс: софт, который разработали специалисты Амазон для рекрутинга, оказался, женоненавистником – ML специалисты компании обнаружили, что, так как система училась на предыдущем опыте, а ИТ специалисты в основном были мужчины, то резюме женщин получали меньший бал от системы. Они попытались поменять систему, но у них не получилась – команду расформировали в начале этого года;

И напоследок – о том, как банки, кредитные компании и финтех стартапы, такие как ZestFinance, Lenddo, Kreditech,  используют ИИ-алгоритмы, которые дискриминируют клиентов в зависимости от их поведения в соц сетях или того, что они ищут в браузере.

Читайте также: Трагедия Segway: почему крутые технологии оказываются пустышкой

Очень важно помнить, что AI/Machine Learning is as biased as the data we feed them. Но это не умаляет проблемы этических стандартов в использовании Искусственного интеллекта – эта тема набирает популярность:

– Центробанк Нидерландов выпустил general principles for the use of AI in the financial sector.

– Аналогично  сделал Банк Англии (с фокусом на кредитных решениях банков). 

– С выпустил Ethics Guidelines for Trustworthy Artificial Intelligence.

Так что думаю, что у философов и юристов в будущем будет еще больше работы – определять стандарты для ИИ – также будут интересны новые профессии на стыке этих специализаций.