Apple і Goldman Sachs - два видних гравця в сферах технологій і фінансів - недавно виявилися в епіцентрі обговорення алгоритмів, які встановлюють кредитні ліміти власникам банківських карт: емітента підозрюють в ненавмисної дискримінації за статевою ознакою, пише Bloomberg. 

Співзасновник Apple Стів Возняк закликав до жорсткішого регулювання таких алгоритмів, а фінансовий регулятор з Уолл-Стріт почав розслідування звинувачень у сексизмі алгоритму Apple Pay.

Чому і хто звинувачує алгоритм Apple Pay

Управління фінансових послуг штату Нью-Йорк (NYDFS) запустило розслідування кредитних практик Goldman Sachs. Приводом стала публікація творця Ruby on Rails Давида Хейнемейер Хенссона в Twitter.

Він розкритикував Apple Card за те, що ліміт по карті його дружини в 20 разів нижче, ніж у нього самого. Хоча, за словами програміста, він і його дружина подають спільну податкову декларацію, а кредитний рейтинг у неї вище. Тирада сильно сколихнула співтовариство і зібрала безліч відгуків.

Пізніше до обговорення з аналогічною проблемою підключився кофаундер Apple Стів Возняк: у нього ліміт по карті Apple Card виявився в 10 разів більше, ніж у дружини. Причому подружжя теж подають спільну податкову декларацію, у них спільні банківські та інші рахунки, прив'язані до кредитних карток, однак інші банки таких відмінностей за статтю не роблять.

Возняк закликав уряд втрутитися і стати на захист громадян, заявивши, що банки занадто багато віддають на відкуп складної для розуміння технології. На його переконання, подібні практики несправедливі і суперечать моралі, а самі алгоритми і механізми їх застосування корпораціями, які діють виключно в своїх інтересах, досить непрозорі.

Алгоритми були покликані гарантувати рівні умови для всіх власників карт, адже вони покладаються виключно на дані і усувають людський фактор. Але ситуація з Apple Pay підкреслює їх недосконалість, вважає Возняк.

Претензії прокоментував представник Goldman Sachs. Він  зазначив, що Apple Card працює тільки з індивідуальними акаунтами, тому ліміти у членів однієї сім'ї можуть істотно різнитися. Але банк стверджує, що ніколи б не став обумовлювати рішення гендерної приналежністю власника картки.

Це вже друга подібна ситуація за останні тижні. Перше розслідування було відкрито відносно UnitedHealth Group - найбільшої американської компанії в сфері медичного страхування. Предметом став алгоритм, який за результатами попередніх досліджень запідозрили дискримінації темношкірих.

Класичні кредитні установи все частіше впроваджують алгоритми для розрахунку лімітів і допустимих сум для клієнтів, щоб знизити витрати і обробити більше кредитних заявок. Разом з тим, у фінансову сферу активно заходять технологічні компанії, наприклад Amazon, Apple, Facebook і Google, а пропоновані ними можливості отримання позик і проведення платежів ризикують відбити прибуток у банків.

Алгоритми і Конгрес

Особливий інтерес до алгоритмів проявляє Конгрес. У червні випадки прийняття за допомогою алгоритмів рішень, які, нехай і ненавмисно, ущемляли певні групи, розглядав Комітет з фінансових послуг Палати представників США.

Кандидатка на пост президента США від Демократичної партії у виборах 2020 року Елізабет Уоррен заявила про необхідність створення законів, що недопустять дискримінації і встигатимуть за темпами інновацій.

Що стосується Goldman Sachs, з такого роду претензіями нью-йоркський банк ще не стикався. Підприємство Apple Card було запущено ним в цьому році спільно з Apple, і саме воно відповідає за кредитні рішення по картах. До слова, Goldman Sachs називав Apple Card найуспішнішим проектом кредитної картки в своїй історії.

А Ханссон продовжує критикувати банк за несерйозне ставлення до «проколу» з дискримінацією: як тільки проблема перекочувала в медійну площину, кредитний ліміт його дружини підвищили, не запрошуючи будь-яких додаткових документів. 

«Я не думаю, що в цьому винна якась нехороша людина, що хотіла когось дискримінувати. Але важливо не це. Звідки нам знати, що проблема не в алгоритмі машинного навчання, якщо ніхто не може пояснити, як це рішення було прийнято? »- розмірковує він.