У 2010 році було засновано стартап DeepMind Technologies. Засновники, щоб розвинути технологію AI, впровадили міждисциплінарний підхід - об'єднання ідей і досягнень в області машинного навчання, нейробіології, інженерії, математики, моделювання та обчислювальної інфраструктури. Досягення і розробки цієї компанії вражають. 

В 1 частині статті ми вже згадували про легендарні ігрові алгоритми.

GQN: уявлення і рендеринг нейронних сцен

У DeepMind вважають: сприймаючи візуальну інформацію, людина бачить щось більше, ніж просто картинку, мозок спирається на попередні знання і міркування і робить висновки, які виходять за рамки світла, що падає на сітківку.

Наприклад, при першому вході в кімнату людина миттєво розпізнає елементи, які в ній знаходяться, і місце їх розташування. Якщо вона бачить три ніжки столу, то вирішить, що четверта ніжка такої ж форми і кольору, можливо, прихована від очей. Навіть якщо людина не бачить все в кімнаті, вона може уявити її схему або оформлення під іншим кутом зору.

Ці візуальні і пізнавальні завдання здаються людям простими, але для штучних систем вони дуже складні. Сучасні системи візуального розпізнавання навчаються на великих наборах даних анотованих зображень, створених людьми.

Отримання цих даних - дорогий і трудомісткий процес, що вимагає маркування кожного аспекту кожного об'єкта в кожній сцені набору даних. В результаті часто захоплюється тільки невелика підмножина загального змісту сцени, що обмежує системи штучного зору, навчені на таких даних.

Оскільки DeepMind розробляє більш складні машини, які працюють в реальному світі, компанія хоче, щоб вони повністю розуміли своє оточення: де знаходиться найближча поверхня, з якого матеріалу зроблений диван, де знаходиться вимикач.

В роботі, опублікованій в журналі Science, DeepMind представила генеруючу мережу запитів (GQN), структуру, в рамках якої машини вчаться сприймати оточення, навчаючись тільки на даних, які вони самі отримують, переміщаючись по сценам.

GQN складається з двох мереж: мережі уявлень і мережі генерації. Перша приймає спостереження агента в якості вхідних даних і створює уявлення (вектор), яке описує базову сцену. Друга прогнозує ( «уявляє») сцену з раніше спостерігається погляду.

Під час навчання генератор дізнається про типові об'єктах, особливості, відносини і закономірності в навколишньому середовищі. Цей загальний набір «концепцій» дозволяє мережі уявлень описувати сцену в дуже стислій, абстрактній манері, надаючи мережі генерації можливість при необхідності заповнювати деталі.

Наприклад, мережа уявлень представлятиме «синій куб» у вигляді невеликого набору чисел, і мережа генерації буде знати, як це проявляється у вигляді пікселів з певної точки зору.

DeepMind провела контрольовані експерименти на GQN в процедурно-згенерованих тривимірних середовищах, що містять кілька об'єктів в випадкових положеннях, кольорах, формах і текстури, з рандомізованих джерелами світла і сильною окклюзией.

Після навчання в цих середовищах компанія використовувала мережу уявлень GQN для формування уявлень про нові, раніше неспостережуваних сценах. В експериментах DeepMind показала, що GQN проявляє кілька важливих властивостей:

GQN може «уявити» раніше неспостережувані сцени з нових точок зору з високою точністю. Представницька мережа GQN може навчитися рахувати, локалізувати і класифікувати об'єкти без будь-яких позначок рівня об'єкта. 

Пропонований підхід не вимагає специфічної для предметної області розробки або трудомісткого маркування вмісту сцен, що дозволяє застосовувати одну й ту ж модель до ряду різних середовищ. В рамках підходу вивчається і нейронний рендерер, здатний створювати точні зображення сцен з нових точок зору.

Метод DeepMind як і раніше має багато обмежень в порівнянні з більш традиційними методами комп'ютерного зору, і в даний час він працює тільки на синтетичних сценах.

Поява нових джерел даних і поліпшення апаратних можливостей дозволить компанії досліджувати застосування інфраструктури GQN для зображень з більш високою роздільною здатністю реальних сцен.

Реальний світовий вплив

Виявлення очних захворювань

DeepMind оголосила про співпрацю підрозділу DeepMind Health з офтальмологічною клінікою Moorfields NHS Foundation Trust. Разом вони мають намір лікувати діабетичну ретинопатію і вікову дегенерацію жовтої плями (ВДЖП). Ці хвороби зачіпають більш 625 тисяч чоловік у Великобританії і більше 100 млн осіб по всьому світу.

За оцінками, кожен одинадцятий дорослий в світі страждає на діабет. Діабет - основна причина сліпоти серед населення працездатного віку (з діабетом ризик втрати зору вище в 25 разів). Раннє виявлення та лікування можуть запобігти 98% серйозної втрати зору через діабет.

Вікова макулярна дегенерація (ВМД) - найбільш поширена причина сліпоти в Великобританії. Кожен день в Великобританії близько 200 осіб втрачають зір через ускладнення цього стану, і в усьому світі число людей з ВМД має зрости майже до 200 млн до 2020 року.

Машинне навчання може допомогти врятувати зір багатьох з цих людей - завдяки ранньому виявленню ВМД.

За даними DeepMind, сьогодні офтальмологи для діагностики та лікування цих захворювань використовують цифрове сканування очного дна (задня частина ока) і оптичну когерентну томографію (ОКТ).

Ці процедури складні і вимагають багато часу для аналізу, що впливає на те, як швидко лікарі можуть зустрітися з пацієнтами для обговорення діагнозу і лікування. Крім того, традиційні інструменти комп'ютерного аналізу не дають повної картини.

Дослідницький проект DeepMind спрямований на вивчення того, як машинне навчання зможе допомогти ефективно і результативно проаналізувати ці результати сканування. Це призведе до раннього виявлення хвороб і надання своєчасної допомоги.

Економія енергії

У 2016 році DeepMind і Google спільно розробили систему рекомендацій на основі AІ - для підвищення енергоефективності вже високо оптимізованих центрів обробки даних Google. Компанії вважають, що навіть незначні поліпшення забезпечать значну економію енергії і зменшать викиди вуглекислого газу, що допоможе боротися зі зміною клімату.

Центри обробки даних Google містять тисячі серверів, на яких працюють «Google Пошук», Gmail і YouTube.

Замість рекомендацій, які виконуються людиною, їх система штучного інтелекту безпосередньо контролює охолодження центру обробки даних, залишаючись при цьому під наглядом людей.

Кожні п'ять хвилин хмарний AІ витягує знімок системи охолодження центру обробки даних, представлений тисячами фізичних датчиків. Інформація надходить в глибокі нейронні мережі, які прогнозують майбутню енергоефективність і температуру на основі запропонованих дій

AІ вибирає дії, які задовольняють обмеження безпеки і мінімізують споживання енергії в майбутньому

Як тільки інструкції відправляються з хмари в фізичний центр обробки даних, локальна система управління перевіряє їх на відповідність своїм наборам обмежень. Надлишкова перевірка гарантує, що система залишається в межах локальних обмежень, а оператори зберігають повний контроль над роботою: в будь-який момент вони можуть перехопити управління у AІ.

DeepMind навмисно обмежила оптимізацію системи робочим режимом, щоб розставити пріоритети щодо безпеки і надійності.

Незважаючи на те що система працює всього кілька місяців, вона забезпечує 30-відсоткову економію енергії з очікуваним поліпшенням: розробка стає краще в міру збільшення кількості даних.

Продуктивність вимірюється за допомогою загальноприйнятого галузевого показника енергоефективності охолодження - кВт/т (або споживаної енергії на тонну досягнутого охолодження).

AlphaFold: використання AІ для наукових відкриттів

Завдяки міждисциплінарному підходу до роботи DeepMind об'єднала експертів з області структурної біології, фізики та машинного навчання. Спільними силами компанія сподівається передбачити тривимірну структуру білка, грунтуючись виключно на його генетичній послідовності.

Система AlphaFold базується на дослідженнях по використанню геномних даних в прогнозуванні структури білка. Тривимірні моделі білків, які генерує AlphaFold, набагато точніше колишніх.

Білки - великі і складні молекули. Майже кожна функція тіла: скорочення м'язів, сприйняття світла або перетворення їжі в енергію - пов'язана з одним або декількома білками, їх рухом і видозміною.

Функції білка залежать від його унікальної тривимірної структури. Наприклад, білки антитіл, що становлять імунну систему, мають Y-подібну форму. Прив'язуючись до вірусів і бактерій, вони маркують хвороботворні мікроорганізми для знищення.

Білки колагену схожі на шнури, вони передають напругу між хрящами, зв'язками, кістками і шкірою.

Інші типи білків включають Cas9, які, керуючись послідовностям CRISPR, діють як ножиці: вирізають і вставляють ділянки ДНК; протеїни антифризу структура дозволяє зв'язуватися з кристалами льоду і запобігати замерзанню організмів; рибосоми, які діють як запрограмована складальна лінія, допомагають створювати білки.

Але встановити тривимірну форму білка по його генетичної послідовності - складне завдання, яку вчені не можуть вирішити впродовж кількох десятиліть. Проблема в тому, що ДНК містить тільки інформацію про послідовність будівельних блоків білка, званих амінокислотними залишками, які утворюють довгі ланцюги.

Спосіб складання в тривимірну структуру і є «проблема згортання білка».

Чим більше білок, тим складніше і важче його моделювати, оскільки необхідно враховувати більше взаємодій між амінокислотами. Як зазначалося в парадоксі Левинталя, перерахування всіх можливих конфігурацій типового білка займе більше часу, ніж вік Всесвіту, перш ніж він досягне правильної тривимірної структури.

Можливість передбачення форми білка має основоположне значення для розуміння його ролі в організм і діагностики та лікування захворювань, які, як вважається, викликані неправильно згорнутими білками: фіброз Альцгеймера , Паркінсона , Хантінгтона і кістозний фіброз. AlphaFold може поліпшити розуміння принципів роботи тіла, дозволивши вченим розробляти нові ліки.

Команда сфокусувалася на складному завданні моделювання цільових форм з нуля, без використання білків в якості шаблонів. Розробники навчилися досить точно прогнозувати фізичні властивості білкової структури. Після складання прогнозу вони задіяли два різних методи для побудови вже повних білкових структур.

Обидва ці методи спиралися на глибокі нейронні мережі, навчені передбачати властивості білка по його генетичній послідовності. Перший дозволяє обчислити відстані між парами амінокислот і кути між хімічними зв'язками, що зв'язують ці амінокислоти.

Другий метод оптимізував оцінки за допомогою градієнтного спуску - математичного методу, який зазвичай використовується в машинному навчанні для внесення невеликих, поступових покращень, - що робило структури точніше.

Команда DeepMind

Успіх DeepMind залежить від об'єднання безлічі команд для досягнення спільної мети. У компанії прийшли до висновку, що нові ідеї виникають з цілеспрямованої міждисциплінарної співпраці.

Групи дослідників і інженерів співпрацюють з партнерами-експертами з широкого кола наукових проблем - від згортання білків до квантової хімії, доповненої AI.

Дослідники й інженери працюють з партнерами в Google, застосовуючи системи в реальному світі. Ця співпраця вже скоротилf енергоспоживання Google.

У спеціалізовані команди входять експерти з управління програмами, розвитку людей, подорожами, нерухомістю, участі громадськості та багатьом іншим, хто працює разом, щоб підтримувати, оптимізувати і розвивати культуру DeepMind і світові дослідження.

Передача знань новому поколінню

Стипендіальна програма DeepMind дає талановитим студентам з малозабезпечених сімей можливість вчитися в провідних університетах і спілкуватися з дослідниками і інженерами DeepMind.

Компанія співпрацює з такими благодійними організаціями, як «Шахи в школах і громадах» і In2Science, а також партнерами-засновниками Deep Learning Indaba в Африці, Східноєвропейської школи машинного навчання та літньої лабораторії AI4Good в Канаді.

Компанія співпрацює з академічними інститутами для розширення дослідницького та викладацького потенціалу. Сьогодні DeepMind створила академічні кафедри машинного навчання в Університеті Альберти, Каліфорнійському і Кембриджському університетах.