SageMaker - это полностью управляемый сервис, который позволяет разработчикам создавать, обучать, тестировать и развертывать модели машинного обучения в масштабе.

Машинное обучение - это мощная концепция поиска шаблонов по данным. Если вы хотите создать модель с нуля, нужно помнить о проблемах, связанных с разработкой масштабируемого рабочего процесса машинного обучения.

Маркировка, обучение и настройка параметров - все это трудоемкие действия, связанные с построением модели машинного обучения с использованием традиционных методов. Amazon пытается решить эти проблемы с помощью  AWS SageMaker.

SageMaker - это полностью управляемый сервис от Amazon, набор инструментов, которые помогут создавать, обучать, тестировать и развертывать  модели. 

Давайте посмотрим на отдельные компоненты SageMaker и поймем, как они работают вместе.

SageMaker Ground Truth

Правильный набор данных является первой проблемой в построении модели машинного обучения. Их обычно получают из различных источников и данные могут иметь разные форматы. Поскольку алгоритмы не могут работать с необработанными данными, при подготовке данных часто требуется ручная маркировка. 

SageMaker Ground Truth использует предварительно обученные модели машинного обучения для автоматической маркировки необработанных данных. 

SageMaker Studio

SageMaker Studio - это многофункциональная интегрированная среда разработки (IDE) для машинного обучения. Вы можете писать, отлаживать и визуализировать свои модели с помощью единого интегрированного интерфейса.

Studio SageMaker также предлагает пошаговое отслеживание, которое можно использовать для приостановки, воспроизведения и клонирования шагов. Что позволяет легко перемещаться назад и вперед для анализа и повторения отдельных шагов в процессе машинного обучения.

SageMaker AutoPilot

AutoPilot - очень полезный инструмент в SageMaker. Поиск правильного алгоритма является серьезной проблемой при разработке модели ML. Учитывая разнообразие доступных алгоритмов, для поиска правильного требуются часы обучения и тестирования.

Автопилот решает эту проблему, используя предварительно обученные модели ML, чтобы помочь вам найти правильный алгоритм для ваших данных. Предоставляя целевой столбец для прогнозирования, Autopilot будет искать различные решения. Как только Autopilot найдет подходящую модель, вы можете ее расширить, используя пользовательские конфигурации.

SageMaker Experiments

Чтобы обучить модель, вы должны пройти через несколько итераций, пока не получите максимальную точность. Это включает в себя использование различных алгоритмов, точную настройку параметров, настройку функций и т.д.

SageMaker Experiments позволяет хранить каждую из этих оптимизаций как «Эксперимент» и просматривать их с помощью визуального интерфейса. 

SageMaker Debugger

Точность модели машинного обучения определяется только после завершения обучения. Но обучение модели - это длительный процесс, который занимает от нескольких минут до часов. Если вам нужно изменить параметры, вам придется заново обучить модель, чтобы рассчитать ее точность.

SageMaker Debugger фиксирует показатели в режиме реального времени в процессе обучения. Он собирает такую информацию, как валидация, матрица путаницы  и градиенты обучения, которые помогут вам проанализировать весь процесс обучения и оптимизировать его для повышения точности, а не переобучать всю модель. Debugger также выдает предупреждения об общих проблемах и предоставляет рекомендации для их решения.

SageMaker Model Monitor

Как только ваши модели машинного обучения находятся в продакшене, трудно автоматически контролировать производительность ваших моделей. Поскольку модель получает новые данные от взаимодействия с пользователем, могут возникать отклонения данных, которые меняют базовые значения, такие как среднее значение, дисперсия и т.д. Без надлежащего статистического анализа трудно вывести подобные проблемы традиционными методами.

SageMaker Model Monitor отслеживает ваши модели машинного обучения и предупреждает вас, когда модели не работают должным образом. 

SageMaker Neo

Комплексные решения для машинного обучения, такие как Self-Driving Cars, построены с использованием кластера отдельных моделей. Они должны делать быстрые высокоточные прогнозы с малой задержкой в режиме реального времени. Обучение, тестирование и развертывание таких моделей занимает годы. А после развертывания сложно обновить модель, если не существует надежной архитектуры обучения с усилением.

Вот тут-то и появляется SageMaker Neo. Neo оптимизирует работу моделей в два раза быстрее, занимая менее десятой доли памяти без потери точности. Neo компилирует вашу модель машинного обучения в исполняемый файл, разворачивая ее в облаке или на  лямбда-грани. Также поддерживает  беспроводные обновления  в периферийных точках при поддержке  AWS Greengrass.

AWS Marketplace

AWS Marketplace - это цифровой каталог, предлагающий тысячи предварительно настроенных программных услуг от независимых поставщиков программного обеспечения.

AWS Marketplace предлагает широкий спектр решений для машинного обучения, созданных, обученных и протестированных с использованием платформы AWS. Вы можете выбрать существующую модель, доступную на рынке, и развернуть ее непосредственно на проекте. Рыночные решения также расширяются, что позволяет разработчикам добавлять дополнительные уровни конфигурации перед развертыванием этих моделей для своих клиентов.

SageMaker хорошо работает с такими языками, как Tensorflow и Keras, с возможностью предоставления кластера графических процессоров для параллельного выполнения вычислений. SageMaker, несомненно, является мощным инструментом для машинного обучения.

Источник перевода