Аннотация изображений является одной из самых важных задач в компьютерном зрении. С помощью многочисленных приложений и машинного обучения, компьютерное зрение стремится дать программам способность видеть и интерпретировать мир. 

Приложения на базе искусственного интеллекта, такие как дополненная реальность, автоматическое распознавание речи и нейронный машинный перевод, могут изменить жизнь людей и предприятия по всему миру. Аналогично, технологии, которые может дать нам компьютерное зрение (автономные транспортные средства, распознавание лиц , беспилотные летательные аппараты).

Однако ни одна из этих удивительных технологий компьютерного зрения была бы невозможна без аннотации изображения. Эта статья объяснит, что такое аннотирование изображений, и пять типов аннотирования изображений, предоставляемых многочисленными компаниями, занимающимися данными обучения по всему миру.

Что такое аннотация изображения?

Аннотация к изображениям - это задача человека, заключающаяся в том, чтобы пометить изображение ярлыками. Эти метки предопределены инженером ИИ и выбраны, чтобы дать модели компьютерного зрения информацию о том, что показано на изображении.

В зависимости от проекта количество меток на каждом изображении может варьироваться. В некоторых проектах для представления содержимого всего изображения требуется только одна метка (классификация изображений). Другие проекты могут требовать пометить несколько объектов в одном изображении, каждый из которых имеет свою метку. 

Как работает аннотация изображения?

Для создания аннотированных изображений вам понадобятся три вещи:

• Картинки
• Кто-то, чтобы комментировать изображения
• Платформа для аннотирования изображений 

Большинство проектов аннотаций изображений начинаются с создания и подготовки аннотаторов для выполнения задач аннотирования. 

В то время как вам нужно высшее образование в области машинного обучения, чтобы иметь возможность создавать автомобиль с самостоятельным вождением, вам не нужна степень магистра, чтобы рисовать рамки вокруг автомобилей на изображениях (ограничительная аннотация). Таким образом, большинство аннотаторов не имеют степеней в машинном обучении. 

Тем не менее, эти комментаторы должны быть тщательно обучены спецификациям и рекомендациям каждого проекта, поскольку у каждой компании будут свои требования. После того, как аннотаторы обучены тому, как аннотировать данные, они приступают к работе, комментируя сотни или тысячи изображений на платформе, предназначенной для аннотирования изображений. Эта платформа представляет собой программное обеспечение, которое должно иметь все необходимые инструменты для выполнения определенного типа аннотации.

5 общих типов аннотации изображений:

1. 2D и 3D ограничивающие рамки

В двухмерных ограничивающих прямоугольниках аннотаторы должны рисовать прямоугольник вокруг объекта, который они хотят аннотировать внутри изображения. Иногда эти целевые объекты будут одинаковыми, например: «Пожалуйста, нарисуйте рамки вокруг каждого велосипеда на этом изображении».

В других случаях может быть несколько целевых объектов: «Пожалуйста, нарисуйте рамки вокруг каждого автомобиля, пешехода и велосипеда на этом изображении». В этих случаях после рисования рамки, аннотатору затем придется выбирать из списка меток.

3D-ограничители, также известные как кубоиды, почти такие же, как 2D-ограничители, за исключением того, что они также могут показывать приблизительную глубину аннотируемых целевых объектов. Подобно аннотациям 2D ограничивающего прямоугольника, аннотаторы рисуют прямоугольники вокруг целевых объектов, следя за тем, чтобы были размещены опорные точки на краях объекта. 

2. Классификация изображений

В то время как ограничивающие рамки имеют дело с аннотированием нескольких объектов на изображении, классификация изображений - это процесс связывания всего изображения только с одной меткой. Простой пример классификации изображений - маркировка видов животных. Аннотаторам будут предоставлены изображения животных, и их попросят классифицировать каждое изображение в зависимости от вида животных. 

Подача этих аннотированных данных изображения в модель компьютерного зрения научит модель визуальным характеристикам, уникальным для каждого типа животных. Теоретически, модель сможет классифицировать новые аннотированные изображения животных в соответствующие категории видов. 

3. Линии и Сплайны

Как следует из их названия, аннотации линий и сплайнов - это маркировка прямых или изогнутых линий на изображениях. Задача аннотаторов - аннотирование полос, тротуаров, линий электропередач и других граничных индикаторов. Изображения, отмеченные линиями и сплайнами, в основном используются для распознавания линий и границ. Кроме того, они также часто используются для планирования траектории в беспилотных летательных аппаратах.

От автономных транспортных средств и дронов до робототехники на складах и т.д. аннотации линий и сплайнов полезны в различных случаях использования. 

4. Полигоны

Иногда целевые объекты неправильной формы не могут быть легко помечены ограничивающими прямоугольниками или кубоидами. Многоугольная аннотация позволяет аннотаторам наносить точки на каждую вершину целевого объекта. Этот метод аннотации позволяет аннотировать все точные края объекта, независимо от его формы.

Как и в случае ограничительных рамок, пиксели в пределах аннотированных краев будут помечены меткой для описания целевого объекта.

5. Семантическая сегментация

Ограничивающие прямоугольники, кубоиды и многоугольники имеют дело с задачей аннотирования отдельных объектов на изображении. Однако семантическая сегментация - это аннотация каждого пикселя в изображении. Вместо того, чтобы давать аннотаторам список объектов для аннотирования, им дают список меток сегментов, на которые нужно разделить изображение. 

Хорошим примером является семантическая сегментация в изображениях трафика для автономных транспортных средств. Типичная задача семантической сегментации может попросить аннотаторов «сегментировать изображение по транспортным средствам, велосипедам, пешеходам, препятствиям, тротуарам, дорогам и зданиям». 

Каждый сегмент обычно обозначается уникальным цветовым кодом. Аннотаторы будут рисовать линии вокруг пикселей, которые они хотят аннотировать, и выбирать соответствующую метку. Конечный результат будет выглядеть примерно так:

Надеемся, что эта статья помогла вам понять основы пяти востребованных типов аннотирования изображений в машинном обучении.