Автор: Алексей Уткин, ведущий эксперт финансовой практики DataArt 

Если вам в принципе приходится иметь дело с большими объемами данных, есть основания подозревать, что механизмы их обработки несовершенны. Выбрать подходящую платформу данных — непростая задача. Надеюсь, что это краткое руководство поможет наметить план ее поиска и внедрения, избежав наиболее распространенных ошибок. Cледуя базовым рекомендациям, можно получить первые результаты через несколько недель, а не месяцев, и извлечь из MVP-решения максимальную пользу.

ШАГ 1. РАЗБЕРИТЕСЬ, НУЖНА ЛИ ВАМ ПОМОЩЬ СО СТОРОНЫ

Облачные решения для обработки данных — проекты нестандартные, доверять их внедрение внутреннему IT-отделу — серьезный риск. Недостаток опыта приводит к перерасходу времени, а значит, и денег, но главное — результатом всегда может оказаться всего лишь копия знакомого локального ПО, механически перенесенная в облачное хранилище. Т. е. избавиться от ограничений собственными силами зачастую не удается.

Сильная сторона собственных сотрудников изначально — в глубоком знании внутренних процессов. И максимального результата, скорее всего, позволит добиться объединение их усилий с опытом внешних консультантов, способных облегчить процесс миграции. Такое сотрудничество может значительно сократить расходы на разработку и инфраструктуру, а также позволяет бизнесу осознанно подойти к каждому из аспектов проектирования.

Не стоит: Полагаться только на внутренние ресурсы: риск превысить бюджет и не получить желаемого результата слишком высок.

Нужно: Найти консультанта, способного подобрать архитектурный шаблон, подходящий для вашего случая. Это позволит ускорить миграцию, снять проблемные ограничения и не платить облачным сервисам за услуги, которые вам не понадобятся.

ШАГ 2: СОГЛАСУЙТЕ СТРАТЕГИЮ И ТАКТИКУ

Команда, ответственная за миграцию, должна подробно расписать предстоящий процесс, учитывая конечную бизнес-задачу. Стратегия и тактика должны быть зафиксированы письменно, причем в виде, который устроит и разработчиков, и тех, кому в итоге предстоит эксплуатировать систему. 

Если связь между командой разработки и бизнесом будет нарушена, вы рискуете, что:

1.      За время разработки потребности бизнеса изменятся.
2.      Бизнес не может быстро приспособиться к общему объему изменений.
3.      Итоговое решение окажется совсем не таким, каким представлял его бизнес.

Не стоит: Делать ставку на радикальные изменения. Это грозит долгим ожиданием выхода на рынок, низкой производительностью и чрезмерными затратами.

Нужно: Понять ценность решения бизнеса, определить итерации разработки, процесс внедрения, дальнейшее развитие платформы. На основе общения со стейкхолдерами IT-команда должна составить успешный сценарий и только потом переходить к техническим моментам.  

ШАГ 3. ОЦЕНИТЕ ТЕКУЩЕЕ И ЦЕЛЕВОЕ СОСТОЯНИЯ

На этом этапе ваша задача — определить критерии оценки эффективности решения для обработки данных, соотнести их с успешным бизнес-сценарием. Только так уже после интеграции вы сможете понять, соответствует ли новая платформа вашим ожиданиям.

Не стоит: Спешить с запуском проекта, не разобравшись, как оценивать его успех в будущем. Сами по себе разработка и интеграция новой платформы вам вряд ли нужны — вопрос в том, решат ли они ваши проблемы.

Нужно: Определить метрики для измерения производительности, включая скорость обработки и объем данных, возможность внедрения новых сценариев их использования. 

Еще важнее представить, как с вашими данными будут взаимодействовать конечные пользователи, отразиться ли внедрение новой платформы на их жизни. Все ваши построения должны быть выражены в числах, на которые вы сможете опереться при планировании, а в дальнейшем и при анализе эффективности работы. 

ШАГ 4. ВЫБЕРИТЕ СОВРЕМЕННУЮ ПЛАТФОРМУ ДАННЫХ

Теперь пора определиться с самой платформой. Это непросто, поскольку их выбор очень богат. Прежде всего, еще раз задумайтесь о поставленных целях и соотнесите их с одним из видов инструментов:

1. ХРАНИЛИЩА ДАННЫХ оптимизированы для структурированных, очищенных и интегрированных данных. Они предназначены для широкого круга бизнес-пользователей.
2. ОЗЕРА ДАННЫХ используют для неструктурированных данных, которые хранятся в оригинальном формате. Они позволяют аккумулировать огромный объем разнообразной информации относительно недорогим способом и легко масштабируются. С озерами данных чаще работают опытные бизнес-аналитики, специалисты по работе с данными и разработчики.
3. РЕШЕНИЯ ДЛЯ ПОТОКОВОЙ АНАЛИТИКИ технологически схожи с озерами данных. Однако сконфигурированы так, чтобы обеспечить самую высокую скорость отклика. 
4. Гибридные инструменты.

Snowflake, Oracle Exadata, Teradata, Microsoft Parallel Data Warehouse и AWS — ведущие поставщики облачных решений для обработки данных — предлагают клиентам инструменты всех перечисленных видов.

Не стоит: Заранее выбирать тип платформы, не разобравшись с потребностями бизнеса. Допустим, степень гибкости и масштабируемости должны быть не максимальными,  а необходимыми и достаточными. Только так можно обеспечить решению рентабельность.

Нужно: Выбрать облачное решение, поставщика технологий, инструменты, соответствующие типу и виду данным, с которыми работает ваша компания. 

ШАГ 5. ПРОВЕРЬТЕ РЕШЕНИЕ С ПОМОЩЬЮ MVP

Двигайтесь вперед, создав простой MVP, способный продемонстрировать функциональность вашей платформы. Познакомьте с ним реальных пользователей системы и получить обратную связь. Это поможет скорректировать проект на раннем этапе и сэкономит бюджет. 

Не стоит: Сразу пытаться создать готовый продукт.

Нужно: Продемонстрировать все преимущества решения с помощью MVP и убедиться, что те, кому предстоит работать с платформой данных, их оценят.

ШАГ 6: СОЗДАЙТЕ СТРАТЕГИЧЕСКИЙ ПЛАН МАСШТАБИРОВАНИЯ

Спланируйте сценарии масштабирования вашего инструмента и определите метрики. Хорошие подходы к реализации учитывают три потока:

1. Постепенное внедрение бизнес-сценариев использования.
2. Наращивание архитектуры и инструментальной базы.
3. Инкрементальное бизнес-принятие новых возможностей передачи данных и операционной модели

Непосредственно к разработке разумно привлечь узкопрофильного специалиста — опытного консультанта, который сможет поделиться знаниями  с вашей командой.

Не стоит: Пренебрегать возможностью учиться на чужом опыте, т. е. экономить, отказавшись от консультанта.

Нужно: Учиться у партнеров и инвестировать в обучение команды —  она должны быть в курсе технологических новинок и тенденций. 

ШАГ 7. ОТСЛЕЖИВАЙТЕ И ОПТИМИЗИРУЙТЕ

Раньше производительность платформы данных оценивали еще до развертывания. Но в современной облачной среде это может произойти и сразу после — главное помнить, что такой анализ провести необходимо.

Не стоит: Забывать о платформе после развертывания. Без оптимизации затраты на хранение данных и облачные вычисления могут расти в геометрической прогрессии.

Нужно: Отслеживать рабочие нагрузки и пайплайны платформы, чтобы не пропустить момент, когда ей понадобится оптимизация.