Сейчас достаточно много статей как создавать чат-боты, их описание (из чего они должны состоять или как их лучше проектировать), но слишком мало как их тестировать. В этой статье для senior.ua делятся своим опытом тестирования чат-ботов авторы Ольга Борзенко и Татьяна Федорова, Software Testing Engineers из ICcuracy Group и рассказывают об основных особенностях и подходах к тестированию чат-ботов на платформах Viber и Telegram.
Ольга Борзенко
Чат-боты сейчас набирают большую популярность и уже используются в разных сферах деятельности: заказ одежды, спец предложения от торговых сетей, покупка авиа и Ж/Д билетов, почтовые сервисы, банковские услуги, информация от коммунальных служб и т.д.
Что же это такое? Чат-бот - это специальная компьютерная программа, с помощью которой можно вести переписку с пользователями в чате, имитируя при этом поведение человека.
В чат-боте прописаны определенные сценарии, которые помогают клиенту без привлечения соответствующего персонала в любое время суток оформить свой заказ или найти ответ на интересующий его вопрос.
Татьяна Федорова
За последние пару лет значительно возросло количество пользователей использующие различные мессенджеры. Это связано с развитием смартфонов, которые стали еще более доступными для широкого круга пользователей. Что заметно “развязало руки” разработчикам мессенджеров, которые в свою очередь уже стали заметно расширять функционал и это способствует привлечению более широкой аудитории.
По данным немецкого онлайн портала статистики самым популярным мессенджером в мире стал WhatsApp, но все же непосредственно в Украине лидирующие позиции занимают Viber, Facebook Messenger и Telegram по данным на 2019 год.
Диаграмма использования мессенджеров в Украине в 2019 году
Так все же, почему Viber и Telegram? Давайте рассмотрим чем они похожи, а чем отличаются.
Таблица 1
Возможности мессенджеров: | Viber | Telegram |
Отправка сообщений и синхронизация со всеми устройствами | + | + |
Приложение для десктопа | + | + |
Подключение нескольких аккаунтов | - | + |
Создания группового чата | + | + |
Расширение группового чата (для участия большего количество человек) | - | + |
Создание канала | + | + |
Возможность обращения к выбранному собеседнику через "@" | + | + |
Облачное хранение файлов | - | + |
Безопасность | + | + + |
Использование ботов | + | + |
По данным из таблицы можно заметить отличия, но необходимо отметить, что эти мессенджеры не просто то, чем мы пользуемся каждый день для развлечений, но они также становятся своего рода плато для продвижения различных видов бизнеса.
Поскольку оба мессенджера могут поддерживать использование ботов, далее рассмотрим особенности работы для каждого из них:
Таблица 2
Особенности: | Viber | Telegram |
Основная концепция | Чат-бот для оптимизации бизнеса и поддержки при взаимодействии с публичными аккаунтами | Интеграция мессенджера с любыми сервисами, выполнения самых разнообразных задач в пределах Telegram |
Реализация | Программы, через интерфейс Viber API соответствуют пользователям, предоставляя в частности различные бизнес предложения и связанную информацию | Особые Telegram-аккаунты без номеров телефона, контролируемые программами и обращаются к пользователям в рамках возможностей Bot API и фантазии разработчиков |
Атрибуты ботов | Параметры уровня публичного аккаунта (бренд, описание, местонахождение, CTA-кнопки) | Имя, фото, описание и адрес |
Ограничения на создание | Все требования к ботам и требования к публичному аккаунту | Практически отсутствуют |
Поддерживаемые типы содержимого | Текст, изображения, видео, контакт, URL, карусели, графическое содержание, а также местонахождение | Все (что поддерживаются Telegram), в частности местонахождение и номер, опрос |
Возможность монетизации | На уровне публичных аккаунтов | Поддерживается |
Коммуникация в режиме чата | Да, с помощью сообщений и гибких клавиатур | Да, с помощью сообщений, команд и клавиатур |
Коммуникация через встроенный режим | Ограничена реализация через расширение | Поддерживается (отправка запросов и получения результатов ответа) |
Взаимодействие с сообщениями ботов | Ограниченная поддержка (через кнопки) | Через встроенные клавиатуры с поддержкой обновления содержимого динамических сообщений |
Добавление ботов к другим чатам | Не поддерживается | Поддерживается (для групп/каналов) |
Остановка ботов | На уровне отписки от публичного аккаунта | Поддерживается |
Разрешение на беседу | Не поддерживается | Поддерживается (для отправки уведомлений) |
Режим приватности в группах | Не поддерживается | Поддерживается |
Deep linking | Поддерживается (с ориентацией на публичные чаты) | Поддерживается |
Быстрая веб-авторизация | Не поддерживается | Поддерживается (по ссылке) |
Создание ботов | Через Viber REST API | |
Варианты использования | Получение новостей, информации, рекламы, связь с публичным аккаунтом, поддержка | Получение новостей, информации, уведомлений, покупка товаров и услуг, создание новых инструментов, игр, социальных сервисов, оптимизация пользовательского опыта (IV, предпросмотр ссылок), обучение, автоматизация, обратная связь, авторизация, викторины и множество другого |
Обратите внимание на то, что существует два вида ботов:
- Чат-бот с фиксированной информационной базой данных, они запрограммированы на ограниченный диапазон сценариев поведения, сюда относятся так называемые “Кнопочный бот” и “Бот-суфлер”;
- Чат-бот на основе искусственного интеллекта с возможностью самообучения и самообновления данных, сюда относится “Умный бот”.
Стоит отметить то, что боты с фиксированной информационной базой более надежны и просты, и именно из-за того, что они не содержат искусственного интеллекта, они не смогут выйти из-под контроля разработчиков.
Чат-боты с реализованным (внедренным) искусственным интеллектом являются более “отзывчивыми”, и их “интеллект” подразумевает способность реагировать в зависимости от сложившейся ситуации.
Теперь рассмотрим достоинства и недостатки чат-ботов, которые приведены в Таблице 3:
Таблица 3
Достоинства: | Недостатки: |
Использование 24/7 | Сбои в работе чат-бота при нестабильном интернете |
Моментальный ответ бота | Избыток функций |
Понятный и простой интерфейс | Сложный и запутанный интерфейс |
Дешевизна для компаний | Неспособность бота распознать сарказм, иронию, юмор и сленг |
Расширение покрытия платформ | Нестандартное поведение пользователя может вызвать вывод бота из строя |
Для общения с чат-ботом не обязательна установка приложения | Не для всех видов бизнеса |
Из Таблицы 2 видно, что у Telegram больше возможностей при создании чат-бота, соответственно, и функционала для тестирования будет больше.
Из вышесказанного видно, что принципиального различия в тестировании чат-ботов для Viber или Telegram не будет. И далее будем рассматривать как тестировать чат-боты в целом.
Так с чего начать? Выяснить, для кого и для чего создавался Ваш чат-бот; узнать его целевую аудиторию и для решения каких задач он понадобится пользователю. Уточнить, какие команды при работе с чат-ботом может применять пользователь. Хорошо если пользователю будет доступен этот список (например, его можно выводить после регистрации/авторизации или добавить ссылку на сайт с короткой инструкцией по использованию бота). Обратите внимание на списки команд для Viber и Telegram, скорее всего они будут отличаться. Выяснить, на какие страны ориентирован чат-бот и какие языки будут поддерживаться. Также уточнить, для каких платформ будет разработан Ваш чат-бот.
Еще рекомендуем, перед началом тестирования ознакомиться со схожими чат-ботами в той же сфере (установить и посмотреть как работают чат-боты для Viber и Telegram).
Непосредственно при тестировании необходимо пройти основные позитивные сценарии и посмотреть насколько интуитивно понятна работа с чат-ботом. В диалогах с чат-ботом не должно быть тупиков - отклик присутствует на все действия пользователя. Не должно быть ситуаций, чтобы при каком то действии пользователь не получает ответа от чат-бота. Или наоборот, паузы между сообщениями очень маленькие и пользователь не успевает реагировать. Убедитесь, что везде есть возможность вернуться к предыдущему шагу в диалоге с ботом. Проверьте, корректно ли выполняются команды.
Если бот поддерживает разные страны/языки, нужно проверить наличие переводов для диалогов с чат-ботом и корректность их построения, при этом по возможности опираясь на культуру и традиции той или иной страны, грамматических особенностей построения предложений. Стоит обратить внимание на то, что при регистрации/авторизации (или если это используется в других сценариях чат-бота) маска/валидация номеров телефонов и адресов должны соответствовать форматам выбранной страны.
Нужно удостовериться, что элементы, обозначающие одно и то же, называются одинаково. Что при удалении любого элемента выводится сообщение о подтверждении действия. Необходимо проверить на соответствие дизайну/макету (хорошо если внешний вид чат-бота выдержан в одной стилистике и цветовой гамме для разных платформ).
Также в ходе тестирования можно использовать следующие классические приемы:
Ни для кого не секрет, что одним из “Best Practice” является именно то, что тест-инженеров желательно привлекать к тестированию на ранних этапах разработки как web-сайтов, десктопных и мобильных приложений, игр, так и, непосредственно, чат-ботов. Это нужно именно для того, чтобы в будущем уменьшить количество дефектов, что поможет сократить затраты на проект.
Когда Вы получите чат-бота на тест, нужно помнить, что процесс тестирования зависит от контекста. Если Вы раньше сталкивались с тестированием только длительных проектов (например, таких как медицинское оборудование, документооборот, программное обеспечение для автомобилей), то в таком случае Вам необходимо изучить подходы к тестированию непосредственно чат-ботов. Поскольку они будут принципиально разниться не только по предметной области, но и по видам и техникам тестирования, которые Вам придется применять.
Не забывайте о тестовых артефактах. Если Вы приняли решении о целесообразности использования тест кейсов, чек-листа или любой другой тестовой документации, старайтесь актуализировать ее, в противном случае Вы пропустите “fault”, который превратится в “failure”.
В свою очередь важно понимать, что само тестирование продукта непосредственно показывает наличие дефектов и определяет слабые места чат-бота. В ходе Вашего тестирования задумайтесь о том, что тестирование помогает выявить дефекты, а не доказать то, что чат-бот не пригоден к использованию.
Обратите внимание, если Вы нашли дефект в чат-боте двигаясь по позитивному сценарию, стоит продолжать “копать” в этом направлении, поверьте, Вы сможете увидеть целый кластер дефектов.
Не забывайте, если Вы не выявили дефекты - это совсем не означает что их нет. Попробуйте пересмотреть сценарии кейсов и выявить слабые места чат-бота.
Помните, абсолютно все сценарии проверить не получится. Составляйте тестовую документацию; кроме позитивных сценариев используйте также негативные и исследовательские, оценивайте их на реалистичность и приоритезируйте кейсы.
И в заключение, подходите к тестированию чат-ботов, так же как если бы Вы тестировали web-сайт, десктопное или мобильное приложение. Ведь в любой области есть что-то общее и есть свои нюансы. Как раз на эти нюансы мы и хотели обратить Ваше внимание и поделиться своим опытом в тестировании чат-ботов.
Надеемся, что наша статья поможет Вам в тестировании чат-ботов!
0 комментариев
Добавить комментарий