Сейчас достаточно много статей как создавать чат-боты, их описание (из чего они должны состоять или как их лучше проектировать), но слишком мало как их тестировать. В этой статье для senior.ua делятся своим опытом тестирования чат-ботов авторы Ольга Борзенко и Татьяна Федорова, Software Testing Engineers из ICcuracy Group и рассказывают об основных особенностях и подходах к тестированию чат-ботов на платформах Viber и  Telegram.

Ольга Борзенко

Чат-боты сейчас набирают большую популярность и уже используются в разных сферах деятельности: заказ одежды, спец предложения от торговых сетей, покупка авиа и Ж/Д билетов, почтовые сервисы, банковские услуги, информация от коммунальных служб и т.д. 

Что же это такое? Чат-бот - это специальная компьютерная программа, с помощью которой можно вести переписку с пользователями в чате, имитируя при этом поведение человека.  

В чат-боте прописаны определенные сценарии, которые помогают клиенту без привлечения соответствующего персонала в любое время суток оформить свой заказ или найти ответ на интересующий его вопрос. 

Татьяна Федорова

За последние пару лет значительно возросло количество пользователей использующие различные мессенджеры. Это связано с развитием смартфонов, которые стали еще более доступными для широкого круга пользователей. Что заметно “развязало руки” разработчикам мессенджеров, которые в свою очередь уже стали заметно расширять функционал и это способствует привлечению более широкой аудитории. 

По данным немецкого онлайн портала статистики самым популярным мессенджером в мире стал WhatsApp, но все же непосредственно в Украине лидирующие позиции занимают Viber, Facebook Messenger и Telegram по данным на 2019 год. 

Диаграмма использования мессенджеров в Украине в 2019 году

Так все же, почему Viber и Telegram? Давайте рассмотрим чем они похожи, а чем отличаются. 

Таблица 1 

По данным из таблицы можно заметить отличия, но необходимо отметить, что эти мессенджеры не просто то, чем мы пользуемся каждый день для развлечений, но они также становятся своего рода плато для продвижения различных видов бизнеса.  

Поскольку оба мессенджера могут поддерживать использование ботов, далее рассмотрим особенности работы для каждого из них:

Таблица 2

 Обратите внимание на то, что существует два вида ботов:

1.  Чат-бот с фиксированной информационной базой данных, они запрограммированы на ограниченный диапазон сценариев поведения, сюда относятся так называемые “Кнопочный бот” и “Бот-суфлер”;  
2. Чат-бот на основе искусственного интеллекта с возможностью самообучения и самообновления данных, сюда относится “Умный бот”. 

Стоит отметить то, что боты с фиксированной информационной базой более надежны и просты, и именно из-за того, что они не содержат искусственного интеллекта, они не смогут выйти из-под контроля разработчиков.

Чат-боты с реализованным (внедренным) искусственным интеллектом являются более “отзывчивыми”, и их “интеллект” подразумевает способность реагировать в зависимости от сложившейся ситуации. 

Теперь рассмотрим достоинства и недостатки чат-ботов, которые приведены в  Таблице 3:

Таблица 3

Из Таблицы 2 видно, что у Telegram больше возможностей при создании чат-бота, соответственно, и функционала для тестирования будет больше.

Из вышесказанного видно, что принципиального различия в тестировании чат-ботов для Viber или Telegram не будет. И далее будем рассматривать как тестировать чат-боты в целом.

Так с чего начать? Выяснить, для кого и для чего создавался Ваш чат-бот; узнать его целевую аудиторию и для решения каких задач он понадобится пользователю. Уточнить, какие команды при работе с чат-ботом может применять пользователь. Хорошо если пользователю будет доступен этот список (например, его можно выводить после регистрации/авторизации или добавить ссылку на сайт с короткой инструкцией по использованию бота). Обратите внимание на списки команд для Viber и Telegram, скорее всего они будут отличаться. Выяснить, на какие страны ориентирован чат-бот и какие языки будут поддерживаться. Также уточнить, для каких платформ будет разработан Ваш чат-бот. 

Еще рекомендуем, перед началом тестирования ознакомиться со схожими чат-ботами в той же сфере (установить и посмотреть как работают чат-боты для Viber и Telegram). 

Непосредственно при тестировании необходимо пройти основные позитивные сценарии и посмотреть насколько интуитивно понятна работа с чат-ботом. В диалогах с чат-ботом не должно быть тупиков - отклик присутствует на все действия пользователя. Не должно быть ситуаций, чтобы при каком то действии пользователь не получает ответа от чат-бота. Или наоборот, паузы между сообщениями очень маленькие и пользователь не успевает реагировать. Убедитесь, что везде есть возможность вернуться к предыдущему шагу в диалоге с ботом. Проверьте, корректно ли выполняются команды. 

Если бот поддерживает разные страны/языки, нужно проверить наличие переводов для диалогов с чат-ботом и корректность их построения, при этом по возможности опираясь на культуру и традиции той или иной страны, грамматических особенностей построения предложений. Стоит обратить внимание на то, что при регистрации/авторизации (или если это используется в других сценариях чат-бота) маска/валидация номеров телефонов и адресов должны соответствовать форматам выбранной страны. 

Нужно удостовериться, что элементы, обозначающие одно и то же, называются одинаково. Что при удалении любого элемента выводится сообщение о подтверждении действия. Необходимо проверить на соответствие дизайну/макету (хорошо если внешний вид чат-бота выдержан в одной стилистике и цветовой гамме для разных платформ).

Также в ходе тестирования можно использовать следующие классические приемы:  

Ни для кого не секрет, что одним из “Best Practice” является именно то, что тест-инженеров желательно привлекать к тестированию на ранних этапах разработки как web-сайтов, десктопных и мобильных приложений, игр, так и, непосредственно, чат-ботов. Это нужно именно для того, чтобы в будущем уменьшить количество дефектов, что поможет сократить затраты на проект.

Когда Вы получите чат-бота на тест, нужно помнить, что процесс тестирования зависит от контекста. Если Вы раньше сталкивались с тестированием только длительных проектов (например, таких как медицинское оборудование, документооборот, программное обеспечение для автомобилей), то в таком случае Вам необходимо изучить подходы к тестированию непосредственно чат-ботов. Поскольку они будут принципиально разниться не только по предметной области, но и по видам и техникам тестирования, которые Вам придется применять.

Не забывайте о тестовых артефактах. Если Вы приняли решении о целесообразности использования тест кейсов, чек-листа или любой другой тестовой документации, старайтесь актуализировать ее, в противном случае Вы пропустите “fault”, который превратится в “failure”. 

В свою очередь важно понимать, что само тестирование продукта непосредственно показывает наличие дефектов и определяет слабые места чат-бота. В ходе Вашего тестирования задумайтесь о том, что тестирование помогает выявить дефекты, а не доказать то,  что чат-бот не пригоден к использованию.  

Обратите внимание, если Вы нашли дефект в чат-боте двигаясь по позитивному сценарию, стоит продолжать “копать” в этом направлении, поверьте, Вы сможете увидеть целый кластер дефектов. 

Не забывайте, если Вы не выявили дефекты - это совсем не означает что их нет. Попробуйте пересмотреть сценарии кейсов и выявить слабые места чат-бота.

Помните, абсолютно все сценарии проверить не получится. Составляйте тестовую документацию; кроме позитивных сценариев используйте также негативные и исследовательские, оценивайте их на реалистичность и приоритезируйте кейсы.

И в заключение, подходите к тестированию чат-ботов, так же как если бы Вы тестировали web-сайт, десктопное или мобильное приложение. Ведь в любой области есть что-то общее и есть свои нюансы. Как раз на эти нюансы мы и хотели обратить Ваше внимание и поделиться своим опытом в тестировании чат-ботов. 

Надеемся, что наша статья поможет Вам в тестировании чат-ботов!