Штучний інтелект в ІТ-компаніях поступово перетворюється з індивідуального помічника в повноцінну частину робочого процесу, впроваджену на рівні компанії. В опитуванні IBM 59 % ІТ-фахівців зізналися, що їхій роботодавець активно інтегрує штучний інтелект у низку процесів і збільшує інвестиції в цей напрямок.

Для чого компаніям впроваджувати штучний інтелект, на які метрики він впливає та як виміряти ефективність — розповів радник Wiseboard і Head of AI у Rozmova Олександр Шарко.

Загальноприйнятих практик щодо впровадження ШІ на рівні компанії поки немає, і наразі це не створює прірви в конкурентоздатності. Однак компанії, що запровадили ШІ-асистенти, мають перші результати. Так, у SoftServe зʼясували, що використання штучного інтелекту підвищує продуктивність команд на 45% і прискорює час розробки проєкту майже на третину.

Та як зрозуміти, що воно буде того варте й за якими метриками оцінювати ефективність?

Ось які показники я раджу заміряти до інтеграції АІ, а потім відстежувати в динаміці.

1. Швидкість онбордингу.

Прискорити онбординг допомагають, зокрема, інструменти з code explanation — завдяки нам розробникам легше розібратись у незнайомому коді. Крім того, АІ-інструменти здатні проаналізувати технічну документацію, зробити вижимку та пояснити, за які функції відповідає та чи інша частина коду.

Приклад з особистого досвіду: моя команда співпрацювала з великим британським банком, у якому працюють понад 10 тис. інженерів. Банк планував розширити технічну команду й підрахував, що новий інженер починає приносити прибуток компанії в середньому через 52 дні. Якщо зменшити цю цифру хоча б на 30% (це два тижні), банк заощадить 7 мільйонів фунтів на рік. Більш детальні розрахунки ефективності повернення інвестицій швидко привели їх до впровадження АІ в роботу.

2. Рівень задоволеності працівників і плинність кадрів.

Ця метрика напряму впливає на доходи компанії, адже утримати працівника завжди менш витратно, ніж заново запускати процес найму та онбордингу. У цьогорічному дослідженні Harness, 52 % розробників назвали вигорання основною причиною звільнень колег, а найчастішою причиною вигорання — рутинні монотонні задачі, які займають багато часу й не приносять відчутної цінності.

ШІ-інструменти дозволяють генерувати доволі якісний код для низькотехнологічних задач: автотести, парсинг даних, підключення до API. Таким чином розробники більше фокусуються на роботі, які потребує складних хард скілів і глибшого розуміння проєкту. Це підтверджує дослідження Microsoft щодо використання Copilot: 67% користувачів визнають, що інструмент допомагає їм зосередитись на більш важливій роботі, 71% — що Copilot звільняє їх від рутинних і нецікавих задач.

3. Продуктивність та ефективність команди

Вимірюючи продуктивність, головне — не потрапити в пастку легко обчислюваних метрик, які насправді не є показовими. До таких можна віднести кількість написаних рядків коду, кількість знайдених дефектів, закритих тікетів тощо. Кількість — не дорівнює якість; більш того, мотивація кількістю вкупі з використанням ШІ може ще й погіршити якість кінцевого продукту.

Краще застосовувати DORA метрики для оцінки DevOps процесів (частота успішного релізу на продакшен, час внесення змін, коефіцієнт помилок і час відновлення сервісу), та один із фреймворків для виміру продуктивності інженерних команд (наприклад, SPACE, DevEx). Як відчутно зміняться ці метрики — залежить від багатьох факторів: рівня зарегульованості компанії, кількості працівників і їхніх навичок. У сеньйор розробника збільшення продуктивності з АІ-асистентами буде відчутнішою, ніж у джуніора, але і швидкість підвищення кваліфікації джуніорів також зросте.

4. Стабільність коду та швидкість ревʼю

Сюди входять усі метрики, що стосуються розробки коду: його безпечність, кількість багів і помилок, кількість повернень на допрацювання та швидкість перегляду. Останнє часто стає вузьким місцем у компаніях, де на 10 розробників припадає 3 ревʼювера. За статистикою, розробник у середньому витрачає близько 20–30% робочого часу саме на перегляд коду.

Наразі ШІ-асистенти доволі успішно справляються з пошуком вразливостей, хоч і потребують людського нагляду для уточнення контексту. ШІ знижує когнітивне навантаження на ревʼюера і знижує ризики, повʼязані з людським фактором — неуважністю, втомою тощо. Це дозволяє значно зекономити час на перевірку коду й бути певним, що більшість вразливостей знайдені на етапі самостійного ревʼю та перевірки колегами з команди.

Крім того, штучний інтелект дозволяє зменшити вартість керованої тестами розробки (TDD). Це досить дорога практика, бо витрачається час на написання тестів, після — написання коду та адаптацію тестів. До появи ШІ-асистентів це займало до 40 % бюджету, закладеного на розробку. Зараз це лише одна з багаторічних практик, яка стає дешевшою зі штучним інтелектом, зберігаючи свої переваги.

5. Продуктові метрики

Зрештою, кожен бізнес цікавить вплив нововведень на кінцевого користувача, і як наслідок — на прибуток. Перш ніж інтегрувати АІ, зафіксуйте продуктові метрики: customer acquisition cost, LTV, NPS, відтік клієнтів. Вплив на них буде помітний із часом, після того як команда пройде адаптацію, а штучний інтелект буде стабільно інтегровано в усі процеси. Я раджу робити заміри раз на місяць або щонайменше раз на квартал для стратегічних метрик. Це допоможе відкалібрувати метрики та підхід до них. Але це потребуватиме часу: залежно від довжини циклу розробки й масштабу продукту суттєві покращення можуть зайняти від 6 місяців до року.

Що ще потрібно знати, щоб грамотно оцінити ефективність штучного інтелекту в компанії?

Вимірюйте метрики, які ви дійсно відстежуєте. Я чимало разів бачив дашборди, які ніхто не відстежує та не оновлює. Кожна компанія індивідуальна у своїх підходах до продуктивності, тож краще обрати ті показники, зміни в яких безпосередньо впливають на розвиток вашого бізнесу й за якими ви стежите.

Ризики інтеграції штучного інтелекту

Найперше, що відлякує компанії — це складність імплементації такого рішення. Адже загальноприйнятих практик ще нема, є лише вдалі рішення окремих команд. Складнощі виникають, коли потрібно вирішити, якими асистентами користуватися, одним чи різними, до яких процесів вони підключаються.

Команди також часто сприймають таку пропозицію скептично. Потрібно дати людям зрозуміти, що ніхто не планує заміняти їх на штучний інтелект або сварити за помилки, навпаки — це інструмент для полегшення їхньої роботи та попередження вигорання. Якщо команда має супротив і менеджмент не здатен його подолати, ефективними нововведення не будуть.

Ще одне побоювання — це, звісно, безпека. Зарегульовані компанії не можуть собі дозволити підключатись до відкритих ШІ-моделей, ризикуючи витоком інформації. Але такі рішення вже зʼявляються: OpenAI, Google, Antropic уже активно пропонують бізнесові пакети, з якими компанії почуваються більш захищеними. Наприклад, Microsoft і GitLab, починаючи співпрацю з компанією, приводять свою команду, яка допомагає побудувати безпечну модель роботи.

Ринок поки не вимагає обовʼязкової імплементації АІ на рівні компанії, однак із часом компанії, які системно інтегрують штучний інтелект, матимуть відчутну перевагу в продуктивності, оперативності та низці інших метрик. Командам у 50+ людей варто вже зараз розібратися в питанні, побудувати стратегію запуску пілотних ШІ-проєктів, обрати інструментарій та оцінити ризики, щоб за кілька років не втрачати в конкурентоспроможності.