Постачальник хмарних послуг Cloudflare запустив безкоштовний інструмент, який захистить дані веб-сайтів від їхнього використання для навчання штучного інтелекту.

Популярність генеративного штучного інтелекту призвела до стрімкого зростання попиту дані, використовувані навчання моделей. Для отримання даних компанії створили спеціальні боти, що сканують веб-сторінки. Частина компаній роблять це прозоро та не використовують неліцензійний контент, інші правила не дотримуються. Однак, незалежно від доброчесності компаній у сфері ШІ, деякі власники сайтів не хочуть, щоб ШІ-боти сканували їхній контент. Для них Cloudflare запустила новий інструмент та зробила його безкоштовним.

«Ми додали нову функцію блокування всіх ботів зі штучним інтелектом одним клацанням миші. Він доступний для всіх клієнтів, у тому числі для тих, хто має безкоштовний рівень. Щоб увімкнути його, просто перейдіть до розділу Безпека > Боти на інформаційній панелі Cloudflare і клацніть перемикач з позначкою AI Scrapers and Crawlers. Ця функція автоматично оновлюватиметься з часом, коли ми побачимо нові сліди ботів-порушників, які, як ми встановили, широко сканують Інтернет для навчання моделей», — повідомляє компанія в блозі.

За інформацією компанії, минулого місяця роботи ШІ-компаній отримали доступ до близько 39% з мільйона найбільших інтернет-ресурсів за допомогою Cloudflare, але лише 2,98% цих ресурсів вжили заходів, щоб заблокувати або оскаржити ці запити. Найбільш активним був Bytespider від власника TikTok ByteDance. Bytespider лідирує не лише за кількістю запитів, а й за ступенем сканування Інтернет-ресурсу та частотою, з якою його блокують. Слідом за ним іде GPTBot, який OpenAI використовує для збирання навчальних даних для своїх великих мовних моделей. Він посідає друге місце як по скануванню, так і по блокуванню. Також у топі Amazonbot (використовується для індексування контенту для розвитку Alexa) та ClaudeBot (використовується для навчання чат-бота Anthropic Claude).