Компанія-виробник графічних процесорів Nvidia представила новий інструмент Chat with RTX, який є багатообіцяльним чат-ботом зі штучним інтелектом. The Verge протестував програму і назвав її трішки «сирою», але корисною.

Що вміє чат-бот?

Chat with RTX може аналізувати відео на YouTube. Просто введіть URL-адресу, і він зможе знайти певні згадки у транскриптах або підсумувати все відео у текстовому вигляді.

Це потребує лічених секунд, однак поки не все ідеально, наприклад, були виявлені несправності під час пошуку відомостей у транскрипціях відео, або ж чат-бот використовував для пошуку зміст іншого ролика.

Chat with RTX також виявився корисним для обробки файлів різних форматів, включаючи TXT, PDF, DOC та DOCX. Стверджується, що системі Copilot від Microsoft складно обробляти файли, але чат-бот від Nvidia без проблем витягнув всю необхідну інформацію. Відповіді також були майже миттєві, без затримок, які зазвичай спостерігаються під час використання хмарних чат-ботів, як-от ChatGPT або Copilot.

Також за допомогою чат-бота тестувальникам вдалося створити релевантний набір даних у Microsoft, який швидко узагальнив всю стратегію компанії.

Технічні вимоги

Chat with RTX заснований на двох мовних моделях – Mistral та Llama 2. Цей інструмент працює безпосередньо на вашому комп’ютері, тому нема потреби підключатися до інтернету. Головна умова – мати операційну систему Windows, графічний процесор RTX серій 30 або 40 з відеопам’яттю не менше 8 ГБ.

Що стосується встановлення програми, це триває близько 30 хвилин і вимагає значних ресурсів вашого ПК. Вона важить майже 40 ГБ, а його екземпляр Python використовує близько 3 ГБ із 64 ГБ оперативної пам’яті. Після запуску ви отримуєте доступ до Chat with RTX через браузер, а у фоновому режимі працює командний рядок.

Важливо зазначити, що Chat with RTX наразі є демоверсією для розробників і має свої обмеження та недоліки.