Материнська компанія Facebook, Instagram і WhatsApp — Meta — представили мовну модель LLaMA (Large Language Model Meta AI), розроблену, щоб допомогти дослідникам працювати в галузі штучного інтелекту. Про це йдеться в блозі корпорації.

Мовна модель буде доступна за некомерційною ліцензією для дослідників і організацій, повʼязаних з урядом, громадянським суспільством і науковими колами.

LLaMA працює, приймаючи послідовність слів як вхідні дані та прогнозуючи наступне слово для рекурсивного генерування тексту. Щоб навчити модель, розробники використовували контент на 20 найпоширеніших мовах, зосередившись на мовах з латиницею та кирилицею.

Як пише Reuters, LLaMA з 65 мільярдами параметрів є «конкурентоспроможною» з Chinchilla70B і PaLM-540B від Google. Вона потужніша за модель, яку Google використовував для демонстрації свого пошуку в чаті Bard.

Представник Meta пояснив продуктивність більшою кількістю «чистіших» даних і «архітектурними поліпшеннями» в моделі, які підвищили стабільність навчання. Для дослідників мовна модель буде доступна у декількох розмірах — 7 млрд, 13 млрд, 33 млрд та 65 млрд параметрів.

«Ми віримо, що вся спільнота штучного інтелекту — академічні дослідники, громадянське суспільство, політики та індустрія — повинні працювати разом, щоб розробити чіткі вказівки щодо відповідального використання штучного інтелекту загалом і великих мовних моделей зокрема. Ми з нетерпінням очікуємо побачити, чого спільнота може навчитися — і зрештою створити — за допомогою LLaMA», — ідеться в блозі Meta.