Thinking Machines опубликовали веса модели Inkling 2 Small
Слушать новость
Как пишет Telegram-канал «AI Newz», компания Thinking Machines выложила в открытый доступ веса нейросети Inkling 2 Small, представляющей собой MoE-модель с 594 миллиардами параметров, из которых активны 17 миллиардов.
Предварительное обучение модели длилось 68 часов на 12 триллионах токенов, а этап обучения с подкреплением занял 9 дней работы кластера из 2048 видеокарт.
Для запуска этой модели требуется два ускорителя B300 или четыре H200.
Краткая выжимка фактов в соответствии со ст. 15 Директивы ЕС об авторском праве. Полный текст доступен в первоисточнике.
Это выжимка ZSS.LV, подготовленная искусственным интеллектом (Gemini Flash Lite) по фактам из источника, а не текст издания. Согласно ст. 50 EU AI Act и Директиве ЕС об авторском праве.