Aleph Alpha выпустила Kolibri: англо-немецкая MoE-модель с открытыми весами на 78,1 млрд параметров и лишь 3,46 млрд активных параметров
Aleph Alpha выпустила Kolibri — англо-немецкую Mixture-of-Experts-модель на 78,1 млрд параметров, которая активирует лишь 3,46 млрд параметров на токен. Она поддерживает контекст длиной 1 млн токенов и настройку усилия рассуждения для каждого запроса, а её веса FP8 по лицензии Apache 2.0 работают на одном B200 или H200.