Aleph Alpha випустила Kolibri: англо-німецька MoE-модель із відкритими вагами на 78,1 млрд параметрів і лише 3,46 млрд активних параметрів
Aleph Alpha випустила Kolibri — англо-німецьку Mixture-of-Experts-модель із 78,1 млрд параметрів, яка активує лише 3,46 млрд параметрів на токен. Вона має контекст у 1 млн токенів і дає змогу налаштовувати зусилля міркування для кожного запиту, а її ваги FP8 за ліцензією Apache 2.0 працюють на одному B200 або H200.