Aleph Alpha представи Kolibri: 78,1-милиарден англо-германски MoE модел с отворени тегла и само 3,46 млрд активни параметри
Aleph Alpha представи Kolibri — англо-германски Mixture-of-Experts модел със 78,1 млрд параметри, който активира само 3,46 млрд параметри на токен. Той има контекст от 1 млн токена и позволява задаване на усилието за разсъждение за всяка заявка, а теглата му във формат FP8 по лиценз Apache 2.0 работят на един B200 или H200.