Liquid AI открыла исходный код Pipette: воспроизводимый набор тестов, одновременно измеряющий модели на устройстве, квантование, среду выполнения и аппаратное обеспечение
В карточках моделей указывается качество в условиях серверного класса и полной точности. Эти показатели редко предсказывают, как та же модель ведёт себя на телефоне. На этой неделе Liquid AI выпустила Pipette. Это платформа с открытым исходным кодом для тестирования базовых моделей на edge-устройствах, созданная на основе…