CopilotKit випускає CLiF: платформу безперервного навчання, що перетворює сліди роботи агентів і дії користувачів на навички, оцінювання та дані для донавчання

Вступ

Команди, які масштабно запускають ШІ-агентів, постійно стикаються з однією й тією самою проблемою. Навіть агенти на основі найкращих моделей, таких як Fable і Astra, насилу виконують складні наскрізні завдання в конкретному продукті достатньо стабільно, щоб їх можна було розгорнути. Тож команди створюють оцінювання для найважливіших робочих процесів — часто сотні чи тисячі написаних вручну кейсів, — а потім поступово вдосконалюють агента за допомогою редагування промптів, виправлення тестового середовища та спеціальних випадків, доки він не пройде достатню їх кількість для запуску.

Тим часом власні користувачі продукту щодня виконують ті самі завдання й знають, які дії та в якій послідовності потрібно здійснювати. CopilotKit, компанія, що стоїть за фреймворком із відкритим кодом CopilotKit і протоколом AG-UI, випустила CLiF — платформу для безперервного навчання на основі наскрізних траєкторій, яка перебуває в ранньому доступі. CLiF безпечно фіксує дії агента та користувачів у продукті й перетворює цей запис на навички, оцінювання на основі продуктивності та набори даних для донавчання — усе це можна експортувати разом із необробленими траєкторіями.

CopilotKit має відкритий код і понад 38 000 зірок на GitHub.

Коротко

Трасування агента показує, де агент помилився, тоді як правильний шлях міститься в діях користувачів у продукті, які більшість стеків взагалі не фіксує.
CLiF, який нині перебуває в ранньому доступі, навчається на наскрізних траєкторіях: трасуванні агента та діях користувача в продукті, безпечно зафіксованих як єдина часова шкала через AG-UI.
Чотириетапний цикл, побудований на Automatic Learning від CopilotKit, перетворює ці наскрізні траєкторії на навички, оцінювання на основі продуктивності, набори даних для донавчання та необроблені експорти, причому кожну навичку перевіряє людина.
Практичний приклад показує, як агенти навчаються так, як насправді керівники команд завершують спринт.
CLiF спрямований на проблеми, що сповільнюють команди агентів, зокрема оцінювання, роздування контексту, витрати, фрагментовані стеки та тіньове використання ШІ, і повністю працює в середовищі, яке розгортається власними силами.

Чого не помічає трасування агента

Сьогодні більшість засобів спостережуваності агентів зосереджена на самому агенті. Інструменти трасування фіксують промпти, виклики інструментів і вихідні дані моделі, показуючи, де агент помилився, але не відображаючи правильний шлях. Продуктова аналітика охоплює інший бік за допомогою кліків, воронок і повторів сесій, хоча ці дані призначені для людини, яка читає інформаційну панель, а не для навчання агента завдання або його тестування. У більшості робочих стеків агентів ці два види даних ніколи не опиняються на одній часовій шкалі.

Цей пробіл важливий, оскільки агент навчається працювати з продуктом на основі промптів, навичок, описів інструментів і відкритих API та має самостійно з’ясувати, як ці елементи поєднуються для виконання реального завдання. Люди, які користуються продуктом, уже розв’язали цю проблему — часто сотні разів. На думку CopilotKit, викладену в її поясненні про навчання агентів, спосіб, у який користувачі насправді виконують роботу, є найціннішим набором даних для будь-якої команди агентів, але його рідко фіксують у формі, з якої агент може навчатися.

Наскрізні траєкторії: сигнал для навчання, на якому побудовано CLiF

CLiF є частиною CopilotKit Intelligence і побудований навколо єдиного примітиву — наскрізної траєкторії. Вона фіксується через AG-UI (протокол взаємодії агента з користувачем) — відкритий протокол, створений CopilotKit для підключення агентів до застосунків, орієнтованих на користувача. Оскільки AG-UI розташований між агентом і користувачем на будь-якій поверхні, він може бачити обидві сторони завдання:

Траєкторія агента (трасування агента): кожен запуск, виклик інструмента та зміна стану, виконані агентом, а також результат кожної з цих дій.
Траєкторія продукту (дії користувача): те, що було на екрані користувача, кнопки, які він натискав, і серверні запити, які він ініціював. Якщо користувач спілкується з агентом у процесі роботи, ця розмова потрапляє на ту саму часову шкалу в правильному порядку.

Разом це утворює наскрізну траєкторію.

AG-UI уже передає події агента до фронтенду, тому безпечне фіксування дій користувача через той самий протокол від самого початку об’єднує обидві частини в одному потоці, без окремого аналітичного конвеєра, який довелося б з’єднувати згодом. Кожна сесія користувача стає єдиною траєкторією, яку команда може відкрити в CopilotKit Intelligence і відтворити покроково, бачачи кліки, серверні запити та повідомлення агента в тому порядку, у якому вони відбулися.

Всередині CLiF: від траєкторій до навичок, оцінювань і навчальних даних

CopilotKit описує цикл навчання у чотири етапи.

1. Фіксування. Траєкторії надходять до CopilotKit Intelligence і призначаються навчальним контейнерам, які обмежують навчання одним типом роботи, наприклад підтримкою з питань виставлення рахунків або адаптацією клієнтів. Середовище виконання вибирає контейнер для кожної сесії за допомогою зворотного виклику getTrajectoryLearningContainerIds, а сесії можна згодом переміщувати в контейнер або з нього в інтерфейсі Intelligence. Кожен контейнер навчається лише на власних сесіях.

2. Пошук закономірностей. Аналіз запускається за розкладом, щойно контейнер перевищує встановлений поріг нових сесій, а команди також можуть запускати його вручну. Кожен запуск працює із зафіксованим знімком сесій контейнера й виявляє Інсайти: повторювані запити, типові виправлення та проблеми, які користувачі непомітно обходять. CopilotKit вважає такі проблеми найсильнішим сигналом, оскільки вони зазвичай повторюються в тисячах сесій і точно показують, чого агенту слід навчитися далі. Кожен Інсайт містить посилання на конкретні події, що лежать в його основі, і безпосередньо веде до вихідної траєкторії.

3. Перевірка. Коли докази підтверджують наявність уроку, придатного для повторного використання, CLiF пропонує його як навичку, записану у вигляді звичайного файлу SKILL.md. Сервіс аналізу не може самостійно нічого опублікувати: людина схвалює або відхиляє кожну пропозицію — в інтерфейсі Intelligence або через CopilotKit CLI. Опубліковані навички мають версії, і їх можна будь-коли вивести з використання.

4. Доставка та експорт. Опубліковані навички потрапляють до агента без повторного розгортання, а команди, яким потрібна стабільність, можуть закріпити агента за фіксованою версією навички. Для будь-якого іншого агента або MCP-сервера навички можна завантажити як звичайні файли за допомогою copilotkit skills download <container> –output <dir>. Самі траєкторії можна експортувати як необроблені дані подій з інформаційної панелі Intelligence. Для команд, які мають ранній доступ, цей самий конвеєр також створює кандидатів для оцінювання та набори даних для донавчання на основі цих траєкторій.

Траєкторії агентів: автоматичне навчання в CopilotKit Intelligence

На боці агента CLiF спирається на Automatic Learning — можливість CopilotKit Intelligence, яку CopilotKit також позиціонує як основу для агентів, що самовдосконалюються. Automatic Learning навчається на розмовах користувачів з агентом. CLiF розширює цей самий цикл до траєкторій продукту, тож система також навчається на роботі, яку користувачі виконують безпосередньо в продукті, поза межами чату.

Кожна розмова з агентом повністю зберігається через AG-UI Streams: повідомлення, виклики інструментів, генеративний інтерфейс, стан, підтвердження та файли. Розробники визначають, які гілки вважати доказами, повертаючи ідентифікатор контейнера зі зворотного виклику getLearningContainerId у середовищі виконання CopilotKit, що є відповідником зворотного виклику траєкторії на боці агента. Команди, які вже мають агента в робочому середовищі, можуть імпортувати наявну історію з LangGraph Server або LangSmith Deployment, замість того щоб починати з нуля.

Доставка навичок працює через адаптери для LangGraph (Python і TypeScript), Mastra, Google ADK, Microsoft Agent Framework, вбудованого агента CopilotKit та інших систем. Адаптер додає каталог і два інструменти — copilotkit_load_skill та copilotkit_read_skill_file, — а модель завантажує навичку, коли цього потребує завдання. Інструкції розробника мають пріоритет, тому навички не можуть змінювати роль агента, правила безпеки або обмеження інструментів.

Не лише навички: оцінювання, дані для донавчання та необроблені траєкторії

Навички — лише перший результат. Ті самі траєкторії забезпечують загалом чотири результати, усі з можливістю експорту до наявного стеку команди:

Навички для агентів або MCP-серверів, створені на основі закономірностей, що повторюються в багатьох сесіях.
Оцінювання на основі продуктивності, створене із завдань, які користувачі справді виконували, включно з вхідними даними та граничними випадками, які ніхто не додумався написати вручну. Їх можна експортувати на платформу оцінювання, яку команда вже використовує.
Набори даних для донавчання, сформовані з реальних траєкторій завдань і призначені для навчання менших, швидших відкритих моделей на найчастіших робочих процесах компанії.
Необроблені наскрізні траєкторії, які можна експортувати на будь-яку платформу спостережуваності або використовувати будь-яким зручним для команди способом.

На думку CopilotKit, команди мають зберігати наявні інструменти оцінювання та спостережуваності, а CLiF надає дані, яких цим інструментам бракувало.

CLiF у дії: практичний приклад

Уявімо, що ви — технічний директор платформи для керування проєктами, подібної до Linear, де інженерні команди планують спринти й відстежують завдання. Ви хочете, щоб агенти взяли на себе рутинну роботу у вашому продукті та надійно її виконували — і ваш власний вбудований агент, і зовнішні агенти на кшталт Claude, яких клієнти підключають через ваш MCP-сервер. Завершення спринту — одне з перших завдань у списку.

На вашій платформі вже є опція в один клік, яка переміщує всі незавершені завдання до наступного спринту, а в документації завершення спринту описано саме так. Тож агент, якого просять завершити спринт, робить саме це й переміщує всі незавершені завдання вперед.

Щойно CLiF починає безпечно фіксувати траєкторії продукту, тисячі завершень спринтів показують, що керівники команд на вашій платформі роблять дещо більше. Більшість використовує опцію в один клік, а потім витрачає наступні кілька хвилин на виправлення результату:

Вони повертають завдання, які вже переносилися раніше, до беклогу та скасовують їхнє призначення.
Вони коментують заблоковані завдання, позначаючи того, хто відповідає за блокувальний фактор.

Ніхто у вашій команді не розробляв цю процедуру, і мало хто з користувачів описав би її, якби його запитали. Вона існує лише в кліках і запитах, які відбуваються після переміщення в один клік. Трасування агентів її не бачить, оскільки користувачі виконують ці дії самостійно. Продуктова аналітика фіксує додаткові кліки, але не їхнє значення, а виявлення закономірності в повторах сесій означало б перегляд тисяч записів.

CLiF виявляє цю процедуру як Інсайт, посилаючись на точні сесії, що лежать в її основі, і пропонує навичку для повного завершення спринту. Після перевірки та публікації вашою командою вбудований агент отримує її без повторного розгортання, а ви постачаєте ту саму навичку разом із MCP-сервером, щоб Claude та інші підключені агенти також її виконували. У міру зміни звичок користувачів нові сесії підтримують навичку актуальною, а Інсайт також показує, де ваш власний функціонал не відповідає потребам.

Ті самі сесії стають кейсами оцінювання, які перевіряють, чи обробляє агент кожне завдання так, як це роблять керівники команд на вашій платформі, тож ви можете переконатися в готовності агентів, перш ніж доручити їм це завдання. Вони також можуть стати навчальними даними, якщо згодом ви донавчатимете меншу модель для планування роботи.

Як CLiF розв’язує проблеми, що сповільнюють команди агентів у 2026 році

Для технічних керівників, які масштабно запускають агентів, CopilotKit позиціонує CLiF як відповідь на знайомий набір проблем.

Подолання оцінювань агентами: Для більшості команд найповільнішою частиною запуску агента є забезпечення проходження достатньої кількості оцінювань на важливих робочих процесах. Навички, засвоєні зі способів, у які користувачі виконують ці процеси, надають агенту відсутні кроки. Оцінювання на основі продуктивності додає граничні випадки, з якими користувачі стикаються на практиці, тож набір постійно розширюється разом із реальним використанням.
Роздування контексту та перевантаження інструментами: Кожна помилка агента зазвичай закінчується ще одним правилом у системному промпті або ще одним інструментом агента. Згодом контекст заповнюється, а поведінку стає важче передбачити. Натомість CLiF зберігає засвоєну поведінку в каталозі навичок, і модель завантажує навичку лише тоді, коли цього потребує завдання.
Вартість: Агенти зазвичай стають дорожчими в міру отримання нових інструментів і довших промптів. Набори даних для донавчання, створені з реальних траєкторій, дають командам можливість перенести робочі процеси з великим обсягом операцій на менші й дешевші відкриті моделі, а контейнери для окремих робочих процесів показують, де агент має труднощі, а де — ні.
Фрагментовані стеки: Великі організації рідко зупиняються на одному фреймворку агентів, а їхні агенти працюють у вебзастосунках, мобільних застосунках, Slack і Teams. CLiF працює на AG-UI, тож сумісний із будь-яким тестовим середовищем агента та будь-якою базовою моделлю. AG-UI підтримують Google, Microsoft, Anthropic, Amazon і Oracle, а також такі фреймворки, як LangChain, Mastra, Pydantic AI, Google ADK та інші.
Використання агентів поза межами централізованого нагляду: У міру того як команди самостійно впроваджують інструменти для агентів, стає дедалі важче зрозуміти, чого навчився кожен агент і чому. Кожна навичка CLiF проходить перевірку людиною, має зв’язок із сесіями, з яких походить, а також версію та можливість скасування. Уся платформа також може працювати всередині власної інфраструктури компанії.

Спроєктовано для самостійного розгортання

CLiF можна повністю розгорнути власними силами. CopilotKit Intelligence можна розгорнути самостійно у власному кластері Kubernetes компанії за допомогою Helm chart або в AWS ECS і Fargate, використовуючи власні Postgres, Redis та постачальника ідентифікації, такого як Okta, Azure AD або Keycloak.

Траєкторії, навички та все, чого система навчається на їхній основі, залишаються всередині VPC компанії або в локальному середовищі, тому активність користувачів і трасування агентів ніколи не мають залишати її мережу. Трасування також може надходити до наявного колектора OpenTelemetry. CopilotKit Intelligence також працює в керованій хмарі для команд, які хочуть якнайшвидше налаштувати систему.

Ключові висновки

CopilotKit випустила CLiF — платформу для безперервного навчання на основі наскрізних траєкторій, яка нині перебуває в ранньому доступі як частина CopilotKit Intelligence.
Спосіб, у який користувачі вже виконують роботу, — це сигнал, якого бракує агентам. Наскрізні траєкторії фіксують його разом із трасуванням агента на одній часовій шкалі через AG-UI.
CLiF перетворює ці траєкторії на чотири результати: оцінювання на основі продуктивності, набори даних для донавчання менших відкритих моделей, навички для агентів або MCP-серверів і необроблені траєкторії для експорту — усе сумісне з наявними стеками оцінювання та спостережуваності.
Кожну навичку перевіряє людина, і кожна має зв’язок із вихідними сесіями. Опубліковані навички потрапляють до агента без повторного розгортання, а також можуть постачатися разом із MCP-сервером для зовнішніх агентів на кшталт Claude.
Система спрямована на основні проблеми масштабного запуску агентів: проходження оцінювань, роздування контексту, витрати, фрагментовані стеки та контроль того, чого навчився кожен агент.
CLiF працює з будь-яким фреймворком агентів і будь-якою моделлю через AG-UI та повністю підтримує самостійне розгортання.

Команди можуть дізнатися більше, замовити демонстрацію або подати запит на ранній доступ на сторінці CLiF.

Посилання

_{Дякуємо команді Copilotkit за ідеї та ресурси для цієї статті. Цю статтю спонсорувала компанія Copilokit.}

Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.