Мы опубликовали Cadence, рабочую среду, где обучаем и оцениваем модели Oasis Speech. Публичный репозиторий является форком нашей продакшен-системы и распространяется под лицензией MIT. Люди и кодовые агенты работают в нём через один и тот же API.
Каждый месяц мы дообучаем, измеряем и сравниваем модели нашего распознавания речи для многих языков. Всё это происходит в Cadence. Теперь репозиторий открыт: github.com/usunrise88/cadence.
Что это
Cadence охватывает весь жизненный цикл модели распознавания речи: данные, обучение, оценку, экспорт и развёртывание, а также цикл, который возвращает продакшен-звонки в обучающие данные.
- Для работы с агентами. Кодовый агент работает в Cadence через тот же API, что и интерфейс. Его правки приходят черновиками под его собственным именем. Всё, что тратит деньги или меняет общий ресурс, ждёт одобрения человека.
- Сначала API. Один контракт OpenAPI порождает сервер, веб-клиент, инструменты агента и командную строку, поэтому у действия одно имя везде.
- Шлюзы. Cadence оценивает модель на замороженных оценочных наборах через настоящий потоковый декодер и регистрирует её только после прохождения шлюза.
- Чистые тесты. Cadence сверяет каждый обучающий вход с каждым оценочным набором, поэтому оценочный клип не может попасть в обучение.
- Бюджеты. У каждого проекта и каждой сессии агента есть бюджет GPU. Cadence учитывает в нём очередь задач, поэтому очередь мелких заданий не выйдет за лимит.
Форк того, что работает у нас
Публичный репозиторий является форком системы, которой мы пользуемся в продакшене. В этой же рабочей среде мы обучали Oasis Speech 2, и теперь она опубликована под лицензией MIT: можно использовать, изменять и строить на её основе свои проекты.
Подробнее
- Cadence: рабочая среда, в которой мы обучаем Oasis Speech, исследовательская заметка с подробностями о том, как это устроено.
- Oasis Speech 2 запущен: наши агенты теперь слышат 48 языков.
- Репозиторий: github.com/usunrise88/cadence.