Китайская команда AOE Tech Labs, разработавшая продукт агентского рабочего стола Floatboat, опубликовала полные данные оценки Harness по пяти сторонним бенчмаркам агентов 7 августа. В качестве базовой модели использовалась DeepSeek-V4-Flash, которая является самой доступной достоверной моделью на рынке. При сохранении модели и стоимости изменялся только исполняющий Harness. Модель, которая ранее показывала результаты ниже Claude Opus 4.8 на всех пяти бенчмарках в собственном Harness DeepSeek, смогла превзойти Opus 4.8 во внутреннем Harness Floatboat.
Результат становится еще более значимым, учитывая ценообразование. Opus 4.8 стоит 5 долларов за миллион входных токенов и 25 долларов за миллион выходных. При соотношении ввода к выводу 3:1, часто встречающемся в сценариях работы агентов, комбинированная стоимость Floatboat составляет всего 0,175 доллара за миллион токенов, тогда как у Opus 4.8 — 10 долларов, что представляет собой разрыв в 57,1 раза. Эти пять бенчмарков представляют собой публичные рейтинги лидеров от третьих сторон, включая BrowseComp, созданный OpenAI. Данные не являются артефактом выбора вопросов.
Методология исследования была проведена максимально строго. В контрольной группе использовалась официальная версия DeepSeek-V4-Flash-0731, а не предварительный контрольный пункт. Контрольная группа работала в собственном Harness провайдера в минималистичном режиме, что делает сравнение более жестким, поскольку инженеры провайдера участвовали в процессе. Сторона Floatboat работала в изолированных физических песочницах с идентичными параметрами ввода. Единственной переменной был сам Harness.
При сортировке задач по горизонту выполнения от короткого к длинному, прирост производительности не уменьшается: 1,9 процента, 9,6 процента, 12,6 процента, 19,9 процента и 23,6 процента. Короткие задачи по сути являются вопросно-ответными сессиями с одним запросом, где качество модели играет решающую роль. Задачи с длинным горизонтом, которые отражают реальную работу, зависят от системы исполнения: доступа к файлам, обращений к инструментам, сохранения состояния, многошаговой самокоррекции и отката. Реальная работа происходит на конце длинного горизонта.
AOE Tech Labs ввела Коэффициент рычага Harness, или HLR, чтобы сделать сравнение проверяемым. Формула расчета — это прирост, полученный только за счет изменения Harness, разделенный на прирост, полученный при обновлении до более сильной эталонной модели. Значение HLR больше единицы означает, что сам Harness превосходит обновление модели. На DeepSWE Floatboat сообщил об HLR в 3,57: сохраняя модель неизменной и меняя только Harness, было достигнуто в 3,57 раза большее публичное представление производительности, чем при обновлении до Opus 4.8. По всем пяти бенчмаркам HLR монотонно возрастал с увеличением длины горизонта от 0,78 до 3,57.
AOE Tech Labs была основана в конце 2025 года при участии инвесторов HSG и VLight Capital в раунде посевного финансирования. Команда выпустила Floatboat Desktop в январе, FloatIM в апреле и FloatSchedule в мае. Основная идея заключается в том, что система, непрерывно сокращающая разрыв между развивающейся целевой системой исполнения и дрейфующим выводом модели, является ключом к агентам повседневного использования. Самая дешевая модель теперь способна соответствовать или превосходить самую дорогую передовую модель, когда Harness спроектирован для работы с длинным горизонтом.
