Компания StartLux выпустила семейство открытых моделей принятия решений StartLux-Decision v1.1. Модель 27B Instant от StartLux теперь занимает первое место в рейтинге Decision Index 0.3.2 на платформе Hugging Face. StartLux является компанией, находящейся на инкубации Genora.
Decision Index представляет собой рейтинг, поддерживаемый сообществом, и не связан с TypeSafe. По состоянию на 16 октября, модель 27B Instant заняла первую позицию, получив полный балл 69.12. Она также лидировала в каждой из трех составляющих рейтинга: 72.88 на публичных бенчмарках, 64.82 в частных тестах по тем же навыкам и 61.41 в частных задачах из новых областей.
Второе место заняла модель vLLM-SR d3 со счетом 66.26, а Jev 1.14 показала результат 61.53.
Эти модели разработаны для выполнения узкой практической задачи. Получив состояние, которое может быть представлено текстом, JSON или изображениями, а также набор заданных вопросов с указанием типов, модель выдает вероятность для каждого варианта: выбора из списка, суждения «да» или «нет» или уровня по шкале. Модели Instant отвечают за один прямой проход, используя двунаправленное внимание над запросом.
Модели AutoThink работают аналогично, когда уверены в ответе, однако если наивысшая вероятность опускается ниже установленного порога, который по умолчанию составляет 0.6, они генерируют краткий след рассуждений, после чего повторно анализируют ответ.
Линейка включает восемь открытых моделей с параметрами от 0.8B до 27B в вариантах Instant и AutoThink, доступных в квантованных форматах GGUF и MLX. Они могут работать на vLLM и MLX. Веса этих моделей выпущены под лицензией CC BY-NC 4.0, которая запрещает коммерческое использование.
На публичном подмножестве Decision Index 0.3 компания StartLux сообщает о самостоятельно полученном результате 73.37 для модели 27B AutoThink при пороге 0.9. Кроме того, компания представила DecisionPivot — собственный бенчмарк проверяемых решений, созданный на основе пар контрастов, которые различаются одной деталью, меняющей ответ, охватывая политики, реестры, графики, разрешения и вызовы инструментов. StartLux заявляет об уровне точности пар в 86.9% для модели 27B AutoThink. Следует отметить, что оба этих показателя являются данными, предоставленными самой компанией, а не независимыми результатами.
Технический отчет, опубликованный на arXiv под номером 2610.17309, описывает трехэтапный процесс обучения и метод обучения с подкреплением под названием RLCD-squared. Этот метод вознаграждает за более точно откалиброванные вероятности принятия решений с использованием правил правильного скоринга и мягко штрафует за чрезмерно длинные рассуждения. Авторы утверждают, что это позволило сократить среднюю длину рассуждений до примерно 65%, сохраняя при этом высокую точность.
Демонстрации на сайте проекта демонстрируют, как модели выполняют пошаговые вызовы в шахматах, Super Mario Bros., StarCraft II и в задаче по покупкам с использованием компьютера, при этом на каждом шаге подается один текстовый запрос.