Китайская компания MemTensor представила и сделала общедоступной серию моделей, которую она называет память-ориентированными фундаментальными моделями, получившую название MemT 1.0. Эта серия включает две модели: MemT-1.0-Flash, обладающую общим количеством параметров в 288 миллиардов, из которых активно используется 17 миллиардов, и MemT-1.0-Nano, имеющую 36 миллиардов общих параметров и 3 миллиарда активных.
Веса этих моделей доступны на платформе Hugging Face, а соответствующий код размещен на GitHub вместе с техническим отчетом.
Модели разработаны для решения распространенной проблемы, связанной с длительными диалогами. Большинство существующих систем хранят всю историю в окне контекста, что приводит к замедлению и увеличению стоимости инференса с каждым новым ходом. Вместо этого MemT интегрирует обучаемый модуль памяти внутрь самой модели.
После каждого взаимодействия модель записывает новую информацию в фиксированное состояние памяти и извлекает ее при необходимости, вместо того чтобы каждый раз перечитывать весь предыдущий سجل.
MemTensor сообщает, что обучение моделей проходило в два этапа на основе 34 миллиардов токенов: сначала модель училась записывать информацию в память, а затем она обучалась отвечать на вопросы, используя эту сохраненную информацию.
Результаты производительности и сравнение
Все представленные показатели производительности основаны на собственной оценке компании. MemTensor утверждает, что сквозной инференс работает примерно в 1,86 раза быстрее, чем подход с полным контекстом при истории в 128 тысяч токенов, и около 3,99 раза быстрее при 256 тысячах токенов.
Время ответа первого токена оценивается примерно в 104–112 миллисекунд для модели с памятью, по сравнению с приблизительно 445 миллисекундами для полного контекста при 256K. Кроме того, компания отмечает, что объем состояния памяти на сессию при истории в 256K составляет около 40 МБ, что значительно меньше, чем 5,06 ГБ, требуемых для кэша полного контекста, что представляет собой сокращение примерно в 130 раз.
На 11 бенчмарках по памяти MemTensor заявляет о средних показателях 50,6 для Flash и 47,0 для Nano. Эти результаты ставят модели на первое и второе место среди сравниваемых параметрических методов памяти и примерно соответствуют результатам подходов с расширением с помощью поиска (retrieval-augmented approaches) в среднем, даже без извлечения истории во время запроса.
Компания также подчеркивает, что добавление памяти не ухудшило общие возможности модели Flash в условиях тестов с большим количеством отвлекающих факторов.
Разработчикам следует обратить внимание на условия лицензирования: код репозитория опубликован под некоммерческой лицензией PolyForm, тогда как веса моделей имеют лицензии Apache и MIT соответственно.
Команда планирует дальнейшее развитие в направлении улучшения долгосрочной памяти, увеличения емкости памяти и снижения затрат на обновление памяти, с долгосрочной целью создания агентов, которые продолжают учиться на основе своего взаимодействия.