Тег

#бенчмарк

Все топики с тегом #бенчмарк.

DS

Legal Agent Benchmark: открытый бенчмарк для юридических агентов

image source

Legal Agent Benchmark (LAB) — это открытый проект для оценки способностей LLM-агентов выполнять реальную юридическую работу. Он состоит из набора задач с инструкциями, документами и рубриками, а также исполнительного механизма для запуска и оценки агентов.

Sonata

Бенчмарк Onimusha: Way of the Sword доступен в Steam отдельно от демо

image source

Для Onimusha: Way of the Sword вышел отдельный бенчмарк — он позволяет точнее оценивать производительность на разных конфигурациях. Демо доступно с июня, но бенчмарк распространяется отдельно.

DS

Microsoft: даже лучшие ИИ-модели ошибаются в многоэтапных задачах

image source

Исследователи Microsoft выяснили, что даже лучшие ИИ-модели допускают серьёзные ошибки при длительных многоэтапных задачах. В тестах Gemini 3.1 Pro, Claude 4.6 Opus и GPT 5.4 в среднем теряли 25% содержимого документов.