军事智能体测评体系：理论框架与测评方法

doi:10.12305/j.issn.1001-506X.2026.10.26

摘要/Abstract

摘要：

针对军事智能体研究理论滞后于工程实践的问题，梳理军事智能体的基础理论，提出军事智能体的基本概念，分析军事智能体的基本特征、基础能力和面临的主要矛盾；总结智能体的测评方法，分析现有方法在军事智能体测评方面的局限性。在此基础上，提出军事智能体组件效能、系统成熟度和典型任务三大指标，以及人工主导测评和任务导向测评相结合的军事智能体测评体系，并在艾武架构智能体上进行了验证实验，为军事智能体理论研究和规范化发展提供了参考。

关键词: 军事智能体, 测评基准, 大模型, 多维度评估

Abstract:

In response to the fact that the research theory of military agents lags behind engineering practice, the basic theories of military agents are reviewed, the basic concepts of military agents are proposed, the basic characteristics, basic capabilities, and main contradictions faced by military agents are analyzed. The evaluation methods of agents are summarized, and the limitations of existing methods in military agent evaluation are analyzed. On this basis, three major indicators of military agents component effectiveness, system maturity, and typical tasks are proposed, as well as a military agents evaluation system combining manual led evaluation and task oriented evaluation. Validation experiments are conducted on the AiWu architecture agents, providing reference for the theoretical research and standardized development of military agents.

Key words: military agent, evaluation benchmark, large model, multi-dimensional evaluation

中图分类号:

TP 399

梁起明, 崔翛龙, 盛萱竺, 李永, 高志强. 军事智能体测评体系：理论框架与测评方法[J]. 系统工程与电子技术, 2026, 48(10): 3562-3572.

Qiming Liang, Xiaolong Cui, Xuanzhu Sheng, Yong Li, Zhiqiang Gao. Military agent evaluation system: theoretical framework and evaluation methods[J]. Systems Engineering and Electronics, 2026, 48(10): 3562-3572.

图/表 17

图1

图2

表1

表2

表3

表4

表5

表6

表7

图3

表8

表9

表10

表11

图4

表12

表13

参考文献 30

1	高志强, 沈佳楠, 姬纬通, 等. 大模型技术的军事应用综述[J]. 南京航空航天大学学报, 2024, 56 (5): 801. doi: 10.16356/j.1005-2615.2024.05.003
2	崔翛龙, 高志强, 姬纬通, 等. “艾武大模型+”: 一种军事大模型系统的开发与实证[J]. 数据采集与处理, 2024, 39 (3): 588. doi: 10.16337/j.1004-9037.2024.03.007
3	Bandi A, Kongari B, Naguru R, et al. The rise of agentic AI: a review of definitions, frameworks, architectures, applications, evaluation metrics, and challenges[J]. Future Internet, 2025, 17 (9): 404. doi: 10.3390/fi17090404
4	李嘉晖, 张萌萌, 陈洪辉. 大模型驱动多智能体的军事需求生成框架[J]. 计算机科学, 2025, 52 (1): 65. doi: 10.11896/jsjkx.240800022
5	Swan B P, Mayorga M E, Ivy J S. The SMART framework: selection of machine learning algorithms with replications—av case study on the microvascular complications of diabetes[J]. IEEE Journal of Biomedical and Health Informatics, 2022, 26 (2): 809. doi: 10.1109/JBHI.2021.3094777
6	伊曼努尔·康德. 纯粹理性批判[M]. 李秋零, 译. 北京: 中国人民大学出版社, 2011.
7	王文锦. 大学中庸译注[M]. 北京: 中华书局, 2019.
8	Minsky M. The society of mind[M]. New York: Simon & Schuster, 1986.
9	Julia W, Patrick M, Vladimir V. Agents[EB/OL]. [2025-06-25] https://www. kaggle.com/ whitepaper-agents.
10	陈之炎. 一文读懂智能体: 从概念到应用[EB/OL]. [2025-06-25]. https://www.wolai.com/cUCxuiNAQYJcpaYxCvR1QU.
11	Gur I, Furuta H, Huang A, et al. A real-world webagent with planning, long context understanding, and program synthesis[EB/OL]. [2025-06-19]. https:// arxiv.org/abs/2307.12856.
12	Li D, Rawat A S, Zaheer M, et al. Large language models with controllable working memory[EB/OL]. [2025-06-19]. https://aclanthology.org/2023.findings-acl.112/.
13	Huang J, Chang K C C. Towards reasoning in large language models: a survey[EB/OL]. [2025-06-19]. http://doi.org/10.18653/v1/2023.findings-acl.67.
14	Chen Y C, Arkin J, Zhang Y, et al. Scalable multi-robot collaboration with large language models: centralized or decentralized systems?[C]// IEEE International Conference on Robotics and Automation, 2024: 4311.
15	Choi M, Pei J, Kumar S, et al. Do LLMs understand social knowledge? Evaluating the sociability of large language models with SocKET benchmark[C]//Conference on Empirical Methods in Natural Language Processing, 2023: 11370.
16	Mohammadi M, Li Y P, Lo J, et al. Evaluation and benchmarking of LLM agents: a survey[EB/OL]. [2025-06-19]. https://arxiv.org/abs/2507.21504.
17	Wu Y, Tang X, Mitchell T M, et al. SmartPlay: a benchmark for LLMs as intelligent agents[EB/OL]. [2025-06-19]. https://arxiv.org/abs/2310.01557.
18	Park J S, O’brien J C, Cai C J, et al. Generative agents: interactive simulacra of human behavior[EB/OL]. [2025-06-27]. https://arxiv.org/abs/2304.03442.
19	Peng Y J, Han J H, Zhang Z L, et al. The tong test: evaluating artificial general intelligence through dynamic embodied physical and social interactions[J]. Engineering, 2024, 34, 12. doi: 10.1016/j.eng.2023.07.006
20	Shuster K, Xu J, Komeili M, et al. BlenderBot 3: a deployed conversational agent that continually learns to responsibly engage[EB/OL]. [2025-06-27]. https://arxiv.org/abs/2208.03188.
21	Liu X, Yu H, Zhang H C, et al. AgentBench: evaluating LLMs as agents[EB/OL]. [2025-06-27]. https://arxiv.org/abs/2308.03688.
22	Mialon G, Fourrier C, Swift C, et al. GAIA: a benchmark for general AI assistants[EB/OL]. [2025-06-18]. http://arxiv.org/abs/2311.12983.
23	Qin Y J, Liang S, Ye Y N, et al. ToolLLM: facilitating large language models to master 16000+ real-world APIs[EB/OL]. [2025-06-16]. https://arxiv.org/abs/2307.16789.
24	Chen J X, Yuen D, Xie B, et. al. SPA-Bench: a comprehensive benchmark for SmartPhone agent evaluation[EB/OL]. [2025-06-28]. https://arxiv.org/abs/2410.15164.
25	Zheng L, Chiang W L, Sheng Y, et al. Judging LLM-as-a-Judge with MT-bench and chatbot arena[EB/OL]. [2025-06-29]. https://arxiv.org/abs/2306.05685.
26	Zhuge M, Zhao C, Ashley D, et al. Agent-as-a-judge: evaluate agents with agents[EB/OL]. [2025-06-18]. http://arxiv.org/abs/2410.10934.
27	Niederberger M, Spranger J. Delphi technique in health sciences: a map[J]. Frontiers in Public Health, 2020, 8, 457. doi: 10.3389/fpubh.2020.00457
28	Li Y C, Wen H, Wang W J, et. al. Personal LLM agents: insights and survey about the capability, efficiency and security[EB/OL]. [2025-06-30]. https://arxiv.org/abs/ 2401.05459.
29	李晓松, 赵柯然, 赵英潇, 等. 国防科技情报领域大模型应用效果测评研究[J]. 情报理论与实践, 2025, 48(6): 78.
30	阳东升, 姜军, 王飞跃. 从平台到体系: 指挥对抗活动机理的演变及其PREA环对策[J]. 指挥与控制学报, 2018, 4 (4): 263.

问题维度	通用方法	本文方法
测评目标	追求开放、高效、自动化测评	确保可靠、安全、准确测评
安全要求	开放共享、调用外部工具	专网隔离测评，全链路安全考察
任务场景	基于民用、静态任务	结合指控流程模型设计典型应用场景
系统生态	依赖开源数据和互联网工具	适配军事数据、工具的封闭环境

组件	条件
大模型	仅支持1种参数量小于70 B的蒸馏版文本问答大模型
数据资源	仅支持互联网数据接口，数据更新需人工导入，无固定周期；数据依赖人工标注，工具仅支持标签分类
知识库	知识库管理仅限增删改查，需要手动更新，无知识库冲突检测机制
工作流	实现基本的工作流编辑功能，支持手动调整决策节点的顺序和逻辑，工作流调整需停机修改
工具	仅包含小于等于10种基础工具，仅兼容自有工具链，需要人工手动进行工具的配置和发布，发布渠道较为单一

组件	条件
大模型	仅支持2～3种参数量在70～600 B之间的多模态大模型
数据资源	支持互联网和军事数据平台接口，支持定时批量更新数据（周期1～7天）；集成预训练模型实现自动标注与人工校验修正
知识库	知识库支持批量导入与模板化创建，提供版本控制功能；定时自动更新，支持语义检索，自动校验知识一致性（周期小于等于7天），标记潜在冲突
工作流	支持自动化工作流推荐功能，支持决策逻辑的验证和优化；支持预设工具链；工作流支持热更新，无需中断服务
工具	包含10～20种智能化军事相关工具，兼容主流开源工具（如LangChain、HayStack），支持模型上下文协议；工具开发支持可视化配置界面，具备部分自动化功能

组件	条件
大模型	支持参数量大于等于600 B包含军事专用大模型的3种以上多模态大模型
数据资源	支持互联网、军事数据平台接口、指挥信息系统等数据接口；实现实时数据流接入，支持动态数据源切换；能够实现基于大模型的全流程数据自动标注
知识库	支持自动化知识抽取，支持图谱化展示；实时增量更新知识库，检索融合知识图谱推理；具备实时数据冲突检测与自动仲裁能力
工作流	实现智能化的工作流生成与编辑功能，结合大模型等技术，实现工作流程的动态优化；具备工具智能推荐与自动组合能力，实现大模型自动优化调整工作流
工具	工具类型大于等于20种，基本满足各军兵种需求，兼容军事软件工具生态；能够自动完成工具的配置和发布

组件	条件
系统兼容	仅支持超文本传输协议，实现基础数据元定义的标准化，兼容结构化数据格式及基础二进制格式，仅支持Linux系统
运维监控	仅能监控CPU/内存等基础指标，报警不自动处理
开发门槛	全代码环境开发，可视化编排能力弱；开发组件数量小于等于10，无版本管理能力
安全机制	仅支持物理机部署；仅能实现传输层加密，实现专网部署；实现三级权限（读/写/管理）用户分级授权；仅记录操作时间与用户审计日志
发布场景	仅支持Web端发布；发布场景模板数量小于等于3，需手动适配
伦理合规	不提供决策解释；无审查机制