逻辑链构建下基于深度强化学习的多智能体协同算法优化

doi:10.12305/j.issn.1001-506X.2026.09.25

系统工程与电子技术 ›› 2026, Vol. 48 ›› Issue (9): 3126-3135.doi: 10.12305/j.issn.1001-506X.2026.09.25

• 系统工程 • 上一篇

逻辑链构建下基于深度强化学习的多智能体协同算法优化

张杰¹^,²(), 朱峰¹, 王超¹, 李东¹, 陈志群¹, 吕天启¹

1. 中国电子科技集团公司第二十八研究所，江苏南京 210000
2. 南京大学计算机学院，江苏南京 210023

收稿日期:2024-11-20 修回日期:2025-04-14 接受日期:2026-03-18 出版日期:2026-03-20 发布日期:2026-03-20
通讯作者: 张杰 E-mail:guyuexiao95@gmail.com
作者简介:朱　峰（1985—），男，研究员，高级工程师，硕士，主要研究方向为指挥控制系统
王　超（1988—），男，研究员，高级工程师，博士，主要研究方向为指挥控制系统
李　东（1992—），男，工程师，博士，主要研究方向为指挥控制系统
陈志群（1991—），男，工程师，博士，主要研究方向为指挥控制系统
吕天启（1992—），男，工程师，博士，主要研究方向为指挥控制系统

Optimization of multi-agent cooperation algorithm based on deep reinforcement learning for logical chain

Jie Zhang¹^,²(), Feng Zhu¹, Chao Wang¹, Dong Li¹, Zhiqun Chen¹, Tianqi Lyu¹

1. The 28th Research Institute of China Electronics Technology Group Corporation，Nanjing 210000，China
2. School of Computer Science，Nanjing University，Nanjing 210023，China

Received:2024-11-20 Revised:2025-04-14 Accepted:2026-03-18 Online:2026-03-20 Published:2026-03-20
Contact: Jie Zhang E-mail:guyuexiao95@gmail.com

摘要/Abstract

摘要：

在现代战争中，快速、精确的场景决策和有效的资源调度是提高作战效率的关键，因此如何构建高效的逻辑链成为核心问题之一。基于逻辑链构建任务提出一种基于深度强化学习的多智能体协同算法，将场景环境建模成多智能体系统，涵盖侦察、决策、打击和后勤等环节，系统内智能体分别负责不同的任务分工，并基于 Actor-Critic 训练。通过协同学习机制，各智能体能够动态调整策略，实现全局目标的优化。实验结果表明，与对比算法相比，所提出方法在任务成功率、资源利用效率及决策稳定性等方面均取得更优表现，其中任务成功率平均提升约 4%~8%，能够有效提升复杂场景环境下逻辑链构建与协同决策的整体效率。

关键词: 深度强化学习, 多智能体, Actor-Critic, 逻辑链, 协同算法优化

Abstract:

In modern warfare, rapid and precise battlefield decision-making, along with efficient resource allocation, is critical to enhancing combat effectiveness. Consequently, constructing an efficient kill chain has become one of the core challenges. This paper proposes a multi-agent collaboration algorithm based on deep reinforcement learning for kill chain construction tasks. The battlefield environment is modeled as a multi-agent system, encompassing reconnaissance, decision-making, strikes, and logistics. Each agent within the system is responsible for different task divisions and is trained based on the Actor-Critic framework. Through a cooperative learning mechanism, agents can dynamically adjust their strategies to optimize the global objectives. Experimental results demonstrate that, compared with baseline algorithms, the proposed algorithm achieves superior performance in terms of task success rate, resource utilization efficiency, and decision stability. In particular, the task success rate is improved by approximately 4%–8%, indicating that the proposed algorithm can effectively enhance the efficiency of kill-chain construction and collaborative decision-making in complex battlefield environments.

Key words: deep reinforcement learning, multi-agent, Actor-Critic, logical chain, cooperative algorithm optimization

中图分类号:

TP 18
E 11

张杰, 朱峰, 王超, 李东, 陈志群, 吕天启. 逻辑链构建下基于深度强化学习的多智能体协同算法优化[J]. 系统工程与电子技术, 2026, 48(9): 3126-3135.

Jie Zhang, Feng Zhu, Chao Wang, Dong Li, Zhiqun Chen, Tianqi Lyu. Optimization of multi-agent cooperation algorithm based on deep reinforcement learning for logical chain[J]. Systems Engineering and Electronics, 2026, 48(9): 3126-3135.

图/表 8

图1

图2

表1

表2

图3

表3

表4

表5

参考文献 40

1	赵伟, 叶军, 王邠. 基于人工智能的智能化指挥决策和控制[J]. 信息安全与通信保密, 2022 (2): 2.
2	耿欣. 面向智能杀伤链中的美军态势感知体系研究[J]. 情报杂志, 2025, 44 (3): 12. doi: 10.3969/j.issn.1002-1965.2025.03.002
3	王晓丹, 向前, 李睿, 等. 深度学习研究及军事应用综述[J]. 空军工程大学学报（自然科学版）, 2022, 23 (1): 1.
4	张悦, 孙岱. 指挥决策中应急情报的发展思路[J]. 电信快报, 2023 (6): 21. doi: 10.3969/j.issn.1006-1339.2023.06.006
5	Wang X, Wang S, Liang X X, et al. Deep reinforcement learning: a survey[J]. IEEE Trans. on Neural Networks and Learning Systems, 2022, 35 (4): 5064.
6	张梦钰, 豆亚杰, 陈子夷, 等. 深度强化学习及其在军事领域中的应用综述[J]. 系统工程与电子技术, 2024, 46 (4): 1297. doi: 10.12305/j.issn.1001-506X.2024.04.18
7	Zhang K Q. Foundations of multi-agent learning in dynamic environments: where reinforcement learning meets strategic decision-making[C]//2025 39th AAAI Conference on Artificial Intelligence, 2025: 28734.
8	Cao J B, Dou J F, Liu J L, et al. Multi-agent deep reinforcement learning framework strategized by unmanned aerial vehicles for multi-vessel full communication connection[J]. Remote Sensing, 2023, 15 (16): 4059. doi: 10.3390/rs15164059
9	Wei X L, Yang L F, Cao G, et al. Recurrent MADDPG for object detection and assignment in combat tasks[J]. IEEE Access, 2020, 8, 163334. doi: 10.1109/ACCESS.2020.3022638
10	Yoon S, Cho J H, Kim D S, et al. DESOLATER: deep reinforcement learning-based resource allocation and moving target defense deployment framework[J]. IEEE Access, 2021, 9, 70700. doi: 10.1109/ACCESS.2021.3076599
11	Li R Z, Yuan H, Ren B B, et al. Optimal unmanned combat system-of-systems reconstruction strategy with heterogeneous cost via deep reinforcement learning[J]. Mathematics, 2024, 12 (10): 1476. doi: 10.3390/math12101476
12	Vasankari L, Saastamoinen K. Strategizing the shallows: leveraging multi-agent reinforcement learning for enhanced tactical decision-making in littoral naval warfare[C]//IFIP International Conference on Artificial Intelligence Applications and Innovations, 2024: 129.
13	吴冯国, 陶伟, 李辉, 等. 基于深度强化学习算法的无人机智能规避决策[J]. 系统工程与电子技术, 2023, 45 (6): 1702.
14	林志康, 施龙飞, 刘甲磊, 等. 基于深度Q学习的组网雷达闪烁探测调度方法[J]. 系统工程与电子技术, 2025, 47 (5): 1443.
15	秦湖程, 黄炎焱, 陈天德, 等. 基于PPO算法的集群多目标火力规划方法[J]. 系统工程与电子技术, 2024, 46 (11): 3764. doi: 10.12305/j.issn.1001-506X.2024.11.18
16	张庭瑜, 曾颖, 李楠, 等. 基于深度强化学习的航天器功率-信号复合网络优化算法[J]. 系统工程与电子技术, 2024, 46 (9): 3060.
17	夏雨奇, 黄炎焱, 陈恰. 基于深度Q网络的无人车侦察路径规划[J]. 系统工程与电子技术, 2024, 46 (9): 3070.
18	张杰, 王刚, 宋亚飞, 等. 基于自适应SGD-多智能体的防空资源部署优化[J]. 系统工程与电子技术, 2019, 41 (7): 1536.
19	王子怡, 傅雄军, 董健, 等. 基于分层多智能体强化学习的雷达协同抗干扰策略优化[J]. 系统工程与电子技术, 2025, 47 (4): 1108. doi: 10.12305/j.issn.1001-506X.2025.04.07
20	马悦, 吴琳, 许霄. 基于多智能体强化学习的协同目标分配[J]. 系统工程与电子技术, 2023, 45 (9): 2793. doi: 10.12305/j.issn.1001-506X.2023.09.18
21	赵芷若, 曹雷, 陈希亮, 等. 基于多智能体博弈强化学习的无人机智能攻击策略生成模型[J]. 系统工程与电子技术, 2023, 45 (10): 3165.
22	Zhang J D, Yang Q M, Shi G Q, et al. UAV cooperative air combat maneuver decision based on multi-agent reinforcement learning[J]. Journal of Systems Engineering and Electronics, 2021, 32 (6): 1421. doi: 10.23919/jsee.2021.000121
23	Ladosz P, Weng L, Kim M, et al. Exploration in deep reinforcement learning: a survey[J]. Information Fusion, 2022, 85, 1.
24	Sumiea E H, Abdulkadir S J, Alhussian H S, et al. Deep deterministic policy gradient algorithm: a systematic review[J]. Heliyon, 2024, 10 (6): e27942.
25	Jia Y W, Zhou X Y. Policy gradient and actor-critic learning in continuous time and space: theory and algorithms[J]. Journal of Machine Learning Research, 2022, 23, 1.
26	Li M X, Wang Q, Xu Y J. GTDE: grouped training with decentralized execution for multi-agent actor-critic[C]//2022 39th AAAI Conference on Artificial Intelligence, 2025: 18368.
27	Ma Y, Liu Y G, Zhao L, et al. A review on cooperative control problems of multi-agent systems[C]//41st Chinese Control Conference , 2022: 4831.
28	Pandya R, Zhao M, Liu C, et al. Multi-agent strategy explanations for human-robot collaboration[C]//IEEE International Conference on Robotics and Automation, 2024: 17351.
29	Hu T M, Luo B, Yang C H, et al. MO-MIX: multi-objective multi-agent cooperative decision-making with deep reinforcement learning[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2023, 45 (10): 12098. doi: 10.1109/TPAMI.2023.3283537
30	Oroojlooy A, Hajinezhad D. A review of cooperative multi-agent deep reinforcement learning[J]. Applied Intelligence, 2023, 53 (11): 13677. doi: 10.1007/s10489-022-04105-y
31	Lee C E, Baek J, Do S W, et al. Multi-agent based collaborative agent architecture for battlefield situation awareness[C]//IEEE International Conference on Big Data and Smart Computing, 2024: 395.
32	Suilen M, Simao T D, Parker D, et al. Robust anytime learning of Markov decision processes[J]. Advances in Neural Information Processing Systems, 2022, 35, 28790. doi: 10.52202/068431-2087
33	Kurniawati H. Partially observable Markov decision processes and robotics[J]. Annual Review of Control, Robotics, and Autonomous Systems, 2022, 5 (1): 253. doi: 10.1146/annurev-control-042920-092451
34	Tan C S, Van Bossuyt D L, Hale B. System analysis of counter-unmanned aerial systems kill chain in an operational environment[J]. Systems, 2021, 9 (4): 79. doi: 10.3390/systems9040079
35	秦长江, 吴克宇, 成清, 等. 基于杀伤网贡献率的动态体系节点重要度评估[J]. 系统工程与电子技术, 2023, 45 (6): 1732. doi: 10.12305/j.issn.1001-506X.2023.06.17
36	王耀祖, 尚柏林, 宋笔锋, 等. 基于杀伤链的作战体系网络关键节点识别方法[J]. 系统工程与电子技术, 2023, 45 (3): 736.
37	韩明磊, 马晶, 周泽宇, 等. 基于Agent建模的海战场杀伤链评估系统研究[J]. 计算机仿真, 2022, 39 (3): 11.
38	Huang W H, Li K, Shao K, et al. Multi-agent Q-learning with sub-team coordination[J]. Advances in Neural Information Processing Systems, 2022, 35, 29427.
39	Zhang J, Zhang Y, Zhang X S, et al. Intrinsic action tendency consistency for cooperative multi-agent reinforcement learning[C]//AAAI Conference on Artificial Intelligence, 2024: 17600.
40	Wu Z F, Yu C, Ye D H, et al. Coordinated proximal policy optimization[J]. Advances in Neural Information Processing Systems, 2021, 34, 26437.

参数	取值
学习率	0.0001
奖励折扣系数	[0.95,1]
贪婪探索系数	[0.05,1]
目标网络更新频率	10−30
经验回放池大小	10000

迭代步数	QSCAN	RA-CTDE	CoPPO	MACDRL
1000	430±23	313±35	405±10	513±30
10000	953±104	753±120	860±220	1053±304
100000	3053±222	2853±304	4053±214	5053±300

目标	QSCAN 成功率/%	CoPPO 成功率/%	RA-CTDE 成功率/%	MACDRL 成功率/%
目标1	85	80	78	90
目标2	75	72	70	85
目标3	90	88	87	94

算法	打击效能目标	弹药消耗目标
QSCAN	10 295	2 793
RA-CTDE	10 193	2 875
CoPPO	11 100	2 754
MACDRL	11 193	2 655

场景规模	算法	平均奖励	打击成功率/%	收敛迭代步数
小型	MACDRL	2530 ± 150	91	30 000
	QSCAN	2100 ± 180	85	35 000
	CoPPO	2050 ± 160	82	40 000
	RA-CTDE	2000 ± 170	80	38 000
中型	MACDRL	4890 ± 240	88	50 000
	QSCAN	4300 ± 220	81	55 000
	CoPPO	4200 ± 210	79	58 000
	RA-CTDE	4150 ± 230	78	56 000
大型	MACDRL	7050 ± 300	84	80 000
	QSCAN	6400 ± 310	78	85 000
	CoPPO	6300 ± 300	75	88 000
	RA-CTDE	6250 ± 320	73	86 000

逻辑链构建下基于深度强化学习的多智能体协同算法优化

Optimization of multi-agent cooperation algorithm based on deep reinforcement learning for logical chain

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 40

相关文章 15

编辑推荐

Metrics

本文评价

[1]	赵立阳, 吴金平, 杨静, 张瑞. 基于深度强化学习的多智能体集中式作战行动指挥决策方法[J]. 系统工程与电子技术, 2026, 48(9): 3089-3103.
[2]	张杰, 王超, 刘玉, 李东, 陈志群, 吕天启. 对抗场景下基于多智能体联盟更新的指控逻辑链优化问题研究[J]. 系统工程与电子技术, 2026, 48(8): 2782-2789.
[3]	杨京礼, 王莹, 高天宇, 方晓彤. 面向故障传播风险抑制的舰船电子信息系统动态重构方法[J]. 系统工程与电子技术, 2026, 48(7): 2307-2318.
[4]	马赞, 刘禹彬, 白杰, 陈勇, 孙淑光. 基于分层STPA-MC的无人机智能避让适航安全风险评估[J]. 系统工程与电子技术, 2026, 48(6): 2000-2013.
[5]	贾振帅, 肖冰, 钱寒雨, 张哲宇. 基于多策略学习的航天器在轨观测机动决策方法[J]. 系统工程与电子技术, 2026, 48(5): 1590-1598.
[6]	张华卿, 张晓飞, 郝明瑞, 姜吉祥, 李闪. 鲁棒多智能体协同对抗策略离线强化学习[J]. 系统工程与电子技术, 2026, 48(5): 1670-1681.
[7]	陈丹鹤, 王书航, 刘志勇, 王创歌. 面向多航天器协作围捕的智能决策方法[J]. 系统工程与电子技术, 2026, 48(4): 1404-1412.
[8]	王旭, 蔡光斌, 余晓亚, 叶子绮, 单斌. 基于双动态PPO算法的高超声速飞行器姿态控制[J]. 系统工程与电子技术, 2026, 48(2): 694-704.
[9]	单晨宇, 李少凡, 齐瑞云. 多智能体系统故障临机处理下的快速任务重分配[J]. 系统工程与电子技术, 2026, 48(1): 185-197.
[10]	李宗刚, 邱进涛, 宁小刚, 陈引娟. 多智能体系统周期动态事件触发二分一致性[J]. 系统工程与电子技术, 2026, 48(1): 278-289.
[11]	薛锦妍, 张雅声, 陶雪峰, 杨茗棋, 赵帅龙. GEO航天器轨道机动控制研究进展[J]. 系统工程与电子技术, 2026, 48(1): 290-300.
[12]	宋传龙, 张倩武, 何健, 周文骏, 王辉, 孔巍巍, 田文波. 基于MADDPG算法的星地协同边缘计算任务卸载方法[J]. 系统工程与电子技术, 2026, 48(1): 350-360.
[13]	魏潇龙, 吴亚荣, 姚登凯, 赵顾颢. 基于深度强化学习的无人机空战机动分层决策算法[J]. 系统工程与电子技术, 2025, 47(9): 2993-3003.
[14]	郭方杰, 李靖, 张朝辉. 具有输入时滞的MAS预设时间滞后一致性[J]. 系统工程与电子技术, 2025, 47(9): 3041-3046.
[15]	杨大鹏, 龚资浩, 王小也, 郭正玉, 罗德林. 基于多智能体强化学习的无人机协同截击机动决策研究[J]. 系统工程与电子技术, 2025, 47(9): 3076-3085.