

系统工程与电子技术 ›› 2026, Vol. 48 ›› Issue (6): 2000-2013.doi: 10.12305/j.issn.1001-506X.2026.06.21
马赞1,2(
), 刘禹彬2,4, 白杰2,*, 陈勇3, 孙淑光4
收稿日期:2025-03-18
修回日期:2025-07-10
出版日期:2026-06-25
发布日期:2026-01-24
通讯作者:
白杰
E-mail:mazan_84@163.com
作者简介:马 赞(1984—),男,副研究员,博士研究生,主要研究方向为民机系统工程、机载系统安全性设计与评估基金资助:
Zan MA1,2(
), Yubin LIU2,4, Jie BAI2,*, Yong CHEN3, Shuguang SUN4
Received:2025-03-18
Revised:2025-07-10
Online:2026-06-25
Published:2026-01-24
Contact:
Jie BAI
E-mail:mazan_84@163.com
摘要:
针对深度强化学习(deep reinforcement learning, DRL)在无人机避让系统中应用所造成的安全风险,将系统论、控制论、安全性分析及模拟仿真结合,提出一种基于分层系统理论过程分析?蒙特卡罗(systems-theoretic process analysis-Monte Carlo,STPA-MC)的智能避让安全风险识别及评估方法。首先,面向复杂智能系统安全性需求捕获不足的问题,基于STPA,解耦智能避障系统架构及DRL模型构建,除在系统层级分析失效风险及防护外,也基于DRL模型开发过程评估失效致因场景,并建立层级间安全危害影响追溯。其次,面向关键安全指标量化问题,采用MC方法评估软演员评论家智能算法对适航标准的符合性,分析不同因素的安全影响,衍生定量需求。实验表明为满足适航要求,感知距离需要大于445 m,测距误差标准差要小于0.43 m。研究成果可为无人机智能避让适航标准的制定提供理论支持。
中图分类号:
马赞, 刘禹彬, 白杰, 陈勇, 孙淑光. 基于分层STPA-MC的无人机智能避让适航安全风险评估[J]. 系统工程与电子技术, 2026, 48(6): 2000-2013.
Zan MA, Yubin LIU, Jie BAI, Yong CHEN, Shuguang SUN. Intelligent avoidance airworthiness safety risk assessment of unmanned aerial vehicle based on hierarchical STPA-MC[J]. Systems Engineering and Electronics, 2026, 48(6): 2000-2013.
表4
浅层致因场景"
| 控制结构组件 | 浅层致因场景 |
| 感知系统 | S1(对入侵机距离等计算误差过大) |
| S2(仿真环境与真实世界差异过大导致感知模型失效) | |
| S3(感知距离过近) | |
| S4(感知信息更新太慢) | |
| 基于DRL的避让系统 | S5(模型决策水平低) |
| S6(模型鲁棒性差) | |
| S7(模型泛化性差) | |
| RTA系统 | S8(RTA系统中的监视组件计算的错误) |
| S9(超出备用系统决策能力上限) | |
| S10(RTA系统中的控制选择器切换故障) | |
| 飞控系统 | S11(飞控设备故障) |
| S12(飞控算法存在缺陷) | |
| 动力系统 | S13(电池电压下降) |
| S14(电机老化推力不足) | |
| S15(螺旋桨损坏) | |
| 数据链路 | S16(数据格式不匹配) |
| S17(时钟不同步,存在信号延迟) | |
| S18(数据丢失) | |
| 机身传感器 | S19(机身传感器发生错误) |
| S20(机身传感器状态更新太慢) |
表6
深层致因场景"
| 研制生命周期 | 深层致因场景 | 缓解措施 |
| 训练环境搭建 | D1(奖励函数存在稀疏性或超出合理范围)[S5] | 通过课程学习从简单场景训练过度到复杂场景或进行奖励分解将避让导航节能等 任务分配给子策略网络,通过顶层仲裁器整合或进行奖励重塑 |
| D2(传感器数据对齐错误(如相机与LIDAR坐标系 未标定导致空间感知冲突))[S5] | 通过硬件同步与离线标定(手眼标定算法)确保数据一致性 | |
| D3(观测信息维度不足(如忽略障碍物加速度, 自身电池容量)导致DRL策略短视)[S5] | 设置最小安全观测集,强制包含动力系统状态(电压电机温度) 环境动态信息(障碍物运动学参数)等 | |
| D4(动作空间未考虑执行器物理极限 (如电机最大转速、舵机角度范围))[S5] | 在DRL输出层引入饱和函数,限制指令范围 | |
| D5(离散动作划分过粗(如转向角仅设5档))[S5] | 对连续动作与离散动作分层设计,避免维度灾难 | |
| D6(仿真环境未模拟真实物理特性 (如空气阻力、传感器噪声))[S5,S6] | 采用支持高精度空气动力学和传感器噪声模型的仿真平台,并在测试时对比仿真飞行与真实飞行表现的差异,量化差距 | |
| D7(训练环境空域密度过低导致缺少冲突样本)[S5,S7] | 增加对训练样本质量评估,提升训练样本质量 | |
| 模型训练 | D8(神经网络架构复杂度与任务不匹配)[S5,S6,S7] | 进行神经架构搜索,寻找最优网络架构或进行 网络架构复杂度−安全性闭环研制 |
| D9(策略网络采用全连接结构忽略时空关联特征)[S5] | 采用卷积神经网络−LSTM混合架构处理时序传感器数据 | |
| D10(值网络估计存在偏差)[S5] | 修改目标函数 | |
| D11(强化学习算法类型与任务不匹配)[S5] | 根据任务特性选择算法并进行多轮对比实验比较算法性能 | |
| D12(超参数设置与任务不匹配)[S5,S7] | 采用遗传算法等进行超参数寻优 | |
| D13(存在探索利用困境)[S5,S7] | 引入贪心探索或置信上限等探索策略 | |
| D14(样本利用率低)[S5] | 引入优先经验回放机制等提高样本利用效率 | |
| 模型评估 | D15(模型验证和确认评估计划设置不合理(如极端场景下 避让失败率未被检测,测试用例未覆盖长尾场景, 未评估模型在边缘设备上的推理延迟))[S5] | 进行对抗测试生成,使用生成对抗网络生成极端场景 (如极端光照,障碍物畸形)扩充测试集 |
| D16(评估时测试用例执行不完整)[S5,S7] | 建立评估执行清单,关键测试场景留存备案 | |
| D17(反馈时将模型缺陷归因错误)[S5,S6,S7] | 引入标准化的缺陷归因流程并提供致因相关性分析 | |
| D18(反馈可操作性不足)[S5] | 确保反馈结构化,明确给出反馈建议的实施步骤和要求 |
表9
分层STPA捕获需求对适航标准需求的覆盖性"
| 适航标准中定义需求[ | 本文方法捕获的需求 |
| 应验证训练过程中(学习算法、 模型架构超参数等) 关键要素的选择合理性 | R1(在训练过程中,超参数、网络架构、 强化学习算法选择要与 任务相匹配)[D8,D9,D10,D11] |
| 应对数据质量进行验证 | R2(需提交训练样本分布的覆盖分析, 特别是对临界安全区域、 罕见场景是否有足够训练支撑)[D7] |
| 用于训练的硬件平台和用于 验证的硬件平台之间的差异对 推理模型行为的影响应该 被识别和评估 | R3(仿真环境需模拟 真实物理特性)[D6] |
| 应定义指标来评估人工智能/ML 组件的性能和可靠性 | R4(应对模型避让性能 进行评估)[S5] |
| 应对算法和训练模型的 鲁棒性(稳定性)进行分析 | R5(应对模型的鲁棒性和 泛化性进行评估)[S6,S7] |
表10
分层STPA捕获的新需求"
| 本方法捕获的新需求 |
| R6(系统需提供观测空间完备性分析报告证明所有关键动态参数 已被建模,并通过仿真与实物对比验证其覆盖性)[D1] |
| R7(需提供奖励函数有效性量化(稀疏奖励占比监测、 奖励分布偏移检测),并验证其梯度稳定性,确保其在 状态空间边界仍能引导安全行为)[D2] |
| R8(需验证动作空间定义是否符合执行器动力学约束, 加入物理可行性分析报告)[D3,D4] |
| R9(系统需内置传感器冲突检测算法,并在审定测试中 模拟标定偏移,验证冲突报警率)[D5] |
| R10(提交策略收敛性与稳定性分析报告,包括探索 策略的边界条件与可能的行为异常分析)[D12] |
| R11(需通过对抗性样本生成测试,验证策略在认为 构建的极端场景中仍能满足避碰要求)[D14] |
| 1 | 国家市场监督管理总局, 国家标准化管理委员会. 民用无人驾驶航空器系统安全要求(GB 42590-2023)[S]. 北京: 中国标准化出版社, 2023. |
| State Administration for Market Regulation, National Standardization Administration. Safety requirements for civil unmanned aircraft system(GB 42590-2023)[S]. Beijing: China Standard Publishing House, 2023. | |
| 2 | RTCA DO-365C. Minimum operational performance standard for detect and avoid systems[S]. Washington, D. C: Radio Technical Commission for Aeronautics, 2020. |
| 3 | LONGO G, STROHMEIER M, RUSSO E, et al. On a collision course: unveiling wireless attacks to the aircraft traffic collision avoidance system [C]//Proc. of the 33th USE-NIX Security Symposium, 2024. |
| 4 | CANDAN F, BEKE A, MAHFOUR M, et al. A real-time fuzzy interacting multiple model velocity obstacle avoidance approach for unmanned aerial vehicles[J]. Journal of Intelligent & Robotic Systems, 2024, 110, 61. |
| 5 |
WANG X H, CHENG M Y, ZHANG S, et al. Multi UAV coopertive obstacle avoidance of 3D vector field histogram plusand dynamic window approach[J]. Drones, 2023, 7 (8): 504.
doi: 10.3390/drones7080504 |
| 6 | EASA. Roadmap AI. A human-centric approach to AI in aviation[EB/OL].[2025-02-18]. WWW.adfingo.com/easa-ai-roadmap-v10.pdf. |
| 7 |
CHEN H, HUANG D, WANG C G, et al. Collision-free path planning for multiple drones based on safe reinforcement learning[J]. Drones, 2024, 8 (9): 481.
doi: 10.3390/drones8090481 |
| 8 | 吴冯国, 陶伟, 李辉, 等. 基于深度强化学习算法的无人机智能规避决策[J]. 系统工程与电子技术, 2023, 45 (6): 1702- 1711. |
| WU F G, TAO W, LI H, et al. UAV intelligent avoidance decisions based on deepreinforcement learning algorithm[J]. Systems Engineering and Electronics, 2023, 45 (6): 1702- 1711. | |
| 9 | RAMEZANI M, HBIBI H, VOOS H, et al. UAV path planning employing MPC-reinforcement learning method considering collision avoidance[C]//Proc. of the IEEE 8th International Conference on Unmanned Aircraft Systems, 2023. |
| 10 |
ZHOU J L, ZHANG H H, HUA M Z, et al. P-DRL: a framework for multi-UAVs dynamic formation control under operational uncertainty and unknown environment[J]. Drones, 2024, 8 (9): 475.
doi: 10.3390/drones8090475 |
| 11 | JANSON V, AHLBRECHT A, DURAK U. Architectural challenges in developing an AI-based collision avoidance system[C]//Proc. of the IEEE/AIAA 42th Digital Avionics Systems Conference, 2023. |
| 12 | 马赞, 白杰, 陈勇, 等. 基于条件高斯PAC-Bayes的机载CNN分类器安全性评估[J]. 航空学报, 2025, 46 (7): 330824. |
| MA Z, BAI J, CHEN Y, et al. Safety assessment for airborne CNN classifier based on conditional gaussian PAC-Bayes[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46 (7): 330824. | |
| 13 | SALMON P M, STANTON N A, WALKER G H, et al. Handbook of systems thinking methods [M]. 1st ed. Boca Raton: CRC Press, 2022. |
| 14 |
GO E, JEON H C, LEE J S, et al. Enhancing urban public safety through UAS integration: a comprehensive hazard analysis with the STAMP/STPA framework[J]. Applied Sciences, 2024, 14 (11): 4609.
doi: 10.3390/app14114609 |
| 15 | BANIK S, KIM J, HOVAKIMYAN N, et al. Integrating vision systems and STPA for robust landing and take-off in VTOL aircraft[C]//Proc. of the AIAA SciTech Forum, 2025. |
| 16 | 张宏宏, 甘旭升, 孙静娟, 等. 基于STPA-TOPAZ的低空无人机冲突解脱安全性分析[J]. 航空学报, 2022, 43 (7): 325354. |
| ZHANG H H, GAN X S, SUN J J, et al. Analysis of low altitude UAV conflict resolution safety based on STPA-TOPAZ[J]. Acta Aeronautica et Astronautica Sinica, 2022, 43 (7): 325354. | |
| 17 | BERGER J, TIUSANEN R, KOTHALAWALA H, et al. Applying priority-informed STPA to a nuclear I&C system[C]//Proc. of the 29th International Conference on Emerging Technologies and Factory Automation, 2024. |
| 18 | BERRI I, ZENNIR Y, MECHHOUD E A, et al. Integrating functional block diagrams and systems-theoretic-process analysis: a case study of a nuclear power station[J]. International Journal of Safety & Security Engineering, 2024, 14 (2): 359- 372. |
| 19 |
ZHANG J X, ZHANG S H, LIANG Z W, et al. A risk assessment method based on DEMATEL-STPA and its application in safety risk evaluation of hydrogen refueling stations[J]. International Journal of Hydrogen Energy, 2024, 50, 889- 902.
doi: 10.1016/j.ijhydene.2023.07.250 |
| 20 |
WANG J J, QI M, LIU S Z, et al. Comprehensive safety assessment of a hydrogen liquefaction system based on an integrated system-theoretic process analysis and best worst method[J]. International Journal of Hydrogen Energy, 2024, 66, 479- 489.
doi: 10.1016/j.ijhydene.2024.04.082 |
| 21 | HOBBS K L, HEINER B, BUSSE L, et al. Systems theoretic process analysis of a run time assured neural network control system[C]//Proc. of the AIAA SciTech Forum, 2023. |
| 22 |
ZHANG S J, TANG T, LIU J T. A hazard analysis approach for the SOTIF in intelligent railway driving assistance systems using STPA and complex network[J]. Applied Sciences, 2021, 11 (16): 7714.
doi: 10.3390/app11167714 |
| 23 |
DGHAYM D, HOANG T S, TURNOCK S R, et al. An STPA-based formal composition framework for trustworthy autonomous maritime systems[J]. Safety Science, 2021, 136, 105139.
doi: 10.1016/j.ssci.2020.105139 |
| 24 | EASA. First usable guidance for Level 1 machine learning applications[R]. Cologne: European Union Aviation Safety Agency, 2021: 10−48. |
| 25 | HAARNOJA T, ZHOU A, ABBEEL P, et al. Soft-actor-critic: off-policy maximum entropy deep reinforcement learning with a stochastic actor[C]//Proc. of the 35th International conference on machine learning, 2018. |
| 26 | AC-21-AA-2022-40民用无人驾驶航空器系统适航审定分级分类和系统安全性分析指南[S]. 北京: 中国民用航空局航空器适航审定司, 2022. |
| AC-21-AA-2022-40Guidelines for airworthiness certification classification and system safety analysis of civil unmanned aerial vehicle systems[S]. Beijing: Aircraft Airworthiness Certification Department of Civil Aviation Administration of China, 2022. | |
| 27 | ASHMORE R, CALINESCU R, PATERSON C. Assuring the machine learning lifecycle: desiderata, methods, and challenges[J]. Assoc Computing Machinery Computing Surveys, 2021, 54 (5): 111. |
| 28 | SAE AIR 6994. Artificial intelligence in aeronautical systems: use cases[S]. Warrendale: Society of Automotive Engineers, 2021. |
| 29 | WEINER A, ALVAREZ L, OWEN M, et al. A quantitatively derived nmac analog for smaller unmanned aircraft systems based on unmitigated collision risk[J]. Preprints, 2020, 14, 22. |
| 30 | MISSURA M, BENNEWITZ M. Predictivecollision avoidance for the dynamic window approach[C]//Proc. of the 36th International Conference on Robotics and Automation, 2019. |
| 31 |
张宏宏, 甘旭升, 李昂, 等. 基于速度障碍法的无人机避障与航迹恢复策略[J]. 系统工程与电子技术, 2020, 42 (8): 1759- 1767.
doi: 10.3969/j.issn.1001-506X.2020.08.16 |
|
ZHANG H H, GAN X S, LI A, et al. UAV obstacle avoidance and track recovery strategy based on velocity obstacle method[J]. Systems Engineering and Electronics, 2020, 42 (8): 1759- 1767.
doi: 10.3969/j.issn.1001-506X.2020.08.16 |
| [1] | 贾振帅, 肖冰, 钱寒雨, 张哲宇. 基于多策略学习的航天器在轨观测机动决策方法[J]. 系统工程与电子技术, 2026, 48(5): 1590-1598. |
| [2] | 魏建林, 林彦超, 唐慧龙, 张旺, 王伟. 基于改进MCTS的多无人机多任务联合决策[J]. 系统工程与电子技术, 2026, 48(2): 556-568. |
| [3] | 王亚龙, 史宪铭, 赵乾, 刘昊邦, 梁俊鹏. 基于Gamma分布的装甲车辆目标弹药消耗贝叶斯推断[J]. 系统工程与电子技术, 2026, 48(2): 615-626. |
| [4] | 王旭, 蔡光斌, 余晓亚, 叶子绮, 单斌. 基于双动态PPO算法的高超声速飞行器姿态控制[J]. 系统工程与电子技术, 2026, 48(2): 694-704. |
| [5] | 薛锦妍, 张雅声, 陶雪峰, 杨茗棋, 赵帅龙. GEO航天器轨道机动控制研究进展[J]. 系统工程与电子技术, 2026, 48(1): 290-300. |
| [6] | 宋传龙, 张倩武, 何健, 周文骏, 王辉, 孔巍巍, 田文波. 基于MADDPG算法的星地协同边缘计算任务卸载方法[J]. 系统工程与电子技术, 2026, 48(1): 350-360. |
| [7] | 魏潇龙, 吴亚荣, 姚登凯, 赵顾颢. 基于深度强化学习的无人机空战机动分层决策算法[J]. 系统工程与电子技术, 2025, 47(9): 2993-3003. |
| [8] | 朱运豆, 孙海权, 胡笑旋. 基于指针网络架构的多星协同成像任务规划方法[J]. 系统工程与电子技术, 2025, 47(7): 2246-2255. |
| [9] | 孟麟芝, 孙小涓, 胡玉新, 高斌, 孙国庆, 牟文浩. 面向卫星在轨处理的强化学习任务调度算法[J]. 系统工程与电子技术, 2025, 47(6): 1917-1929. |
| [10] | 郑康洁, 张新宇, 王伟菘, 刘震生. DQN与规则结合的智能船舶动态自主避障决策[J]. 系统工程与电子技术, 2025, 47(6): 1994-2001. |
| [11] | 刘书含, 李彤, 李富强, 杨春刚. 意图态势双驱动的数据链抗干扰通信机制[J]. 系统工程与电子技术, 2025, 47(6): 2055-2064. |
| [12] | 熊威, 张栋, 任智, 杨书恒. 面向有人/无人机协同打击的智能决策方法研究[J]. 系统工程与电子技术, 2025, 47(4): 1285-1299. |
| [13] | 马鹏, 蒋睿, 王斌, 徐盟飞, 侯长波. 基于隐式对手建模的策略重构抗智能干扰方法[J]. 系统工程与电子技术, 2025, 47(4): 1355-1363. |
| [14] | 唐开强, 傅汇乔, 刘佳生, 邓归洲, 陈春林. 基于深度强化学习的带约束车辆路径分层优化研究[J]. 系统工程与电子技术, 2025, 47(3): 827-841. |
| [15] | 陈夏瑢, 李际超, 陈刚, 刘鹏, 姜江. 基于异质网络的装备体系组合发展规划问题[J]. 系统工程与电子技术, 2025, 47(3): 855-861. |
| 阅读次数 | ||||||
|
全文 |
|
|||||
|
摘要 |
|
|||||