系统工程与电子技术 ›› 2021, Vol. 43 ›› Issue (4): 1036-1043.doi: 10.12305/j.issn.1001-506X.2021.04.21

• 制导、导航与控制 • 上一篇    下一篇

基于模糊强化学习的双轮机器人姿态平衡控制

闫安1(), 陈章2,*(), 董朝阳1(), 何康辉1()   

  1. 1. 北京航空航天大学航空科学与工程学院, 北京 100191
    2. 清华大学自动化系, 北京 100084
  • 收稿日期:2020-06-13 出版日期:2021-03-25 发布日期:2021-03-31
  • 通讯作者: 陈章 E-mail:yanan801@buaa.edu.cn;cz_da@tsinghua.edu.cn;dongchaoyang@buaa.edu.cn;502711921@qq.com
  • 作者简介:闫安 (1996-), 男, 硕士研究生, 主要研究方向为智能控制应用、飞行器的导航与控制。E-mail: yanan801@buaa.edu.cn|陈章 (1984-), 男, 助理研究员, 博士, 主要研究方向为机器人控制。E-mail: cz_da@tsinghua.edu.cn|董朝阳 (1965-), 男, 教授, 博士, 主要研究方向为飞行器控制、仿真和建模、智能控制应用。E-mail: dongchaoyang@buaa.edu.cn|何康辉 (1996-), 男, 硕士研究生, 主要研究方向为飞行器的导航与控制。E-mail: 502711921@qq.com
  • 基金资助:
    国家自然科学基金(61833016);国家自然科学基金(61873295);航空人工智能专项基金(2018ZA51003)

Attitude balance control of two-wheeled robot based on fuzzy reinforcement learning

An YAN1(), Zhang CHEN2,*(), Chaoyang DONG1(), Kanghui HE1()   

  1. 1. School of Aeronautic Science and Engineering, Beihang University, Beijing 100191, China
    2. Department of Automation, Tsinghua University, Beijing 100084, China
  • Received:2020-06-13 Online:2021-03-25 Published:2021-03-31
  • Contact: Zhang CHEN E-mail:yanan801@buaa.edu.cn;cz_da@tsinghua.edu.cn;dongchaoyang@buaa.edu.cn;502711921@qq.com

摘要:

针对单轨双轮机器人在静止情况下存在的固有静态不稳定问题, 提出一种基于模糊强化学习(简称为Fuzzy-Q)的控制方法。首先,运用拉格朗日法建立带控制力矩陀螺的系统动力学模型。然后, 在此基础上设计表格型强化学习算法, 实现机器人的稳定平衡控制。最后,针对算法存在的控制精度不高和控制器输出离散等问题, 采用模糊理论泛化动作空间, 改善控制精度, 并使控制输出连续。仿真实验表明, 相较于传统强化学习方法, 所提方法能够显著提高控制精度, 且可以有效抑制外界干扰力矩对系统的影响, 保证系统具有一定的抗干扰能力。

关键词: 强化学习, 模糊强化学习, 模糊算法, 控制力矩陀螺, 单轨双轮机器人

Abstract:

In order to solve the inherent problem of static instability of monorail two-wheel robot under resting conditions, a control method of monorail two-wheel robot based on fuzzy reinforcement learning (Fuzzy-Q in short) is proposed.Firstly, the Lagrange method is used to establish the system dynamics model with control moment gyro. And then, on this basis, the tabular reinforcement learning algorithm is designed to realize the stable balance control of the robot. Finally, In order to solve the problems of low control accuracy and discretization of controller output, the fuzzy theory is used to generalize the action space, improve the control accuracy and make the control output continuous. The simulation results show that compared with the traditional reinforcement learning methods, the proposed Fuzzy-Q method can significantly improve the control accuracy, effectively inhibit the influence of external interference torque on the system, and ensure that the system has a great anti-interference capability.

Key words: reinforcement learning, fuzzy reinforcement learning, fuzzy algorithm, control moment gyro, monorail two-wheeled robot

中图分类号: