KAIYUN网页 开云com《汽车工程》2023年第12期发表了桂林电子科技大学广西制造系统与先进制造技术重点实验室研究成果基于Q学习的整车主动悬架免参数H∞控制一文。主动悬架是智能汽车全线控底盘的重要部件，由于传统控制方法标定参数过多，降低了控制开发的效率。论文以整车模型为研究对象，建立整车主动悬架的Q函数模型，设计了一种能快速计算H∞控制增益的免参数Q学习算法，通过在线采集多通道的整车振动数据，以递归最小二乘为工具实时求解博弈黎卡提方程，给出了相应的鲁棒控制解，在此基础上对该方法进行硬件在环仿真分析与评价，验证了设计方法的有效性。

　　主动悬架系统的控制设计受到了众多汽车从业者的关注，H∞控制因其能以L2性能指标衰减路面传递到各状态量的振动得到广泛应用。由于整车悬架的模型参数过多，模型参数标定耗时，提高了控制设计的难度。同时，实车测试过程中会存储大量的有效数据，若能将其应用到整车悬架的控制设计中可节省开发成本并提高设计效率。

　　1. 建立主动悬架零和博弈控制模型：为设计免参数H∞主动悬架控制器，建立如图1所示的整车主动悬架动力学模型，该模型可完整地反映汽车的垂直、俯仰以及侧倾动态。

　　Kaiyun网址 开云

　　2. 构建主动悬架的博弈黎卡提方程：可将控制策略和路面干扰视为两玩家的零和博弈问题，即控制策略玩家试图最小化值函数，而路面干扰玩家试图最大化值函数，值函数的马鞍点即为最优博弈对，故最优值函数满足如下极小极大贝尔曼方程

　　4. 基于Q学习的免参数H∞控制方法：为迭代求解带量测噪声的Q学习模型，考虑基于遗忘因子RLS方法，稳定性分析表明Q学习算法可收敛到系统的纳什平衡点。

　　5. 进行硬件在环的免参数控制优化：为验证所建整车主动悬架Q学习模型的准确性，进行硬件在环下的仿真计算与测试对比。

　　1. Q学习过程中控制增益L的迭代求解：为保证样本的可靠性，在控制输入端和外部干扰端注入随机探测噪声，每次训练采集320组数据，训练上限次数为3000，预设干扰衰减界取为160。对于实际道路谱数据，可通过轮胎耦合道路模拟机试验台进行在线次学习迭代后收敛到理论最优解。经反复运行测试可知，训练结果并不依赖于特定形式下的输入和干扰，保障了算法的适用性。

　　2. 包块路面主动控制仿线为悬架动行程和车轮动变形的均方根值，除轮3处的悬架动行程略大于被动悬架外，其余指标均有较大提升，故接地性得到加强。从图7中可知，在低频范围内，尤其在人体振动敏感频率范围4~8Hz内，免参数H∞控制更加有效。由于该道路冲击频率为2Hz，故能得到有效衰减。

　　图7 包块路面下车身垂直、俯仰、侧倾加速度功率谱密度曲线. 随机路面主动控制仿真与分析: 在归一化频率范围0.001×π~π内（时间频率对应为0.05Hz~50Hz），垂直、俯仰和侧倾加速度均得到有效衰减，且振动衰减时间频率均覆盖了C级随机路面的有效时间频率，故该方法具备有效性。从表1中可看出在不同路面等级下，免参数H∞控制仍是有效的。