近日，中國(guó)科學(xué)院工程熱物理研究所無(wú)人飛行器實(shí)驗(yàn)室團(tuán)隊(duì)利用深度強(qiáng)化學(xué)習(xí)技術(shù)，開展了基于能量?jī)?yōu)化的太陽(yáng)能無(wú)人機(jī)軌跡規(guī)劃研究。該研究為增強(qiáng)高空長(zhǎng)航時(shí)太陽(yáng)能無(wú)人機(jī)自主飛行、智能規(guī)劃能力提供了新的解決思路。
高空長(zhǎng)航時(shí)（HALE）太陽(yáng)能無(wú)人機(jī)依靠取之不盡的太陽(yáng)能可在臨近空間停留數(shù)周或更長(zhǎng)時(shí)間，以執(zhí)行通信中繼、空中偵察和災(zāi)害監(jiān)控等任務(wù)。然而，受儲(chǔ)能電池和光伏電池效率的限制，HALE無(wú)人機(jī)平臺(tái)的尺寸正在不斷增加以滿足更多有效載荷的需求。因此，科研人員正在尋找有效方法幫助無(wú)人機(jī)充分利用可獲取的能量，軌跡優(yōu)化作為重點(diǎn)方向之一，是涉及大氣環(huán)境、飛行姿態(tài)和飛行任務(wù)約束的綜合問(wèn)題。當(dāng)前，使用離線優(yōu)化算法解決該類問(wèn)題雖能保證解序列趨于最優(yōu)化，但無(wú)法對(duì)飛行過(guò)程中的不確定性進(jìn)行實(shí)時(shí)糾正以調(diào)整飛行狀態(tài)；而模型預(yù)測(cè)控制、動(dòng)態(tài)規(guī)劃等在線算法通常采用滾動(dòng)方法在有限的視界內(nèi)進(jìn)行優(yōu)化，同時(shí)結(jié)合迭代算法進(jìn)行求解，有限的算力將導(dǎo)致計(jì)算效率下降。
研究團(tuán)隊(duì)利用強(qiáng)化學(xué)習(xí)算法，借助神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)將動(dòng)態(tài)軌跡生成向端到端控制的轉(zhuǎn)換，設(shè)計(jì)并建立完整的高空長(zhǎng)航時(shí)太陽(yáng)能飛機(jī)數(shù)值仿真環(huán)境以及強(qiáng)化學(xué)習(xí)框架（圖1）。研究以能量最大化為目標(biāo)，引入勢(shì)能/電能優(yōu)先策略下的不同獎(jiǎng)勵(lì)函數(shù)，經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)控制器可自主學(xué)習(xí)充電、爬升、高空巡航、下降、低空盤旋五個(gè)階段（圖2），并針對(duì)未經(jīng)重復(fù)優(yōu)化的控制器開展60*24h久航仿真分析（圖3）。結(jié)果表明，采用強(qiáng)化學(xué)習(xí)控制器的無(wú)人機(jī)經(jīng)過(guò)完整晝夜飛行后，電池剩余能量得到不同程度的提高，同時(shí)控制器可以根據(jù)當(dāng)前飛行和輻照信息重新預(yù)測(cè)未來(lái)的軌跡，平均單步推理僅用時(shí)1ms，進(jìn)一步提升了高空長(zhǎng)航時(shí)太陽(yáng)能無(wú)人機(jī)的自主飛行能力。目前，實(shí)驗(yàn)室正在進(jìn)行基于高空多種能量的綜合航跡優(yōu)化進(jìn)行可行性分析，下一階段將開展相關(guān)框架的平臺(tái)部署及驗(yàn)證工作。
相關(guān)研究成果發(fā)表在Chinese Journal of Aeronautics上。研究工作得到中科院特別研究助理項(xiàng)目的支持。
圖1.基于Soft Actor-Critic算法的控制器框架
圖2.勢(shì)能/電量?jī)?yōu)先策略下的不同飛行剖面。（a）勢(shì)能優(yōu)先，（b）電能優(yōu)先
圖3.久航仿真信息分析
（來(lái)源：工程熱物理研究所）