賈浩楠 發(fā)自 副駕寺智能車參考 | 公眾號 AI4Auto

Nature正刊封面報(bào)道自動駕駛重要進(jìn)展。

(相關(guān)資料圖)

證明自動駕駛算法的安全可靠，專業(yè)估算仿真里程甚至要超過千億公英里。

那么，有沒有在保證可靠性的前提下，大幅降低模擬路測時間和成本的方法呢？

最新自動駕駛仿真測試方法，可以將模型迭代效率提升2000倍！

這項(xiàng)研究背后的團(tuán)隊(duì)，來自密歇根大學(xué)的劉向宏教授的實(shí)驗(yàn)室，主要作者清一色華人團(tuán)隊(duì)，出自清華大學(xué)自控系。

自動駕駛仿真提效2000倍

如今很多無人車公司都青睞仿真測試提升系統(tǒng)可靠性。甚至有的創(chuàng)業(yè)公司直接打出“仿真為主，路試為輔”的旗號。

他們的理由是：仿真測試效率更高。但沒說的潛臺詞其實(shí)是：仿真測試不依賴車隊(duì)，成本低。

因?yàn)槟M測試150億英里的Waymo，至今搞不定可商用落地的無人駕駛。仿真的效率問題是尚未實(shí)現(xiàn)飛躍的巨大挑戰(zhàn)，用仿真是因?yàn)槭″X，至于什么時候能拿出結(jié)果，誰也說不好。

基于此，這項(xiàng)最新研究提出的觀點(diǎn)是：

而他們基于密集強(qiáng)化學(xué)習(xí)的深度學(xué)習(xí)網(wǎng)絡(luò)D2RL，可以將目前基于NDE（自然駕駛環(huán)境）的仿真模擬效率提升2000倍。

具體來說，在雙車道400m場景中，D2RL生成的場景直接跳過（刪除）傳統(tǒng)仿真過程中95.7%的事件和99.78%步驟，最大可能給出系統(tǒng)高價值訓(xùn)練場景。

這樣一來，算法碰撞率達(dá)成同樣的收斂標(biāo)準(zhǔn)下，NDE環(huán)境需要訓(xùn)練1.9X10⁸次，D2RL需要9.1X10⁴次，效率提升2100倍。

而在3車道、更長距離的實(shí)驗(yàn)中，得出的效率提升效果基本都在2000倍左右。

另外，研究人員將一套開源自動駕駛算法Autoware23搭載在林肯MKZ上進(jìn)行了4 公里左右的實(shí)際路測，并將實(shí)際道路場景建模，并使用D2RL進(jìn)行模擬。兩條路線分別在156和117次測試后達(dá)到收斂，而與之相比的是在NDE條件下，達(dá)成相同的標(biāo)準(zhǔn)分別需要2.5×10⁷次和2.1×10⁷次。

同樣效率提升2000倍左右。

也就是說，使用D2RL網(wǎng)絡(luò)進(jìn)行自動駕駛算法的模擬仿真訓(xùn)練，能大大縮短自動駕駛的開發(fā)周期。

在自動駕駛之外，D2RL還可以用在其他AI可靠性驗(yàn)證中，如醫(yī)療機(jī)器人和航空航天系統(tǒng)。

怎么做到的？

從上面的實(shí)驗(yàn)結(jié)果表格中可以看出，D2RL之所以提升效率的主要手段，就是對系統(tǒng)生成仿真場景的過程進(jìn)行“提純”，盡量少生成價值不大的常規(guī)場景，保留高價值數(shù)據(jù)。

研究團(tuán)隊(duì)認(rèn)為，無人車仿真系統(tǒng)的效率問題，本質(zhì)上是高維空間（多維向量空間）中的一個罕見事件估計(jì)問題。

如何識別并剔除高維向量空間中非安全關(guān)鍵的點(diǎn)，是D2RL的核心任務(wù)。

D2RL是一種密集強(qiáng)化學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)，其基本思想是識別和去除多向量空間的非安全關(guān)鍵數(shù)據(jù)，并保留安全關(guān)鍵數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

由于聲稱場景中只有非常小的一部分?jǐn)?shù)據(jù)是安全關(guān)鍵的，剩余數(shù)據(jù)的信息將被大大地密集化。

D2RL方法的本質(zhì)是刪除非關(guān)鍵狀態(tài)，并連接關(guān)鍵狀態(tài)來重新編輯馬爾科夫決策過程，然后只對編輯過的馬爾科夫過程進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練。

因此，對于任何訓(xùn)練場景，最終的獎勵都是沿著編輯過的馬爾可夫鏈反向傳播的。

直觀地說，D2RL訓(xùn)練的對象，是仿真測試場景中的BV（非自動駕駛背景車輛），要求他們在特定的時空下執(zhí)行特定的動作，與自動駕駛車輛（AV）形成對抗性訓(xùn)練。

獎勵函數(shù)為：

其中x表示每個測試情節(jié)的變量，IA(x) 是AV碰撞事件的指標(biāo)函數(shù)，后兩項(xiàng)則是AV目標(biāo)策略和目標(biāo)行為的重要性函數(shù)。

獎勵越高表示測試環(huán)境越有效。這樣的獎勵設(shè)計(jì)是通用的，也適用于其他具有高維變量的罕見事件估計(jì)問題。

為了確定學(xué)習(xí)機(jī)制，團(tuán)隊(duì)進(jìn)一步研究了行為策略和目標(biāo)策略之間的關(guān)系。

他們發(fā)現(xiàn)AV的最佳行為政策在訓(xùn)練過程中收集的數(shù)據(jù)幾乎是與目標(biāo)策略相反。這表明，如果使用傳統(tǒng)強(qiáng)化學(xué)習(xí)中的on-policy策略，AV的目標(biāo)行為策略將偏離最佳。這可能會誤導(dǎo)訓(xùn)練過程。

為了解決這個問題，團(tuán)隊(duì)設(shè)計(jì)了一個off-policy學(xué)習(xí)機(jī)制，即設(shè)計(jì)一個通用的行為策略，并在訓(xùn)練過程中保持不變，用來平衡AV的策略和行為。

最終，D2RL可以在訓(xùn)練過程中使獎勵最大化，有效地提高AV的碰撞率。

作者團(tuán)隊(duì)介紹

本研究的第一作者封碩，目前在美國密歇根大學(xué)安娜堡分校做博士后。

封碩本科和博士學(xué)位都在清華大學(xué)自動化系獲得，研究方向是優(yōu)化控制、互聯(lián)和自動駕駛評估以及交通數(shù)據(jù)分析。

封碩所在的Traffic Lab實(shí)驗(yàn)室，由劉向宏教授領(lǐng)導(dǎo)。

Sun Haowei，密歇根大學(xué)土木與環(huán)境工程專業(yè)在讀博士生，同樣在Traffic Lab實(shí)驗(yàn)室。研究興趣是車聯(lián)網(wǎng)和自動駕駛汽車的測試和評估。Sun Haowei本科畢業(yè)于清華大學(xué)自動化系。

本文通訊作者劉向宏博士現(xiàn)任美國密歇根大學(xué)土木與環(huán)境工程系終身職正教授、密歇根大學(xué)交通研究所(UMTRI)研究教授，北京航空航天大學(xué)客座教授、兼職博士生導(dǎo)師。

他在國內(nèi)最被外界熟悉的身份是滴滴前首席科學(xué)家。

劉向宏1993年本科畢業(yè)于清華大學(xué)汽車工程系，2000年在威斯康星大學(xué)麥迪遜分校取得博士學(xué)位。

劉教授是交通工程領(lǐng)域論文引用率最高的學(xué)者之一，他發(fā)明的用于精確測量交叉路口的排隊(duì)長度和旅行時間的SMART-Signal系統(tǒng)于2012年取得美國國家專利，并已在美國明尼蘇達(dá)州和加州得到廣泛應(yīng)用。

原文鏈接：https://www.nature.com/articles/s41586-023-05732-2

如果你有好的研究成果或觀點(diǎn)，歡迎來稿交流：auto@qbitai.com

—聯(lián)系作者—

—完—

【智能車參考】原創(chuàng)內(nèi)容，未經(jīng)賬號授權(quán)，禁止隨意轉(zhuǎn)載。

點(diǎn)這里關(guān)注我，記得標(biāo)星，么么噠～

關(guān)鍵詞：