為了不斷給自動(dòng)駕駛汽車提供海量數(shù)據(jù)和極端場(chǎng)景以滿足安全測(cè)試的需要，仿真技術(shù)在近年來(lái)備受關(guān)注，眾多仿真平臺(tái)也應(yīng)運(yùn)而生。

　　在這種大背景下，英偉達(dá)將自己在圖形計(jì)算時(shí)代所積累的優(yōu)勢(shì)復(fù)制到自動(dòng)駕駛技術(shù)上，并且于 2019 年正式向客戶開放 DRIVE Constellation 自動(dòng)駕駛仿真模擬器。

　　那么，當(dāng)下無(wú)人駕駛在預(yù)期功能安全方面的進(jìn)展如何?英偉達(dá)在仿真驗(yàn)證方面有什么獨(dú)特的見解?

　　雷鋒網(wǎng)新智駕邀請(qǐng)了英偉達(dá)無(wú)人駕駛開發(fā)架構(gòu)師楊健來(lái)進(jìn)行業(yè)內(nèi)分享。以下為楊健的演講內(nèi)容，雷鋒網(wǎng)新智駕進(jìn)行了不改變?cè)獾恼恚?/p>

　　大家好!我是英偉達(dá)無(wú)人駕駛解決方案架構(gòu)師楊建，感謝新智駕提供的平臺(tái)，讓我們可以交流關(guān)于無(wú)人駕駛仿真方面的話題。

　　今天分享的主題為《英偉達(dá)仿真模擬方法論助力無(wú)人駕駛算法開發(fā)》，主要分為以下三個(gè)方面：

　　無(wú)人駕駛與預(yù)期功能安全;

　　英偉達(dá)仿真驗(yàn)證方法論;

　　解決問(wèn)題需要的規(guī)模和計(jì)算量。

　　一、無(wú)人駕駛和預(yù)期功能安全

　　首先給大家解釋一下 verification(驗(yàn)證)和 validation(確認(rèn))的區(qū)別。

　　Verification，主要是驗(yàn)證結(jié)果是否與預(yù)期設(shè)計(jì)相一致，即“把事情做對(duì)”;validation，則是結(jié)果在與預(yù)期設(shè)計(jì)相一致的同時(shí)，確認(rèn)預(yù)期設(shè)計(jì)是否有問(wèn)題，是否能夠滿足客戶的其他需求，即“做對(duì)的事情”。

　　目前，工業(yè)界有兩種驗(yàn)證自動(dòng)駕駛車輛安全的方法論。

　　一種是大家比較熟悉的 ISO26262 功能安全(FuSa)，這種方法論旨在預(yù)防由汽車電子電氣系統(tǒng)產(chǎn)生故障導(dǎo)致的意外風(fēng)險(xiǎn)隱患。

　　另一種是 ISO21448 預(yù)期功能安全(SOTIF)，這種方法論旨在解決自動(dòng)駕駛系統(tǒng)本身由于算法或者傳感器(攝像頭、激光雷達(dá)等)本身缺陷導(dǎo)致致命傷害事故的問(wèn)題。這也是今天分享的重點(diǎn)。

　　從開發(fā)流程上來(lái)說(shuō)，無(wú)論是 FuSa 還是 SOTIF，都要經(jīng)歷從需求定義到軟硬件開發(fā)再到系統(tǒng)驗(yàn)證的過(guò)程，但相對(duì)來(lái)說(shuō)，SOTIF 需要解決的問(wèn)題難度更大。

　　就像長(zhǎng)尾理論一樣，容易造成事故的場(chǎng)景基本上出現(xiàn)在長(zhǎng)尾的尾部，因此，我們很難預(yù)測(cè)這些問(wèn)題將會(huì)在什么時(shí)候發(fā)生，而 SOTIF 就旨在去發(fā)現(xiàn)這些罕見的場(chǎng)景。

　　也就是說(shuō)，SOTIF 可以發(fā)揮指導(dǎo)性的意義，把這種潛在的風(fēng)險(xiǎn)進(jìn)行量化評(píng)估，從而評(píng)估車輛抵御風(fēng)險(xiǎn)的能力。

　　我們可以看一下這張圖：

　　我們將所有場(chǎng)景分為 4 個(gè)區(qū)域，包括已知的安全場(chǎng)景、已知的不安全場(chǎng)景、未知的不安全場(chǎng)景以及未知的安全場(chǎng)景。

　　前面兩個(gè)場(chǎng)景相對(duì)好理解，已知的不安全場(chǎng)景可以通過(guò)對(duì) ODD 進(jìn)行分析來(lái)解決相關(guān)的風(fēng)險(xiǎn)。由于最后一個(gè)場(chǎng)景的安全的場(chǎng)景，因此我們對(duì)它的關(guān)注度也不是很大。

　　最需要關(guān)注的是區(qū)域3，即未知的不安全場(chǎng)景，由于該場(chǎng)景中存在著巨大的風(fēng)險(xiǎn)，如果我們對(duì)其一直處于無(wú)法悉知的狀態(tài)，我們就無(wú)法評(píng)估其中的風(fēng)險(xiǎn)會(huì)對(duì)無(wú)人駕駛帶來(lái)多大的影響。

　　所以，在 SOTIF 的開發(fā)流程中，針對(duì)已知的安全場(chǎng)景，我們可以通過(guò)概念定義階段來(lái)對(duì)這些場(chǎng)景進(jìn)行足夠多的分析;針對(duì)已知的不安全場(chǎng)景，我們?cè)隍?yàn)證階段會(huì)去構(gòu)建一些不安全的場(chǎng)景，然后對(duì)這些場(chǎng)景進(jìn)行驗(yàn)證，確保無(wú)人駕駛算法可以安全地解決這些問(wèn)題;對(duì)于為安全的未知安全場(chǎng)景，我們需要一些輔助的手段來(lái)幫助我們發(fā)現(xiàn)場(chǎng)景，了解場(chǎng)景。

　　也就是說(shuō)，我們的最終目標(biāo)就是把未知的不安全場(chǎng)景逐漸轉(zhuǎn)化成已知的不安全場(chǎng)景，甚至是轉(zhuǎn)化成已知的安全場(chǎng)景。

　　不過(guò)，從客觀上來(lái)講，未知的不安全場(chǎng)景肯定不會(huì)完全消失，但它最終會(huì)小到我們足以保證無(wú)人駕駛算法出現(xiàn)安全事故的概率會(huì)比真人駕駛要更小，也就是說(shuō)，我們可以證明無(wú)人駕駛比真人駕駛要更安全。

　　二、英偉達(dá)的驗(yàn)證方法論

　　剛剛跟大家分享了英偉達(dá)對(duì)于 SOTIF 的理解，接下來(lái)給大家解釋一下，我們針對(duì)上述一些問(wèn)題的方法和方法論。

　　首先，我們把整個(gè)驗(yàn)證的測(cè)試過(guò)程分為幾個(gè)步驟：

　　構(gòu)建一個(gè)模擬器來(lái)運(yùn)行可控的環(huán)境和場(chǎng)景;

　　軟件在環(huán)仿真，對(duì)軟件算法模塊進(jìn)行單元測(cè)試;

　　硬件在環(huán)仿真，把若干模塊和模組整合進(jìn)行系統(tǒng)測(cè)試;

　　之后在可控的封閉道路上做整體測(cè)試。

　　所以，我們可以把上述步驟分為兩大類，即真實(shí)世界的測(cè)試?yán)锍?，以及仿真環(huán)境里加速測(cè)試?yán)锍?。這里的“加速”不僅是指時(shí)間上的加速，還包括了場(chǎng)景構(gòu)建，或是其他變化的加速，從而獲得更高質(zhì)量的驗(yàn)證里程數(shù)。

　　從另一個(gè)維度來(lái)劃分就是軟件在環(huán)和硬件在環(huán)。一般來(lái)看，軟件在環(huán)方面，無(wú)人駕駛算法開發(fā)都在 X86 平臺(tái)上運(yùn)行，因此模擬器也在相同的平臺(tái)運(yùn)行。硬件在環(huán)方面，英偉達(dá)與傳統(tǒng)的主機(jī)廠有些不同。

　　傳統(tǒng)上的硬件在環(huán)一般指的是 ECU -in-the-loop，相當(dāng)于只有計(jì)算單元是真實(shí)的硬件。事實(shí)上，我們所說(shuō)的硬件在環(huán)還包括了其他模擬出來(lái)的傳感器和車輛控制器。

　　由于，測(cè)試對(duì)象運(yùn)行在目標(biāo)平臺(tái)上，計(jì)算單元的算法需要驗(yàn)證的里程數(shù)巨大。所以，一套硬件并不能夠滿足需求，而是需要利用到 IT 行業(yè)已經(jīng)非常成熟的并行化計(jì)算和集群化計(jì)算來(lái)提高仿真訓(xùn)練效率。

　　因此，這種仿真的硬件在環(huán)平臺(tái)要能夠部署到數(shù)據(jù)中心，然后構(gòu)建成集群，然后使用集群調(diào)度管理工具來(lái)進(jìn)行集群化并行化運(yùn)行，這種測(cè)試的場(chǎng)景才有可能在有效的時(shí)間內(nèi)完成海量的驗(yàn)證里程。

　　如此一來(lái)，硬件在環(huán)就可以做到比特級(jí)的準(zhǔn)確，但它有一個(gè)缺點(diǎn)就是實(shí)時(shí)屬性太強(qiáng)。

　　對(duì)此，英偉達(dá)推出了 drive constellation 解決方案，這是一個(gè)虛擬的 AV 仿真硬件在環(huán)模擬器。

　　從整個(gè)仿真的結(jié)構(gòu)來(lái)看，英偉達(dá)會(huì)把更多精力放在軟件在環(huán)仿真上，通過(guò)單個(gè)軟件模塊或者多個(gè)模塊進(jìn)行驗(yàn)證;軟件在環(huán)仿真驗(yàn)證之后就是硬件在環(huán)仿真，然后這一部分的仿真工作量相對(duì)減少;通過(guò)了硬件在環(huán)仿真驗(yàn)證，最后才會(huì)進(jìn)入到路測(cè)階段。

　　就工作量而言，我們認(rèn)為 SIL 一般占到 60-70%，HIL 在 20% 左右，剩下的為路測(cè)。

　　關(guān)于“加速”，我還想進(jìn)一步解釋一下。

　　如圖，在場(chǎng)景 A 當(dāng)中，假設(shè)綠車是我們無(wú)人駕駛算法控制的車，然后有一輛汽車想要變道超車，一次性只變一個(gè)車道，這樣的場(chǎng)景發(fā)生的概率很高，基本上每 10 公里就會(huì)發(fā)生一次;場(chǎng)景 B 中，這輛汽車在超車時(shí)跨越了兩個(gè)車道，這種場(chǎng)景發(fā)生的概率相比前者低，大概每 30 公里發(fā)生一次。

　　將上述兩個(gè)常見的場(chǎng)景參數(shù)進(jìn)行一定的隨機(jī)調(diào)整，就能衍生出變種的場(chǎng)景。比如場(chǎng)景 Ax 和場(chǎng)景 Bx，這兩種場(chǎng)景都十分罕見， 1 萬(wàn)公里可能才會(huì)發(fā)生一次，這也意味著這些場(chǎng)景更加危險(xiǎn)，因?yàn)闊o(wú)人駕駛開發(fā)公司在路測(cè)時(shí)，不一定能收集到這樣的場(chǎng)景。

　　通過(guò)這種隨機(jī)參數(shù)化的方式來(lái)衍生出常規(guī)場(chǎng)景的變種場(chǎng)景，擴(kuò)大測(cè)試的場(chǎng)景范圍，才有可能進(jìn)一步覆蓋我們從未遇到過(guò)的風(fēng)險(xiǎn)。同時(shí)，我們可以在多個(gè)機(jī)器上一起并行測(cè)試，大大提升驗(yàn)證的效率。

　　那么，我們?cè)趺礃尤?yīng)對(duì)諸如此類的場(chǎng)景變化?

　　正如上述提到的增加隨機(jī)參數(shù)的方式，我們推出了一種類似 Python 腳本的高級(jí)場(chǎng)景定義語(yǔ)言 HSDL。通過(guò)這種語(yǔ)言我們可以定義一些簡(jiǎn)單的行為，然后通過(guò)組合方式，將它們結(jié)合成復(fù)雜的場(chǎng)景。目前，這種語(yǔ)言也在積極地為 ASAM OpenScenario 2.0 做貢獻(xiàn)。

　　下圖是我們基于一個(gè)場(chǎng)景，通過(guò) HSDL 語(yǔ)言對(duì)該場(chǎng)景進(jìn)行多次隨機(jī)化變化生成的多個(gè)場(chǎng)景。在多次執(zhí)行中，汽車的位置、所處的地形、面臨的天氣情況都不相同，許多的變化是我們?cè)谧铋_始編寫場(chǎng)景時(shí)沒有預(yù)料過(guò)的。

　　通過(guò)這種方式來(lái)不斷地改進(jìn)算法，提升無(wú)人駕駛算法的可靠性，最終形成開發(fā)流程的閉環(huán)。

　　三、計(jì)算規(guī)模的問(wèn)題

　　涉及到隨機(jī)的參數(shù)變化，我們就需要思考計(jì)算規(guī)模的問(wèn)題。

　　從我們的經(jīng)驗(yàn)來(lái)看，每個(gè)場(chǎng)景都需要經(jīng)歷多次隨機(jī)變化才能保證覆蓋，衍生出來(lái)的場(chǎng)景數(shù)量基本上是在 10 的二次方級(jí)別，當(dāng)然也有可能更高。

　　那假如我們有 100 個(gè)基本測(cè)試場(chǎng)景，那么，總的需要測(cè)試的場(chǎng)景(加上衍生場(chǎng)景)大概有 100 萬(wàn)個(gè)。假如每個(gè)場(chǎng)景每次測(cè)試 15 秒，那么，總的測(cè)試時(shí)間大概在 40 萬(wàn)個(gè)小時(shí)左右。如果有 400 套像 Constellation 這樣的設(shè)備，那么，就可以在 1000 個(gè)小時(shí)之內(nèi)完成所有的驗(yàn)證任務(wù)。

　　如此大的計(jì)算規(guī)模需要在產(chǎn)品中加入數(shù)據(jù)中心的工作流程，幫助用戶來(lái)解決大規(guī)模集群的調(diào)度工作，以及仿真驗(yàn)證任務(wù)的分發(fā)工作。

　　目前，英偉達(dá)已經(jīng)研發(fā)了 drive constellation cloud 集群化管理工具，用戶首先可以提交任務(wù)，隨后，系統(tǒng)會(huì)自動(dòng)將這些任務(wù)切分，分發(fā)到集群中數(shù)百臺(tái)機(jī)器上，同時(shí)進(jìn)行運(yùn)行。任務(wù)運(yùn)行完以后，所有數(shù)據(jù)自動(dòng)收集起來(lái)，然后存放到分布式存儲(chǔ)中進(jìn)行統(tǒng)一匯總，方便開發(fā)工程師取用。

　　最后我們來(lái)討論一個(gè)問(wèn)題。

　　目前，我們認(rèn)為有兩種主要的辦法來(lái)對(duì)感知進(jìn)行驗(yàn)證，一種是 Replay，即在路面采集的數(shù)據(jù)記錄下來(lái)，然后在最終驗(yàn)證時(shí)進(jìn)行回放;另一種是 Simulation。

　　前一種辦法的優(yōu)勢(shì)就在于，這些收集到的數(shù)據(jù)都是來(lái)自真實(shí)世界里傳感器的數(shù)據(jù)，時(shí)間準(zhǔn)確度也比較好。但同樣是因?yàn)檫@一點(diǎn)，我們沒有辦法控制輸出的信號(hào)。也就是說(shuō)，這種辦法只能進(jìn)行開環(huán)驗(yàn)證，基本上不能做閉環(huán)驗(yàn)證，而且成本也很高。

　　盡管 Simulation 在對(duì)真實(shí)世界的感知上不如 Replay，但它在很大程度上彌補(bǔ)了 Replay 的上述短板。為了讓 Simulation 變得真實(shí)，英偉達(dá)已經(jīng)開發(fā)了效果更佳的渲染引擎。

　　好，我今天給大家分享的內(nèi)容就是這些，感謝大家。

　　接下來(lái)是 Q&A 環(huán)節(jié)：

　　1. 激光雷達(dá)的反射值是怎么模擬的?

　　我們?cè)跇?gòu)建靜態(tài)場(chǎng)景的時(shí)候就會(huì)賦予物體一些材質(zhì)屬性，使得光線追蹤算法可以模擬激光的物理反射。經(jīng)過(guò)對(duì)物體材質(zhì)屬性的計(jì)算，最終我們可以得到一個(gè)相對(duì)準(zhǔn)確的反射值，甚至可以模擬出同一個(gè)激光雷達(dá)的多次反射和接收。

　　2. 傳感器仿真的真實(shí)度如何評(píng)估?

　　我們會(huì)進(jìn)行對(duì)比測(cè)試。通過(guò)神經(jīng)網(wǎng)絡(luò)模型直接來(lái)評(píng)估仿真圖像的真實(shí)度，基本上是難以量化的。但我們可以通過(guò)神經(jīng)網(wǎng)絡(luò)模型或是其他算法，來(lái)間接評(píng)判我們仿真的真實(shí)度。如果仿真模型的特性與真實(shí)采集到的數(shù)據(jù)基本一致，那么傳感器仿真的真實(shí)度就比較高。

　　3. 仿真的數(shù)據(jù)庫(kù)場(chǎng)景從哪里來(lái)?

　　英偉達(dá)內(nèi)部使用的數(shù)據(jù)場(chǎng)景庫(kù)，一方面是基于我們對(duì) ODD 的解析，比如在做無(wú)人駕駛的時(shí)候，針對(duì)定義的需求來(lái)構(gòu)建場(chǎng)景;另一方面是來(lái)自一些公開的場(chǎng)景庫(kù)，使用 HSDL 語(yǔ)言將不同的場(chǎng)景隨機(jī)組合起來(lái)，生成更多的場(chǎng)景。

　　4. 如何保證交通流模擬，車輛軌跡和行為的仿真性?

　　簡(jiǎn)單來(lái)說(shuō)也是通過(guò) HSDL 語(yǔ)言來(lái)實(shí)現(xiàn)。但是由于每輛車的行為都是隨機(jī)發(fā)生的，如果要確保這些行為的合理性，我們就要對(duì)隨機(jī)變量的范圍進(jìn)行控制和調(diào)整。在一開始的時(shí)候，這個(gè)范圍可能會(huì)過(guò)大或者過(guò)小，從而影響仿真的場(chǎng)景的真實(shí)性，所以，我們需要逐步優(yōu)化這個(gè)過(guò)程，對(duì)隨機(jī)參數(shù)進(jìn)行手動(dòng)的推理和調(diào)整。

　　5. 仿真場(chǎng)景中，哪些在 SIL 中測(cè)，哪些在 HIL 中測(cè)?

　　我們的基本邏輯是，盡量在 SIL 中測(cè)，因?yàn)?SIL 跑得比較快，剩下一小部分有代表性的在 HIL 中測(cè)。所以，剛剛提到的通過(guò) HSDL 語(yǔ)言合成的場(chǎng)景主要也是以 SIL 測(cè)試為主。 HSDL 的發(fā)布時(shí)間在很大程度上取決于今年下半年 ASAM OpenScenario 2.0 的推進(jìn)情況。

　　6. 高精地圖導(dǎo)入時(shí)怎么解決偏轉(zhuǎn)的問(wèn)題?

　　其實(shí)我們?cè)谕七M(jìn)項(xiàng)目的過(guò)程中確實(shí)遇到了偏轉(zhuǎn)的問(wèn)題，但由于英偉達(dá)是外資公司，很難拿到中國(guó)的無(wú)偏高清地圖。所以，我們干脆不假設(shè)自己可以拿到無(wú)偏高精地圖，我們會(huì)將中國(guó)特有的場(chǎng)景，以及一些影響駕駛的交通元素合成一個(gè)地圖。盡管這個(gè)地圖在真實(shí)世界不存在，但與駕駛相關(guān)的元素，比如說(shuō)紅綠燈，交通信號(hào)牌或車道線，都符合真實(shí)世界的法律法規(guī)，所以我們的項(xiàng)目得以正常推進(jìn)。
　?。?a href="http://www.nasamidwest.com/wechat/">邯鄲做小程序）