不會(huì)造超算的車企不是好的自動(dòng)駕駛企業(yè)?這句話看來不是玩笑。近日，特斯拉公布了新型超級(jí)計(jì)算機(jī)，就每秒浮點(diǎn)運(yùn)算 ( FLOPS)而言，它是世界上排名第五的超級(jí)計(jì)算機(jī)。新機(jī)器是特斯拉的第三個(gè)超級(jí)計(jì)算機(jī)集群，為還未發(fā)布的超級(jí)計(jì)算機(jī)Dojo(Dojo發(fā)音源自日語，意為 “道場”)的開發(fā)原型版本。一切順利的話，超級(jí)計(jì)算機(jī)Dojo將超越目前世界排名第一的日本超級(jí)計(jì)算機(jī)富岳(Fugaku，富士山的別名)。

　　以上消息來自特斯拉人工智能與自動(dòng)駕駛視覺總監(jiān)(Director of AI and Autopilot Vision) Andrej Karpathy 在2021 年計(jì)算機(jī)視覺和模式識(shí)別會(huì)議 (CVPR 2021)上所作的報(bào)告。在2019年的特斯拉自動(dòng)駕駛開放日(Autonomy Day)上，特斯拉CEO馬斯克曾“劇透”了Dojo項(xiàng)目——專門用于大規(guī)模的圖像和視頻數(shù)據(jù)處理，其浮點(diǎn)運(yùn)算能力達(dá)到了exaflop級(jí)別，也就是每秒運(yùn)算百億億次。

　　Karpathy談?wù)撔碌某?jí)計(jì)算機(jī)(37:46)

　　超級(jí)計(jì)算機(jī)(Super computer)通常是體量巨大、造價(jià)高昂的設(shè)備，擁有數(shù)以萬計(jì)的處理器，旨在執(zhí)行專業(yè)性強(qiáng)、計(jì)算密集型的任務(wù)，可完成極端尺度的宇宙模擬、為藥物反應(yīng)預(yù)測尋找新途徑、發(fā)現(xiàn)可用于制造高效有機(jī)太陽能電池的新材料等任務(wù)，應(yīng)用于人工智能、生物醫(yī)藥和智慧城市建設(shè)等多個(gè)領(lǐng)域。

　　Andrej Karpathy是計(jì)算機(jī)視覺和深度學(xué)習(xí)領(lǐng)域的頂級(jí)專家之一，博士畢業(yè)于斯坦福AI實(shí)驗(yàn)室，師從華人AI學(xué)者李飛飛。Karpathy的主要研究方向是卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，自然語言處理，以及其在計(jì)算機(jī)視覺上的應(yīng)用。

　　Karpathy表示，“我們展示的是使用720個(gè)80GB版本的8x A100節(jié)點(diǎn)構(gòu)建的集群。這是一臺(tái)巨大的超級(jí)計(jì)算機(jī)，就每秒浮點(diǎn)(FLOPS)運(yùn)算次數(shù)而言，我認(rèn)為它可能是全球第五的超級(jí)計(jì)算機(jī)。第五位目前由英偉達(dá)公司的 Selene 集群占據(jù)，該集群擁有非常相似的架構(gòu)和類似的 GPU 數(shù)量(4480 對(duì)我們的 5760，所以少一點(diǎn))”。

　　他于論壇中展示了它的三個(gè)集群之一的照片，并公布了新超級(jí)計(jì)算機(jī)的能力：總算力達(dá)1.8 EFLOPS(EFLOPS指每秒百億億次浮點(diǎn)運(yùn)算)，由5760個(gè)算力為321TFLOPS(TFLOPS指每秒萬億次浮點(diǎn)運(yùn)算)的A100顯卡組成720個(gè)節(jié)點(diǎn)，有10PB的存儲(chǔ)空間，讀寫速度為1.6TBps。

　　· 720 nodes of 8x A100 80GB. (5760 GPUs total)

　　· 1.8 EFLOPS (720 nodes * 312 TFLOPS-FP16-A100 * 8 gpu / nodes)

　　· 10 PB of “hot tier” NVME storage @ 1.6 TBps

　　· 640 Tbps of total switching capacity

　　
 

　　一家汽車生產(chǎn)商為什么要做超級(jí)計(jì)算機(jī)?

　　Karpathy 解釋道，如果想要讓計(jì)算機(jī)以人類的方式對(duì)新環(huán)境做出反應(yīng)，這需要一個(gè)巨大的數(shù)據(jù)集，以及超級(jí)計(jì)算機(jī)的處理能力，從而利用從整個(gè)車隊(duì)收集來的數(shù)據(jù)訓(xùn)練和改進(jìn)特斯拉自動(dòng)駕駛儀 (Autopilot)和為下一代自動(dòng)駕駛?cè)斯ぶ悄?AI)提供動(dòng)力的神經(jīng)網(wǎng)絡(luò)。

　　而在所有自動(dòng)駕駛公司中，特斯拉尤為需要超級(jí)計(jì)算機(jī)。

　　因?yàn)轳R斯克主張采用純視覺的自動(dòng)駕駛方法，其依靠攝像頭和機(jī)器學(xué)習(xí)來支持其高級(jí)駕駛輔助系統(tǒng)和自動(dòng)駕駛，而非采用激光雷達(dá)(LiDAR)、攝像頭和雷達(dá)。在純視覺自動(dòng)駕駛方法下想改進(jìn)這套自動(dòng)駕駛AI達(dá)到足夠的可靠性，自研適應(yīng)計(jì)算需要的超級(jí)計(jì)算機(jī)便極為必要。

　　
 

　　Dojo 將配合無監(jiān)督學(xué)習(xí)算法(unsupervised learning，即無需人工對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行標(biāo)注，系統(tǒng)可以自行根據(jù)樣本間的統(tǒng)計(jì)規(guī)律對(duì)樣本集進(jìn)行分析。如不給任何額外提示的情況下，僅依據(jù)一定數(shù)量“狗”的圖片特征，將“狗”的圖片區(qū)分出來)，來減少特斯拉對(duì)于數(shù)據(jù)人工標(biāo)注的工作量，進(jìn)而幫助其數(shù)據(jù)訓(xùn)練效率實(shí)現(xiàn)指數(shù)級(jí)提升。

　　“Dojo使用我們自己的芯片和針對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練而優(yōu)化的計(jì)算機(jī)架構(gòu)，而不是GPU集群。如果我沒弄錯(cuò)，這將是世界上最好的，”馬斯克2019年如是稱。

　　2020年，馬斯克在推特(Twitter)發(fā)文表示，特斯拉的Dojo超級(jí)計(jì)算機(jī)能夠?qū)崿F(xiàn)每秒千萬億次浮點(diǎn)運(yùn)算(1000 PFLOPS)，這將使得Dojo成為一款真正的尖端超級(jí)計(jì)算機(jī)。馬斯克稱，特斯拉未來的Dojo超級(jí)計(jì)算機(jī)算力將要達(dá)到每秒鐘exaFLOP(百億億次,是千萬億次PFLOPS的1000倍)的級(jí)別，并且運(yùn)算速度要超過富岳(Fugaku)，成為世界第一。

　　2020超級(jí)計(jì)算大會(huì)(SC20)的測算數(shù)據(jù)顯示，日本的富岳是世界上速度最快的超級(jí)計(jì)算機(jī)，浮點(diǎn)計(jì)算的峰值速度達(dá)到442PFLOPS(PFLOPS指的是每秒1千萬億次浮點(diǎn)運(yùn)算)，最高性能超過1000 PFLOPS。

　　
 

　　2020超級(jí)計(jì)算大會(huì)(SC20)：日本超級(jí)計(jì)算機(jī)“富岳”世界第一，美國的 Summit 位列第二，第三是美國的Sierra，第四為中國的“神威·太湖之光” ，第五位是美國的Selene。