Dojo超級(jí)計(jì)算機(jī)對(duì)特斯拉的重要性正在與日俱增。

　　對(duì)于馬斯克來說，Dojo不僅僅是特斯拉用來在云端訓(xùn)練自動(dòng)駕駛模型的超級(jí)計(jì)算機(jī)，實(shí)際上，它已經(jīng)成為馬斯克商業(yè)帝國下AI業(yè)務(wù)的基石。

　　大摩此前甚至將Dojo比喻為“特斯拉的AWS”，認(rèn)為其將成為特斯拉未來最大的價(jià)值驅(qū)動(dòng)因素。

　　在馬斯克宏偉的AI藍(lán)圖中，Dojo到底起到怎樣的作用?日前，科技媒體TechCrunch記者Rebecca Bellan發(fā)布深度報(bào)道《Tesla Dojo: Elon Musk’s big plan to build an AI supercomputer, explained》，以Dojo為出發(fā)點(diǎn)，詳細(xì)解釋了馬斯克的AI計(jì)劃。

　　以下是文章亮點(diǎn)：

　　1、特斯拉的純視覺路徑(僅依靠攝像頭而非傳感器來捕捉數(shù)據(jù))是其需要超級(jí)計(jì)算機(jī)的主要原因。

　　2、特斯拉的目標(biāo)是在接下來的大約18個(gè)月內(nèi)實(shí)現(xiàn)“半特斯拉AI硬件，半英偉達(dá)/其他”，“其他”可能是AMD芯片。

　　3、Dojo計(jì)劃的核心是特斯拉的專有D1芯片，這意味著特斯拉將來可能不必依賴英偉達(dá)的芯片，低成本就可以獲取大量算力。

　　4、Dojo芯片是特斯拉的保險(xiǎn)單，可能會(huì)帶來紅利。

　　5、預(yù)計(jì)到今年10月，Dojo的總算力將達(dá)到100 exaflops，約等于320500塊英偉達(dá) A100 GPU的算力水平;預(yù)計(jì)今年年底前，Dojo1將實(shí)現(xiàn)與約8000塊H100等效的在線訓(xùn)練。

　　文章全文如下：

　　多年來，埃隆·馬斯克一直在談?wù)揇ojo——這是將成為特斯拉人工智能雄心基石的人工智能超級(jí)計(jì)算機(jī)。這個(gè)項(xiàng)目對(duì)馬斯克來說非常重要，他最近表示，隨著特斯拉準(zhǔn)備在10月公布其robotaxi，公司的人工智能團(tuán)隊(duì)將“加倍發(fā)力”推進(jìn)Dojo項(xiàng)目。

　　但Dojo究竟是什么?它對(duì)特斯拉的長期戰(zhàn)略為何如此關(guān)鍵?

　　簡而言之：Dojo是特斯拉定制構(gòu)建的超級(jí)計(jì)算機(jī)，旨在訓(xùn)練其“全自動(dòng)駕駛”的神經(jīng)網(wǎng)絡(luò)。提升Dojo與特斯拉實(shí)現(xiàn)全自動(dòng)駕駛并將robotaxi推向市場的目標(biāo)密切相關(guān)。FSD目前在大約200萬輛特斯拉汽車上，可以執(zhí)行一些自動(dòng)化駕駛?cè)蝿?wù)，但仍然需要人類在駕駛座保持注意力。

　　特斯拉將原定于8月公布其robotaxi的時(shí)間推遲到了10月，但無論是馬斯克的公開言論還是特斯拉內(nèi)部的消息源都告訴我們，自動(dòng)駕駛的目標(biāo)并未消失。

　　特斯拉似乎正準(zhǔn)備在人工智能和Dojo上投入巨資以實(shí)現(xiàn)這一壯舉。

　　特斯拉Dojo背后的故事

　　馬斯克不希望特斯拉僅僅是一家汽車制造商，或不僅僅是太陽能電池板和能源存儲(chǔ)系統(tǒng)的提供商。相反，他希望特斯拉成為一家人工智能公司，一家通過模仿人類感知來破解自動(dòng)駕駛汽車代碼的公司。

　　大多數(shù)其他開發(fā)自動(dòng)駕駛汽車技術(shù)的公司都依賴傳感器的組合來感知世界(比如激光雷達(dá)、雷達(dá)和攝像頭)以及高清晰度地圖來定位車輛。特斯拉相信，它可以僅依靠攝像頭來捕捉視覺數(shù)據(jù)，然后使用先進(jìn)的神經(jīng)網(wǎng)絡(luò)來處理這些數(shù)據(jù)，并快速?zèng)Q定汽車應(yīng)該如何表現(xiàn)。

　　正如特斯拉前人工智能主管Andrej Karpathy在2021年該公司的首次AI Day上所說，公司基本上正在嘗試“從頭開始構(gòu)建一個(gè)合成生物”。(馬斯克自2019年以來一直在預(yù)告Dojo，但特斯拉在AI Day正式宣布了它。)

　　像Alphabet的Waymo這樣的公司，已經(jīng)通過更傳統(tǒng)的傳感器和機(jī)器學(xué)習(xí)方法，實(shí)現(xiàn)了4級(jí)自動(dòng)駕駛汽車的商業(yè)化——SAE將其定義為在特定條件下無需人類干預(yù)即可自行駕駛的系統(tǒng)。而特斯拉至今還未生產(chǎn)出一個(gè)不需要人類參與的自動(dòng)駕駛系統(tǒng)。

　　大約有180萬人為特斯拉的FSD支付了高昂的訂閱費(fèi)，目前其價(jià)格為8000美元，最高時(shí)定價(jià)為15000美元。推銷的點(diǎn)是，經(jīng)過Dojo訓(xùn)練的人工智能軟件最終將通過隔空更新推送給特斯拉客戶。FSD的規(guī)模也意味著特斯拉已經(jīng)能夠收集到數(shù)百萬英里的視頻片段，用于訓(xùn)練FSD。這意味著，特斯拉能夠收集的數(shù)據(jù)越多，這家汽車制造商就越接近實(shí)現(xiàn)真正的全自動(dòng)駕駛。

　　然而，一些行業(yè)專家表示，簡單地向模型投入更多數(shù)據(jù)并期望它變得更聰明的方法可能存在局限性。

　　“首先，存在經(jīng)濟(jì)限制，這樣做很快就會(huì)變得成本過高，”普渡大學(xué)硅谷電子與計(jì)算機(jī)工程教授Anand Raghunathan對(duì)TechCrunch表示。他進(jìn)一步說，“有聲音說我們實(shí)際上可能會(huì)耗盡有意義數(shù)據(jù)來訓(xùn)練模型。更多的數(shù)據(jù)并不一定意味著更多的信息，所以這取決于那些數(shù)據(jù)是否包含有用信息來創(chuàng)建一個(gè)更好的模型，以及訓(xùn)練過程是否能夠真正將這些信息提煉成更好的模型。”

　　Raghunathan說，盡管有這些疑慮，但至少在短期內(nèi)，數(shù)據(jù)似乎會(huì)更多。更多的數(shù)據(jù)意味著需要更多的算力來存儲(chǔ)和處理，以訓(xùn)練特斯拉的AI模型。這就是超級(jí)計(jì)算機(jī)Dojo的用武之地。

　　什么是超級(jí)計(jì)算機(jī)?

　　Dojo是特斯拉設(shè)計(jì)的超級(jí)計(jì)算機(jī)系統(tǒng)，用作人工智能，特別是FSD的訓(xùn)練場。這個(gè)名字是對(duì)武術(shù)練習(xí)道場的致敬。

　　超級(jí)計(jì)算機(jī)由數(shù)千臺(tái)稱為節(jié)點(diǎn)的小型計(jì)算機(jī)組成。這些節(jié)點(diǎn)各自擁有自己的CPU(中央處理單元)和GPU(圖形處理單元)。前者負(fù)責(zé)節(jié)點(diǎn)的總體管理，后者則處理復(fù)雜的事情，比如將任務(wù)分割成多個(gè)部分并同時(shí)進(jìn)行處理。GPU對(duì)機(jī)器學(xué)習(xí)操作至關(guān)重要，就像它們支持FSD訓(xùn)練模擬一樣。它們還支持大型語言模型，這就是為什么生成式AI的崛起使得英偉達(dá)成為地球上最有價(jià)值的公司。

　　甚至特斯拉也購買英偉達(dá)的GPU來訓(xùn)練其人工智能(這是后話)。

　　為什么特斯拉需要超級(jí)計(jì)算機(jī)?

　　特斯拉的純視覺路徑是其需要超級(jí)計(jì)算機(jī)的主要原因。FSD背后的神經(jīng)網(wǎng)絡(luò)是在大量駕駛數(shù)據(jù)上訓(xùn)練的，以識(shí)別和分類車輛周圍的物體，然后做出駕駛決策。這意味著當(dāng)FSD啟動(dòng)時(shí)，神經(jīng)網(wǎng)絡(luò)必須連續(xù)不斷地收集和處理視覺數(shù)據(jù)，速度要與人類深度和速度識(shí)別能力相匹配。

　　換句話說，特斯拉想要?jiǎng)?chuàng)造一個(gè)數(shù)字版的人類視覺皮層和大腦功能。

　　為了達(dá)到這個(gè)目標(biāo)，特斯拉需要存儲(chǔ)和處理從世界各地的汽車收集的所有視頻數(shù)據(jù)，并運(yùn)行數(shù)百萬次模擬來訓(xùn)練其模型上的數(shù)據(jù)。

　　特斯拉似乎依賴英偉達(dá)為其當(dāng)前Dojo訓(xùn)練計(jì)算機(jī)提供動(dòng)力，但它不想把所有雞蛋放在一個(gè)籃子里——尤其是因?yàn)橛ミ_(dá)芯片價(jià)格昂貴。特斯拉還希望制造出更好的東西，增加帶寬并減少延遲。這就是為什么這家汽車制造商的AI部門決定提出自己的定制硬件計(jì)劃，該計(jì)劃旨在比傳統(tǒng)系統(tǒng)更有效地訓(xùn)練AI模型。

　　該計(jì)劃的核心是特斯拉的專有D1芯片，該公司表示這些芯片已針對(duì)AI工作負(fù)載進(jìn)行了優(yōu)化。

　　更多關(guān)于這些芯片的信息

　　特斯拉與蘋果持有類似的觀點(diǎn)，即認(rèn)為硬件和軟件應(yīng)該被設(shè)計(jì)為一起工作。這就是為什么特斯拉正在努力擺脫標(biāo)準(zhǔn)GPU硬件、設(shè)計(jì)自己的芯片來驅(qū)動(dòng)Dojo。

　　特斯拉在2021年的AI Day上展示了其D1芯片，這是一個(gè)手掌大小的硅方塊。截至今年5月，D1芯片已經(jīng)投入生產(chǎn)。中國臺(tái)灣半導(dǎo)體制造公司臺(tái)積電正在使用7納米制程工藝制造這些芯片。根據(jù)特斯拉的說法，D1擁有500億個(gè)晶體管和一個(gè)645平方毫米的大尺寸，這一切都在說D1承諾將非常強(qiáng)大和高效，并能夠快速處理復(fù)雜任務(wù)。

　　“我們可以同時(shí)進(jìn)行計(jì)算和數(shù)據(jù)傳輸，我們的定制ISA(指令集架構(gòu))完全針對(duì)機(jī)器學(xué)習(xí)工作負(fù)載進(jìn)行了優(yōu)化，”特斯拉前自動(dòng)駕駛硬件高級(jí)總監(jiān)甘尼什·文卡塔拉曼在2021年特斯拉AI Day上說。“這是一個(gè)純粹的機(jī)器學(xué)習(xí)機(jī)器。”

　　盡管如此，D1芯片仍然不如英偉達(dá)的A100芯片強(qiáng)大，后者也是由臺(tái)積電使用7納米工藝制造的。A100擁有540億個(gè)晶體管，尺寸為826平方毫米，所以在性能上略勝于特斯拉的D1。

　　為了獲得更高的帶寬和計(jì)算能力，特斯拉的AI團(tuán)隊(duì)將25個(gè)D1芯片融合在一起形成一個(gè)區(qū)塊，作為一個(gè)統(tǒng)一的計(jì)算機(jī)系統(tǒng)。每個(gè)區(qū)塊具有9 petaflops的計(jì)算能力和每秒36 TB的帶寬，并包含電源、冷卻和數(shù)據(jù)傳輸所需的所有硬件。你可以將這個(gè)區(qū)塊想象成一個(gè)由25臺(tái)小型計(jì)算機(jī)組成的自給自足的計(jì)算機(jī)。六個(gè)這樣的區(qū)塊組成一個(gè)機(jī)架，兩個(gè)機(jī)架組成一個(gè)機(jī)柜。十個(gè)機(jī)柜組成一個(gè)ExaPOD。在2022年的AI Day上，特斯拉表示Dojo將通過部署多個(gè)ExaPODs來擴(kuò)展。所有這些加在一起構(gòu)成了超級(jí)計(jì)算機(jī)。

　　特斯拉還在開發(fā)下一代D2芯片，旨在解決信息流瓶頸問題。D2不是連接各個(gè)芯片，而是將整個(gè)Dojo塊放置在單個(gè)硅片上。

　　特斯拉尚未確認(rèn)它已訂購或預(yù)計(jì)收貨多少D1芯片，也還沒有提供將Dojo超級(jí)計(jì)算機(jī)在D1芯片上運(yùn)行所需的時(shí)間表。

　　6月在X上的一篇帖子稱：“埃隆正在德克薩斯州建造一個(gè)巨大的GPU冷卻器”，對(duì)此，馬斯克回復(fù)說，特斯拉的目標(biāo)是在接下來的大約18個(gè)月內(nèi)實(shí)現(xiàn)“半特斯拉AI硬件，半英偉達(dá)/其他”。根據(jù)馬斯克1月的評(píng)論，“其他”可能是AMD芯片。

　　Dojo對(duì)特斯拉意味著什么?

　　控制自己的芯片生產(chǎn)意味著特斯拉有一天可能能夠以低成本快速為人工智能培訓(xùn)項(xiàng)目添加大量計(jì)算能力，特別是在特斯拉和臺(tái)積電擴(kuò)大芯片生產(chǎn)規(guī)模的情況下。

　　這也意味著特斯拉將來可能不必依賴英偉達(dá)的芯片，這些芯片的價(jià)格越來越高，也越來越難以確保。

　　在特斯拉第二季度財(cái)報(bào)電話會(huì)議上，馬斯克表示，對(duì)英偉達(dá)硬件的需求“如此之高，以至于通常很難獲得GPU。”他說，他對(duì)能夠穩(wěn)定地在需要時(shí)獲得GPU“相當(dāng)擔(dān)憂”，“因此我認(rèn)為這需要我們?cè)贒ojo上投入更多的努力，以確保我們擁有所需的培訓(xùn)能力。”

　　話雖如此，特斯拉今天仍在購買英偉達(dá)芯片來訓(xùn)練其AI。6月，馬斯克在X上發(fā)帖說：

　　“在我所說的特斯拉今年將進(jìn)行的大約100億美元與AI相關(guān)的支出中，大約一半是內(nèi)部的，主要是特斯拉設(shè)計(jì)的AI推理計(jì)算機(jī)和我們所有汽車中存在的傳感器，加上Dojo。對(duì)于構(gòu)建AI培訓(xùn)超級(jí)集群，英偉達(dá)硬件大約占到成本的2/3。我目前對(duì)特斯拉今年購買英偉達(dá)的最佳猜測是30億到40億美元。”

　　推理計(jì)算指的是特斯拉汽車實(shí)時(shí)執(zhí)行的AI計(jì)算，與Dojo負(fù)責(zé)的訓(xùn)練計(jì)算是分開的。

　　Dojo是一個(gè)冒險(xiǎn)的賭注，馬斯克通過多次表示特斯拉可能不會(huì)成功，以此來對(duì)沖這一賭注。

　　從長遠(yuǎn)來看，特斯拉理論上可以基于其AI部門創(chuàng)建一種新的商業(yè)模式。馬斯克曾表示，Dojo的第一個(gè)版本將專門為特斯拉計(jì)算機(jī)視覺標(biāo)記和培訓(xùn)量身定制，這對(duì)FSD和培訓(xùn)Optimus(特斯拉的仿人機(jī)器人)非常有利，但對(duì)其他事情沒什么用處。

　　馬斯克曾表示，Dojo的后續(xù)版本將更傾向于通用AI培訓(xùn)。與此相關(guān)的一個(gè)潛在問題是，幾乎所有現(xiàn)有的AI軟件都是為GPU編寫的。使用Dojo來訓(xùn)練通用AI模型將需要重寫軟件。

　　除非特斯拉出租其算力，類似于AWS和Azure出租云計(jì)算能力的方式。馬斯克在第二季度收益電話會(huì)議上還指出，他看到“通過Dojo與英偉達(dá)競爭的一條路”。

　　摩根士丹利在2023年9月的一份報(bào)告中預(yù)測，Dojo可以通過解鎖robotaxi和軟件服務(wù)的新收入流，為特斯拉市值增加5000億美元。

　　簡而言之，Dojo的芯片是這家汽車制造商的保險(xiǎn)單，可能會(huì)帶來紅利。

　　Dojo進(jìn)展如何?

　　路透社去年報(bào)道稱，特斯拉于2023年7月開始生產(chǎn)Dojo，但馬斯克在2023年6月的一篇文章中暗示，Dojo已經(jīng)“在線并運(yùn)行有用的任務(wù)幾個(gè)月了。”

　　大約在同一時(shí)間，特斯拉表示，預(yù)計(jì)到2024年2月，Dojo將成為最強(qiáng)大的五臺(tái)超級(jí)計(jì)算機(jī)之一——這一壯舉尚未公開披露，讓我們懷疑它是否已經(jīng)發(fā)生。

　　該公司還預(yù)計(jì)，到2024年10月，Dojo的總算力將達(dá)到100 exaflops。(1 exaflop等于每秒1千萬億次計(jì)算機(jī)操作。要達(dá)到100 exaflops，假設(shè)一塊D1能達(dá)到362 teraflops，特斯拉將需要超過276,000塊D1，或大約320,500塊英偉達(dá) A100 GPU。)

　　特斯拉還在2024年1月承諾投資5億美元，在紐約州布法羅的超級(jí)工廠建造一臺(tái)Dojo超級(jí)計(jì)算機(jī)。

　　2024年5月，馬斯克指出，特斯拉奧斯汀超級(jí)工廠的后部將保留用于“超密集的水冷超級(jí)計(jì)算機(jī)集群”。

　　就在特斯拉二季度財(cái)報(bào)電話會(huì)議后，馬斯克在X上發(fā)帖稱，這家汽車制造商的AI團(tuán)隊(duì)正在使用特斯拉HW4 AI計(jì)算機(jī)(更名為AI4)，這是特斯拉汽車中的硬件，存在于英偉達(dá)GPU的訓(xùn)練循環(huán)中。他指出，細(xì)分大約是90,000個(gè)英偉達(dá)的H100加上40,000臺(tái)AI4計(jì)算機(jī)。

　　他繼續(xù)說：“Dojo1將在今年年底前實(shí)現(xiàn)與約8,000塊H100等效的在線訓(xùn)練。不是很多，但也不少。”