微軟宣布開(kāi)源其大型的預(yù)訓(xùn)練對(duì)話語(yǔ)言模型 Grounded Open Dialogue Language Model (GODEL)。根據(jù)介紹，GODEL 引入了一類(lèi)新的預(yù)訓(xùn)練語(yǔ)言模型，可以實(shí)現(xiàn)面向任務(wù)的對(duì)話和社交對(duì)話，并通過(guò)其響應(yīng)的有用性進(jìn)行評(píng)估。

　　GODEL 的前身 DialogGPT 是微軟于 2019 年發(fā)布的首個(gè)專(zhuān)門(mén)為對(duì)話設(shè)計(jì)的大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型，有助于使對(duì)話式 AI 更易于訪問(wèn)和使用。與 DialoGPT 相比，GODEL 利用了新階段的基礎(chǔ)預(yù)訓(xùn)練，旨在更好地支持需要當(dāng)前對(duì)話外部信息(如數(shù)據(jù)庫(kù)或文件)來(lái)產(chǎn)生良好反應(yīng)的微調(diào)階段。

　　GODEL 的主要特點(diǎn)之一是它為用戶提供了定義其模型基礎(chǔ)的靈活性，這種靈活性主要體現(xiàn)在 GODEL 在不同對(duì)話環(huán)境中的通用性。例如，如果有人詢問(wèn)當(dāng)?shù)氐囊患也宛^，GODEL 將能夠提供具體而準(zhǔn)確的回答，即使這個(gè)地方可能不包括在用于訓(xùn)練它的數(shù)據(jù)中。

　　另一個(gè)主要特點(diǎn)是其廣泛的對(duì)話應(yīng)用程序。GODEL 可以應(yīng)用于各種對(duì)話，包括面向任務(wù)、問(wèn)答和基礎(chǔ)聊天的對(duì)話。在同一次對(duì)話中，GODEL 可以針對(duì)各種查詢類(lèi)型產(chǎn)生合理的響應(yīng)，包括一般性問(wèn)題或?qū)μ囟ú僮鞯恼?qǐng)求。微軟方面稱(chēng)，其論文結(jié)果表明，GODEL 的回答也被評(píng)估為是有幫助的。“我們將我們的模型與幾個(gè)強(qiáng)大的 baselines 和最先進(jìn)的方法進(jìn)行了比較，并表明 GODEL 在人工和自動(dòng)評(píng)估方面都具有優(yōu)勢(shì)。”

　　目前，微軟已經(jīng)將 GODEL 完全開(kāi)源提供;包含三個(gè)不同的版本：base、large 和 extra-large。并提供了重新訓(xùn)練所有預(yù)訓(xùn)練模型和為特定任務(wù)微調(diào)模型所需的代碼：用于對(duì)話式問(wèn)答的 CoQA 數(shù)據(jù)集;Wizard of Wikipedia 和 Wizard of the Internet 數(shù)據(jù)集，用于尋求信息的聊天;MultiWOZ 用于任務(wù)完成對(duì)話。

　　“我們希望 GODEL 能夠幫助眾多學(xué)術(shù)研究團(tuán)隊(duì)通過(guò)創(chuàng)新的對(duì)話模型推進(jìn)對(duì)話式人工智能領(lǐng)域，同時(shí)消除對(duì)大量 GPU 資源的需求。我們計(jì)劃不斷改進(jìn) GODEL，并向研究界提供更多的模型。”
　　（邯鄲小程序開(kāi)發(fā)）

工信部最新數(shù)據(jù)顯示千兆...

嫦娥五號(hào)月壤樣品中首次...