【烽巢網(wǎng)】

人工智能領(lǐng)域的深度學(xué)習(xí)模型越具有開創(chuàng)性，它們的規(guī)模就越大。今年最熱門的自主語言處理模型GPT-3就是一個(gè)很好的例子。為了達(dá)到像人類一樣書寫的準(zhǔn)確性和速度水平，這個(gè)模型需要1750億個(gè)參數(shù)、350 GB內(nèi)存和至少1200萬美元資金的投入。但是，除了成本之外，像這樣的大型人工智能模型還面臨一個(gè)巨大的能耗問題。

馬薩諸塞大學(xué)阿默斯特分校的研究人員發(fā)現(xiàn)，訓(xùn)練一個(gè)大型人工智能模型所需的計(jì)算能力可以產(chǎn)生超過60萬磅的二氧化碳排放——這是一輛普通汽車在其壽命內(nèi)排放量的5倍! 這些模型通常需要更多的能量來處理并生成設(shè)置(或稱為推理階段)。英偉達(dá)估計(jì)，運(yùn)行神經(jīng)網(wǎng)絡(luò)模型所產(chǎn)生的成本中，有80- 90%來自推理過程，而不是訓(xùn)練過程。

為了在人工智能領(lǐng)域取得更大的進(jìn)展，普遍觀點(diǎn)認(rèn)為，我們將不得不做出巨大的環(huán)境權(quán)衡。但事實(shí)并非如此，大型模型可以縮小到可以在日常工作站上或服務(wù)器上運(yùn)行，而不必犧牲準(zhǔn)確性和速度。

過往：計(jì)算能力平均每3.4個(gè)月翻一番

十多年前，斯坦福大學(xué)(Stanford University)的研究人員發(fā)現(xiàn)，用于驅(qū)動(dòng)視頻游戲中的圖形處理器(稱為Gpu)，可以用于深度學(xué)習(xí)模型。這一發(fā)現(xiàn)引發(fā)了一場為深度學(xué)習(xí)應(yīng)用程序創(chuàng)建越來越強(qiáng)大的專用硬件的競賽。反過來，科學(xué)家們創(chuàng)建的模型變得越來越大。其邏輯是，更大的模型會(huì)導(dǎo)致更準(zhǔn)確的結(jié)果。硬件功能越強(qiáng)大，這些機(jī)型運(yùn)行速度就越快。

OpenAI的研究證明，這一假設(shè)在該領(lǐng)域已被廣泛采用。從2012年到2018年，深度學(xué)習(xí)模型的計(jì)算能力平均每3.4個(gè)月翻一番。所以，這意味著在6年的時(shí)間里，用于人工智能的計(jì)算能力增長了驚人的30萬倍。如上所述，這種能力不僅用于訓(xùn)練算法，還可以在生成設(shè)置中使用它們。麻省理工學(xué)院(MIT)最近的一項(xiàng)研究表明，我們可能會(huì)比想象中更快地達(dá)到計(jì)算能力的上限。

更重要的是，資源的限制使得深度學(xué)習(xí)算法的使用僅限于那些有能力使用它的人。當(dāng)深度學(xué)習(xí)可以應(yīng)用于從醫(yī)學(xué)成像中檢測癌細(xì)胞到阻止在線仇恨言論的所有領(lǐng)域時(shí)，我們不能限制訪問。不過，我們也不能承受建造更大、更耗電的模型所帶來的環(huán)境后果。

未來：變得越來越小

幸運(yùn)的是，研究人員發(fā)現(xiàn)了一些新的方法來縮小深度學(xué)習(xí)模型，并通過更智能的算法來改變訓(xùn)練數(shù)據(jù)集的應(yīng)用。通過這種方式，大型模型可以在生產(chǎn)環(huán)境中以更低的能耗運(yùn)行，并且仍然可以根據(jù)用例實(shí)現(xiàn)預(yù)期的結(jié)果。

這些技術(shù)有可能使機(jī)器學(xué)習(xí)大眾化，為更多沒有數(shù)百萬美元來投資訓(xùn)練算法并將其投入生產(chǎn)的組織服務(wù)。這對于“邊緣”用例尤其重要，想想相機(jī)、汽車儀表盤、智能手機(jī)等微型設(shè)備吧，在這些用例中，大型的、專門的AI硬件在物理上是不實(shí)用的。

研究人員正在通過刪除神經(jīng)網(wǎng)絡(luò)中一些不需要的連接，或者通過簡化數(shù)學(xué)運(yùn)算來縮小模型。這些更小、更快的模型可以在任何地方運(yùn)行，其精度和性能與大型模型相似。這意味著我們不再需要爭先恐后地使用最強(qiáng)大的計(jì)算能力，從而對環(huán)境造成更大的破壞。讓大型模型變得更小、更高效是深度學(xué)習(xí)的未來。

另一個(gè)主要問題是針對不同的用例，在新的數(shù)據(jù)集上一遍又一遍地訓(xùn)練大型模型。一種叫做遷移學(xué)習(xí)的技術(shù)可以幫助防止這個(gè)問題。遷移學(xué)習(xí)使用預(yù)先訓(xùn)練的模型作為起點(diǎn)。模型的知識(shí)可以通過一個(gè)有限的數(shù)據(jù)集“轉(zhuǎn)移”到一個(gè)新的任務(wù)中，而不必從頭開始重新訓(xùn)練原始模型。這是朝著減少訓(xùn)練新模型所需的計(jì)算能力、能源和資金邁出的關(guān)鍵一步。

底線是什么?

模型可以(而且應(yīng)該)在任何可能的情況下縮小，以使用更少的計(jì)算能力。并且知識(shí)可以被回收和重用，而不是從頭開始深度學(xué)習(xí)的訓(xùn)練過程。最終，找到減少模型大小和相關(guān)計(jì)算能力的方法(在不犧牲性能或精度的情況下)將是深度學(xué)習(xí)的下一個(gè)偉大突破。通過這種方式，任何人都能夠以更低的成本在生產(chǎn)中運(yùn)行這些應(yīng)用程序，而無需在環(huán)境方面做出巨大的犧牲。當(dāng)我們把大型人工智能放在小的地方時(shí)，一切都是可能的——甚至是幫助阻止氣候變化的毀滅性影響。