【烽巢網(wǎng)】

語(yǔ)言生成是目前人工智能領(lǐng)域最熱門(mén)的東西，從改進(jìn)谷歌的搜索引擎到創(chuàng)建基于文本的幻想游戲，有一類(lèi)系統(tǒng)被稱(chēng)為“大型語(yǔ)言模型”(LLMs)。但這些項(xiàng)目也存在嚴(yán)重的問(wèn)題，包括重復(fù)使用性別歧視和種族主義語(yǔ)言，以及未能通過(guò)邏輯推理測(cè)試。一個(gè)很大的問(wèn)題是:這些弱點(diǎn)可以通過(guò)簡(jiǎn)單地增加更多的數(shù)據(jù)和計(jì)算能力來(lái)改善嗎?或者我們已經(jīng)達(dá)到了這種技術(shù)范式的極限?

這是Alphabet的人工智能實(shí)驗(yàn)室DeepMind在今天發(fā)表的三篇研究論文中要解決的問(wèn)題之一。該公司的結(jié)論是，進(jìn)一步擴(kuò)大這些系統(tǒng)應(yīng)該會(huì)帶來(lái)大量的改進(jìn)?！斑@篇論文的一個(gè)關(guān)鍵發(fā)現(xiàn)是，大型語(yǔ)言模型的進(jìn)展和能力仍在增加。這一領(lǐng)域并沒(méi)有停滯不前，”DeepMind研究科學(xué)家杰克·雷在一次新聞發(fā)布會(huì)上告訴記者。

DeepMind定期將其工作輸入到谷歌產(chǎn)品中，并通過(guò)建立一個(gè)名為Gopher的具有2800億個(gè)參數(shù)的語(yǔ)言模型來(lái)探索這種llm的功能。參數(shù)可以快速衡量一種語(yǔ)言模型的大小和復(fù)雜性，這意味著Gopher比OpenAI的GPT-3(1750億個(gè)參數(shù))大，但沒(méi)有一些更具實(shí)驗(yàn)性的系統(tǒng)大，比如微軟和英偉達(dá)的威斯特天模型(5300億個(gè)參數(shù))。

在人工智能領(lǐng)域，越大越好通常是事實(shí)，更大的模型通常提供更高的性能。DeepMind的研究證實(shí)了這一趨勢(shì)，并表明，在情感分析和總結(jié)等最常見(jiàn)的基準(zhǔn)測(cè)試中，擴(kuò)展llm確實(shí)可以提高性能。然而，研究人員也警告說(shuō)，語(yǔ)言模型的一些固有問(wèn)題需要的不僅僅是數(shù)據(jù)和計(jì)算來(lái)解決。

他說(shuō):“我認(rèn)為目前看來(lái)，這種模式確實(shí)可能以各種方式失敗?！斑@些方法中的一部分是因?yàn)槟Ｐ蛯?duì)它所讀取的內(nèi)容沒(méi)有足夠好的理解，我覺(jué)得，對(duì)于這類(lèi)問(wèn)題，我們將通過(guò)更多的數(shù)據(jù)和規(guī)?？吹叫阅艿奶岣摺！?/p>

但是，他補(bǔ)充說(shuō)，還有“其他類(lèi)別的問(wèn)題，比如長(zhǎng)期存在刻板偏見(jiàn)的模型，或者被哄騙給出謬誤的模型……DeepMind沒(méi)有人認(rèn)為規(guī)?；瘜⑹墙鉀Q方案。”他指出，在這些情況下，語(yǔ)言模型將需要“額外的訓(xùn)練程序”，比如來(lái)自人類(lèi)用戶的反饋。

為了得出這些結(jié)論，DeepMind的研究人員根據(jù)152個(gè)語(yǔ)言任務(wù)或基準(zhǔn)評(píng)估了一系列不同大小的語(yǔ)言模型。他們發(fā)現(xiàn)，較大的模型通常能提供更好的結(jié)果，而Gopher本身在科學(xué)家選擇的大約80%的測(cè)試中提供了最先進(jìn)的性能。

在另一篇論文中，該公司還調(diào)查了部署llm所涉及的各種潛在危害。這些問(wèn)題包括這些系統(tǒng)使用有毒語(yǔ)言、共享錯(cuò)誤信息的能力，以及它們可能被用于惡意目的，比如共享垃圾郵件或宣傳。隨著人工智能語(yǔ)言模型(比如聊天機(jī)器人和銷(xiāo)售代理)得到更廣泛的應(yīng)用，所有這些問(wèn)題將變得越來(lái)越重要。

然而，值得記住的是，在基準(zhǔn)測(cè)試中的表現(xiàn)并不是評(píng)估機(jī)器學(xué)習(xí)系統(tǒng)的全部和最終目標(biāo)。在最近的一篇論文中，許多人工智能研究人員(包括來(lái)自谷歌的兩名研究人員)探索了基準(zhǔn)測(cè)試的局限性，指出這些數(shù)據(jù)集的范圍總是有限的，無(wú)法與現(xiàn)實(shí)世界的復(fù)雜性相匹配。與新技術(shù)的情況一樣，測(cè)試這些系統(tǒng)的唯一可靠方法是查看它們?cè)趯?shí)際中的執(zhí)行情況。有了大型語(yǔ)言模型，我們很快就會(huì)看到更多這樣的應(yīng)用。