這兩年AI領(lǐng)域最熱的一個詞就是大模型，全球的科技巨頭紛紛落子。為什么大模型這么熱？

我們正在經(jīng)歷第四次工業(yè)革命，核心的驅(qū)動力就是人工智能。但是在產(chǎn)業(yè)初期，不同行業(yè)、不同場景對AI的需求既復(fù)雜且碎片，同時AI人才也相對稀缺，所以很多企業(yè)靠人工去開發(fā)AI應(yīng)用，成本高、效率低、落地慢。AI成為真正的驅(qū)動力，就需要很強的通用性，這就是大模型的價值所在——大模型已成為AI領(lǐng)域軍備競賽的關(guān)鍵。

今天，百度聯(lián)合鵬城實驗室重磅發(fā)布雙方共同研發(fā)的全球首個知識增強千億大模型——鵬城-百度·文心（模型版本號：ERNIE 3.0 Titan），該模型參數(shù)規(guī)模達到2600億，相比GPT-3的參數(shù)量提升50%，在60多項任務(wù)中取得最好效果。

鵬城-百度·文心大模型的落地，讓中國在AI軍備賽中又增加一枚重要籌碼。

多方優(yōu)勢打造“核武器”

我們知道，AI取決于算力、算法、數(shù)據(jù)三個要素，而鵬城-百度·文心大模型在這三要素上都有著不可替代的領(lǐng)先性。

• 先看算力優(yōu)勢。

鵬城-百度·文心由鵬城實驗室提供算力。我們知道，AI對于算力的要求非常高，并不是每個企業(yè)都有能力搭建如此強大的算力中心，鵬城實驗室就是在這樣的背景下成立的、為行業(yè)提供強大算力的一個平臺?！谤i城云腦Ⅱ”主要提供人工智能研究必須的計算力資源、存儲資源、網(wǎng)絡(luò)資源、數(shù)據(jù)資源和研究環(huán)境，覆蓋人工智能基礎(chǔ)研究、重大應(yīng)用、操作系統(tǒng)、數(shù)據(jù)資源共享、產(chǎn)業(yè)服務(wù)等專門研究實驗領(lǐng)域。鵬城云腦Ⅱ算力集群是我國首個國產(chǎn)E級AI算力平臺，吞吐性能國際領(lǐng)先，蟬聯(lián)全系統(tǒng)輸入輸出和10節(jié)點規(guī)模系統(tǒng)兩項世界冠軍。如此強大的“鵬城云腦II”成為大模型研發(fā)的肥沃土地，文心大模型因為數(shù)據(jù)量大，對算力要求極高，所以選擇與鵬城實驗室合作。

飛槳超大模型訓(xùn)練與推理

• 再看架構(gòu)與算法優(yōu)勢。

大模型的訓(xùn)練和推理對深度學(xué)習框架帶來很大的挑戰(zhàn)，而百度自研的飛槳是國內(nèi)首個自主研發(fā)、功能豐富、開源開放的產(chǎn)業(yè)級深度學(xué)習平臺，在深度學(xué)習模型開發(fā)、訓(xùn)練、推理和部署等方面，飛槳已可比肩TensorFlow、PyTorch等國際主流框架。飛槳具備開發(fā)便捷的深度學(xué)習框架、超大規(guī)模深度學(xué)習模型訓(xùn)練技術(shù)、多端多平臺部署的高性能推理引擎、產(chǎn)業(yè)級開源模型庫四大領(lǐng)先技術(shù)。

據(jù)最新調(diào)研報告顯示，在IDC 2021年上半年深度學(xué)習框架平臺市場份額調(diào)研中，百度位列中國深度學(xué)習平臺市場綜合份額第一。百度飛槳、Google、Facebook形成鼎立格局，其中飛槳是市場三強中唯一國產(chǎn)品牌，并持續(xù)穩(wěn)步增長。市場數(shù)據(jù)顯示，飛槳企業(yè)版EasyDL連續(xù)兩年保持市場排名首位，BML百度全功能AI開發(fā)平臺顯現(xiàn)強勁增速。

飛槳的端到端自適應(yīng)分布式框架，實現(xiàn)了數(shù)據(jù)并行、模型并行、流水線并行、分組參數(shù)切片等等，使得超大規(guī)模的訓(xùn)練能夠得以有效實現(xiàn)，鵬城-百度·文心模型并行效率高達90%。

在算法上，為提升模型語言理解和生成能力，百度提出了可控學(xué)習與可信學(xué)習算法。在可控學(xué)習方面，通過將模型預(yù)測出的文本屬性和原始文本進行拼接，構(gòu)造從指定屬性生成對應(yīng)文本的預(yù)訓(xùn)練數(shù)據(jù)，模型通過對該數(shù)據(jù)的學(xué)習，實現(xiàn)不同類型的零樣本生成能力。在可信學(xué)習方面，針對模型生成結(jié)果與真實世界的事實一致性問題，通過自監(jiān)督的對抗訓(xùn)練，讓模型學(xué)習區(qū)分數(shù)據(jù)是真實的還是模型偽造的，使得模型對生成結(jié)果真實性具備判斷能力，從而讓模型可以從多個候選中選擇最可靠的生成結(jié)果，顯著提升了生成結(jié)果的可信度。

• 最后再看數(shù)據(jù)優(yōu)勢。

AI訓(xùn)練取決于數(shù)據(jù)量，數(shù)據(jù)越多訓(xùn)練出來的AI越聰明。文心大模型與眾不同之處在于除了在海量無結(jié)構(gòu)數(shù)據(jù)學(xué)習以外，還融合了大規(guī)模的知識，所以文心被稱為知識增強大模型。我們知道，知識是做搜索起家的百度的天然優(yōu)勢。該千億大模型學(xué)習了多源異構(gòu)的大規(guī)模數(shù)據(jù)與知識。百度知識增強大模型能夠從大規(guī)模知識和海量無結(jié)構(gòu)數(shù)據(jù)中融合學(xué)習，學(xué)習效率更高、效果更好，具有良好的可解釋性。

由此可見，鵬城-百度·文心大模型集合了最強算力----鵬城云腦II、最強AI架構(gòu)——百度飛槳、再結(jié)合知識增強這樣的核心特色，三方面的優(yōu)勢相結(jié)合，形成了一個重磅“核武器”，為中國AI產(chǎn)業(yè)軍備又填了一枚籌碼。

百度知識基因成就“與眾不同”

其實，這兩年在大模型熱下，全球幾大科技巨頭不斷刷新大模型的數(shù)據(jù)量上線。2017年Transformer結(jié)構(gòu)的提出，使得深度學(xué)習模型參數(shù)突破了1億，隨后模型參數(shù)一個比一個大，到了BERT網(wǎng)絡(luò)模型的提出，使得參數(shù)量首次超過3億規(guī)模，GPT-3模型超過百億，鵬城盤古實現(xiàn)千億稠密的規(guī)模，而此次百度文心參數(shù)規(guī)模達到2600億，相信這個記錄很快也會再次刷新。

大模型似乎沒有最大、只有更大。事實上，“大”只是一個相對值。AI的價值除了數(shù)據(jù)量大，還由很多方面的因素構(gòu)成，不同大模型需要有自己的特色。

在懂懂看來，鵬城-百度·文心大模型眾不同之處就在于數(shù)據(jù)與知識的結(jié)合，這也是百度的獨特優(yōu)勢所在，所以文心定位是知識增強大模型。

眾所周知，知識是人類智慧的結(jié)晶，是人類進步的重要推動力。想讓計算機像人一樣理解和認知世界，也需要讓計算機具備獲取、運用知識的能力。百度提出了知識增強大模型“文心”，突破了多源異構(gòu)數(shù)據(jù)難以統(tǒng)一表示與學(xué)習的瓶頸。文心如同站在巨人的肩膀上，訓(xùn)練效率和理解準確率大幅提升，并具備更好的可解釋性。據(jù)悉，隨著模型不斷進展，現(xiàn)在不僅能做理解，還能做生成，比如說要做知識推理、小說續(xù)寫、歌詞創(chuàng)作、作詩，這些都可以做得很好。

• 首先看跨語言。

人類歷史長河中曾經(jīng)有幾萬種語言。從縱向看，一個國家、地區(qū)在不同時代有不同的語言。從橫向看，同一時代不同國家甚至不同地區(qū)都有不同的官方語言。所以同一語義可能會有很多種不同的表達。為此，百度研制了知識增強跨語言大模型ERNIE-M，可同時從多種語言中學(xué)習，提升跨語言理解能力，讓機器有了同時學(xué)習和理解多種語言的能力。

比如，做機器翻譯的時候，以前是需要雙語對照的，一句中文對應(yīng)一句英文的譯文，現(xiàn)在基于文心大模型不必再死板的一一對照，而是非平行語料。

• 其次是跨模態(tài)。

人類是通過語言、語音、視覺等多種模態(tài)獲得對真實世界的統(tǒng)一認知。AI如果像人一樣理解真實世界，不僅需要聽懂語音、看懂圖像視頻、理解語言，這就需要突破不同模態(tài)、異構(gòu)信息的語義融合統(tǒng)一難題。百度提出知識增強跨模態(tài)大模型，包括理解大模型ERNIE-ViL、生成大模型ERNIE-ViLG，實現(xiàn)了復(fù)雜場景的多層次、高精度語義理解。其中，理解大模型ERNIE-ViL在視覺常識推理任務(wù)榜單獲得第一名；生成大模型ERNIE-ViLG實現(xiàn)文圖雙向生成，是全球規(guī)模最大中文跨模態(tài)生成模型。

AI的“輪子”駛向千行百業(yè)

我們在文章的開篇就講過，千行百業(yè)對于AI的期待都很高，但AI面臨落地難的問題。大模型堪稱AI的“輪子”，輪子造好了，行業(yè)應(yīng)用也就會越跑越快，加速AI的落地。正如高文院士所說，“預(yù)訓(xùn)練模型對整個科學(xué)的發(fā)展、社會的發(fā)展、創(chuàng)新的發(fā)展都是非常重要的工具。運用這個工具，可以幫助做很多人工智能的賦能，不局限于某個領(lǐng)域，這對人工智能的發(fā)展都是一個福音。”

文心大模型是百度大腦最新的核心技術(shù)突破，能夠做到效果提升、帶來成本降低、實現(xiàn)應(yīng)用便捷，大幅降低AI應(yīng)用門檻，滿足各種場景需求，加速產(chǎn)業(yè)的智能化升級。

這一次文心大模型不是一個泛泛的模型，而是帶來了“全景圖”，其中既包含基礎(chǔ)通用的大模型，也包含面向重點領(lǐng)域和重點任務(wù)的大模型，比如NLP（自然語言理解）大模型、CV（計算機視覺）大模型和跨模態(tài)大模型。同時，還有豐富工具與平臺支撐高效便捷的應(yīng)用開發(fā)，包括EasyDL-大模型零門檻AI開發(fā)平臺和BML-大模型全功能AI開發(fā)平臺，以及大模型開發(fā)工具、大模型輕量化工具和大模型部署工具。這就相當于不僅鋪好了公路，還造好了汽車，具體往哪開就看不同客戶的不同需求了。

保險公司合同業(yè)務(wù)處理是一大難點，任務(wù)繁重、人員緊張、工作強度大、準確性和及時性要求高。一份合同需要完成近40個類目的條款解析分類，人工處理一份合同大概需要小半天時間，無論是人力成本、處理效率還是及時性都是行業(yè)業(yè)務(wù)環(huán)節(jié)中如何提高產(chǎn)能與效率的巨大挑戰(zhàn)。通過百度文心大模型賦能，國內(nèi)一家大型保險公司定制了保險合同條款智能解析模型，業(yè)務(wù)員處理單份合同文本的時長縮短到1分鐘，速度是之前的幾十倍，大大提升了工作效率。

中國聯(lián)通作為國內(nèi)領(lǐng)先的運營商，服務(wù)上億用戶，一方面要更好的客戶體驗，另一方面也要不斷降低成本，傳統(tǒng)的服務(wù)模式已經(jīng)不能滿足需求。中國聯(lián)通與百度合作，聯(lián)手打造了集約化智慧客服，面向場景可定制的對話技術(shù)。該技術(shù)以文心大模型強大的語義表示能力為基礎(chǔ)，建立了面向?qū)υ捓斫鈫栴}的專用預(yù)訓(xùn)練模型。在保持優(yōu)異應(yīng)用效果的同時，該模型對數(shù)據(jù)標注量的需求降低45%以上，顯著提升了智能客服業(yè)務(wù)鋪開的效率。

鵬城-百度·文心大模型是融合了自然語言理解和自然語言生成的全能模型，致力于解決傳統(tǒng)AI模型泛化性差、強依賴昂貴人工標注數(shù)據(jù)、落地成本高等應(yīng)用問題，滿足真實場景中的應(yīng)用需求，在各類AI應(yīng)用場景都具備了極強的泛化能力。也就是說，有了鵬城-百度·文心大模型這個基礎(chǔ)，在面向不同的任務(wù)、在不同的應(yīng)用場景里做少量任務(wù)數(shù)據(jù)進行遷移學(xué)習，就可以應(yīng)用于很多場景。

經(jīng)過這幾年發(fā)展，百度文心大模型已經(jīng)應(yīng)用于很多行業(yè)，比如說通信、金融、醫(yī)療、保險、證券、辦公、互聯(lián)網(wǎng)、醫(yī)療等等行業(yè)。隨著這次文心大模型全景圖的發(fā)布，百度AI也將加快滲透，在更多行業(yè)中開花結(jié)果。