華為盤古大模型是一款直接對(duì)標(biāo)的多模態(tài)千億級(jí)大模型產(chǎn)品，名為“盤古Chat”。預(yù)計(jì)華為盤古Chat將于今年7月7日舉行的華為云開發(fā)者大會(huì) （HDC. 2023） 上對(duì)外發(fā)布以及內(nèi)測(cè)，產(chǎn)品主要面向To B/G政企端客戶。

此外，華為云還發(fā)布了盤古系列超大規(guī)模預(yù)訓(xùn)練模型，包括30億參數(shù)的全球最大視覺（CV）預(yù)訓(xùn)練模型，以及與循環(huán)智能、鵬城實(shí)驗(yàn)室聯(lián)合開發(fā)的千億參數(shù)、40TB訓(xùn)練數(shù)據(jù)的全球最大中文語言（NLP）預(yù)訓(xùn)練模型5。這些預(yù)訓(xùn)練大模型可以實(shí)現(xiàn)一個(gè)AI大模型在眾多場(chǎng)景通用、泛化和規(guī)模化復(fù)制，減少對(duì)數(shù)據(jù)標(biāo)注的依賴，并使用平臺(tái)盤古大模型chatgpt，讓AI開發(fā)由作坊式轉(zhuǎn)變?yōu)楣I(yè)化開發(fā)的新模式。

盤古大模型是一個(gè)涵蓋了多個(gè)領(lǐng)域的超大規(guī)模預(yù)訓(xùn)練模型系列，包括自然語言處理（NLP）、計(jì)算機(jī)視覺（CV）、多模態(tài)、科學(xué)計(jì)算等方向。

盤古大模型的目標(biāo)是通過預(yù)訓(xùn)練，提高AI模型的泛化能力和智能水平盤古大模型chatgpt，降低AI開發(fā)的門檻和成本，加速AI在各行各業(yè)的落地應(yīng)用。

盤古大模型的應(yīng)用場(chǎng)景包括智能客服、機(jī)器翻譯、語音識(shí)別、工業(yè)質(zhì)檢、物流倉庫監(jiān)控、時(shí)尚輔助設(shè)計(jì)、智能文檔檢索、智能ERP、小語種大模型、氣象預(yù)報(bào)、海浪預(yù)測(cè)等領(lǐng)域。

盤古大模型的優(yōu)勢(shì)在于其規(guī)模、結(jié)構(gòu)和效果。

- 規(guī)模：盤古大模型擁有千億級(jí)別的參數(shù)量，是目前全球最大的中文NLP預(yù)訓(xùn)練模型，也是全球最大的CV預(yù)訓(xùn)練模型，以及全球首個(gè)圖文音三模態(tài)大模型。

- 結(jié)構(gòu)：盤古大模型采用了創(chuàng)新的網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)，如深度殘差網(wǎng)絡(luò)（DRN）、多頭注意力機(jī)制（MHA）、自適應(yīng)注意力機(jī)制（AAN）等，提高了并行優(yōu)化效率和計(jì)算性能。

- 效果：盤古大模型在多個(gè)公開數(shù)據(jù)集和行業(yè)數(shù)據(jù)集上均取得了領(lǐng)先的結(jié)果，如在上小樣本學(xué)習(xí)能力達(dá)到業(yè)界第一，在氣象預(yù)報(bào)上精度超過傳統(tǒng)數(shù)值方法，速度提升1000倍等。

盤古大模型的技術(shù)細(xì)節(jié)主要包括以下幾個(gè)方面：

網(wǎng)絡(luò)架構(gòu)：盤古大模型采用了創(chuàng)新的網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)，如深度殘差網(wǎng)絡(luò)（DRN）、多頭注意力機(jī)制（MHA）、自適應(yīng)注意力機(jī)制（AAN）等，提高了并行優(yōu)化效率和計(jì)算性能。

數(shù)據(jù)規(guī)模：盤古大模型使用了海量的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，如中文語言大模型使用了超過40TB的文本數(shù)據(jù)盤古大模型chatgpt，視覺大模型使用了超過10億張圖像數(shù)據(jù)，氣象大模型使用了超過的氣象數(shù)據(jù)等。

預(yù)訓(xùn)練方法：盤古大模型采用了不同的預(yù)訓(xùn)練方法，針對(duì)不同的領(lǐng)域和場(chǎng)景，如自然語言處理（NLP）使用了-架構(gòu)，兼顧語言理解和生成能力；計(jì)算機(jī)視覺（CV）使用了全局對(duì)比度自監(jiān)督學(xué)習(xí)方法，提高了小樣本學(xué)習(xí)能力；多模態(tài)使用了圖文音三模態(tài)融合技術(shù)，提高了跨模態(tài)理解和生成能力；科學(xué)計(jì)算使用了圖網(wǎng)絡(luò)融合技術(shù)，提高了科學(xué)問題求解能力等。

模型抽取和蒸餾：盤古大模型通過模型抽取和蒸餾技術(shù)，可以根據(jù)不同的應(yīng)用需求，自適應(yīng)地抽取不同規(guī)模的模型，并保持較高的精度。例如，視覺大模型可以根據(jù)不同的圖像分辨率和運(yùn)行速度需求，抽取不同大小的模型，并在上達(dá)到業(yè)界第一的小樣本學(xué)習(xí)能力。

免責(zé)聲明：本文系轉(zhuǎn)載，版權(quán)歸原作者所有；旨在傳遞信息，不代表本站的觀點(diǎn)和立場(chǎng)和對(duì)其真實(shí)性負(fù)責(zé)。如需轉(zhuǎn)載，請(qǐng)聯(lián)系原作者。如果來源標(biāo)注有誤或侵犯了您的合法權(quán)益或者其他問題不想在本站發(fā)布，來信即刪。