華為盤古大模型是一款直接對標(biāo)的多模態(tài)千億級大模型產(chǎn)品，名為“盤古Chat”。預(yù)計華為盤古Chat將于今年7月7日舉行的華為云開發(fā)者大會 （HDC. 2023） 上對外發(fā)布以及內(nèi)測，產(chǎn)品主要面向To B/G政企端客戶。

此外，華為云還發(fā)布了盤古系列超大規(guī)模預(yù)訓(xùn)練模型，包括30億參數(shù)的全球最大視覺（CV）預(yù)訓(xùn)練模型，以及與循環(huán)智能、鵬城實驗室聯(lián)合開發(fā)的千億參數(shù)、40TB訓(xùn)練數(shù)據(jù)的全球最大中文語言（NLP）預(yù)訓(xùn)練模型5。這些預(yù)訓(xùn)練大模型可以實現(xiàn)一個AI大模型在眾多場景通用、泛化和規(guī)模化復(fù)制，減少對數(shù)據(jù)標(biāo)注的依賴，并使用平臺盤古大模型chatgpt，讓AI開發(fā)由作坊式轉(zhuǎn)變?yōu)楣I(yè)化開發(fā)的新模式。

盤古大模型是一個涵蓋了多個領(lǐng)域的超大規(guī)模預(yù)訓(xùn)練模型系列，包括自然語言處理（NLP）、計算機視覺（CV）、多模態(tài)、科學(xué)計算等方向。

盤古大模型的目標(biāo)是通過預(yù)訓(xùn)練，提高AI模型的泛化能力和智能水平盤古大模型chatgpt，降低AI開發(fā)的門檻和成本，加速AI在各行各業(yè)的落地應(yīng)用。

盤古大模型的應(yīng)用場景包括智能客服、機器翻譯、語音識別、工業(yè)質(zhì)檢、物流倉庫監(jiān)控、時尚輔助設(shè)計、智能文檔檢索、智能ERP、小語種大模型、氣象預(yù)報、海浪預(yù)測等領(lǐng)域。

盤古大模型的優(yōu)勢在于其規(guī)模、結(jié)構(gòu)和效果。

- 規(guī)模：盤古大模型擁有千億級別的參數(shù)量，是目前全球最大的中文NLP預(yù)訓(xùn)練模型，也是全球最大的CV預(yù)訓(xùn)練模型，以及全球首個圖文音三模態(tài)大模型。

- 結(jié)構(gòu)：盤古大模型采用了創(chuàng)新的網(wǎng)絡(luò)架構(gòu)設(shè)計，如深度殘差網(wǎng)絡(luò)（DRN）、多頭注意力機制（MHA）、自適應(yīng)注意力機制（AAN）等，提高了并行優(yōu)化效率和計算性能。

- 效果：盤古大模型在多個公開數(shù)據(jù)集和行業(yè)數(shù)據(jù)集上均取得了領(lǐng)先的結(jié)果，如在上小樣本學(xué)習(xí)能力達到業(yè)界第一，在氣象預(yù)報上精度超過傳統(tǒng)數(shù)值方法，速度提升1000倍等。

盤古大模型的技術(shù)細節(jié)主要包括以下幾個方面：

網(wǎng)絡(luò)架構(gòu)：盤古大模型采用了創(chuàng)新的網(wǎng)絡(luò)架構(gòu)設(shè)計，如深度殘差網(wǎng)絡(luò)（DRN）、多頭注意力機制（MHA）、自適應(yīng)注意力機制（AAN）等，提高了并行優(yōu)化效率和計算性能。

數(shù)據(jù)規(guī)模：盤古大模型使用了海量的數(shù)據(jù)進行預(yù)訓(xùn)練，如中文語言大模型使用了超過40TB的文本數(shù)據(jù)盤古大模型chatgpt，視覺大模型使用了超過10億張圖像數(shù)據(jù)，氣象大模型使用了超過的氣象數(shù)據(jù)等。

預(yù)訓(xùn)練方法：盤古大模型采用了不同的預(yù)訓(xùn)練方法，針對不同的領(lǐng)域和場景，如自然語言處理（NLP）使用了-架構(gòu)，兼顧語言理解和生成能力；計算機視覺（CV）使用了全局對比度自監(jiān)督學(xué)習(xí)方法，提高了小樣本學(xué)習(xí)能力；多模態(tài)使用了圖文音三模態(tài)融合技術(shù)，提高了跨模態(tài)理解和生成能力；科學(xué)計算使用了圖網(wǎng)絡(luò)融合技術(shù)，提高了科學(xué)問題求解能力等。

模型抽取和蒸餾：盤古大模型通過模型抽取和蒸餾技術(shù)，可以根據(jù)不同的應(yīng)用需求，自適應(yīng)地抽取不同規(guī)模的模型，并保持較高的精度。例如，視覺大模型可以根據(jù)不同的圖像分辨率和運行速度需求，抽取不同大小的模型，并在上達到業(yè)界第一的小樣本學(xué)習(xí)能力。

免責(zé)聲明：本文系轉(zhuǎn)載，版權(quán)歸原作者所有；旨在傳遞信息，不代表本站的觀點和立場和對其真實性負責(zé)。如需轉(zhuǎn)載，請聯(lián)系原作者。如果來源標(biāo)注有誤或侵犯了您的合法權(quán)益或者其他問題不想在本站發(fā)布，來信即刪。