華為加入開源大軍,開源了首個(gè)大模型。6月30日,華為宣布開源盤古70億參數(shù)的稠密模型和720億參數(shù)的混合專家模型(盤古Pro MoE 72B)。此外,基于昇騰的模型推理技術(shù)也同步開源。華為表示,此舉是華為踐行昇騰生態(tài)戰(zhàn)略的又一關(guān)鍵舉措,將推動(dòng)大模型技術(shù)的研究與創(chuàng)新發(fā)展,加速推進(jìn)人工智能在千行百業(yè)的應(yīng)用與價(jià)值創(chuàng)造。據(jù)了解,華為最新開源的Pro MoE 72B大模型,在參數(shù)量?jī)H為720億,激活160億參數(shù)量的情況下,通過動(dòng)態(tài)激活專家網(wǎng)絡(luò)的創(chuàng)新設(shè)計(jì),實(shí)現(xiàn)了以小打...