(資料圖)
臉書(shū)母公司Meta首席執(zhí)行官扎克伯格最新推出了“Meta人工智能大型語(yǔ)言模型”（Large Language Model Meta AI），簡(jiǎn)稱“LLaMA”。
扎克伯格在社交媒體上稱，F(xiàn)acebook AI Research研發(fā)的LLaMA是“目前水平最高的”大型語(yǔ)言模型，目標(biāo)是幫助研究人員推進(jìn)他們?cè)谌斯ぶ悄埽ˋI）領(lǐng)域的工作。
“大型語(yǔ)言模型”（LLM）可以消化大量的文本數(shù)據(jù)，并推斷文本的單詞之間的關(guān)系。隨著計(jì)算能力的進(jìn)步，以及輸入數(shù)據(jù)集與參數(shù)空間的不斷擴(kuò)大，LLM的能力也相應(yīng)提高。
目前，LLM已經(jīng)被證明能高效地執(zhí)行多種任務(wù)，包括文本生成、問(wèn)題回答、書(shū)面材料總結(jié)等。扎克伯格稱，LLM在自動(dòng)證明數(shù)學(xué)定理、預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)等更復(fù)雜的方面也有很大的發(fā)展前景。
值得一提的是，近期大火的ChatGPT就是采用LLM構(gòu)建的聊天機(jī)器人。ChatGPT由GPT3.5提供支持，而GPT3.5是一款基于OpenAI 175B參數(shù)基礎(chǔ)模型訓(xùn)練的LLM，175B是它從訓(xùn)練數(shù)據(jù)中所學(xué)習(xí)、沉淀下來(lái)的內(nèi)容。
Meta在官網(wǎng)介紹中稱，LLaMA有7B、13B、33B和65B四個(gè)基礎(chǔ)模型，在大多數(shù)基準(zhǔn)測(cè)試中都優(yōu)于GPT3.5的前身GPT3-175B，而LLaMA-65B可與業(yè)內(nèi)最佳的Chinchilla-70B和PaLM-540B競(jìng)爭(zhēng)。
Meta還宣布，將針對(duì)學(xué)術(shù)研究者共享其模型，正在接受研究人員的申請(qǐng)。與之截然不同的是，谷歌旗下的DeepMind和OpenAI并不公開(kāi)訓(xùn)練代碼。
根據(jù)2021年媒體的一份調(diào)查顯示，AI專家們通常將DeepMind、OpenAI和FAIR（Facebook AI Research）視為該領(lǐng)域的“前三甲”。
去年年底，Meta發(fā)布了另一款名為Galactica的模型，但因經(jīng)常分享偏見(jiàn)和不準(zhǔn)確的信息而遭到下架。
責(zé)任編輯：李楠
分享到：版權(quán)聲明：凡注明來(lái)源“流媒體網(wǎng)”的文章，版權(quán)均屬流媒體網(wǎng)所有，轉(zhuǎn)載需注明出處。非本站出處的文章為轉(zhuǎn)載，觀點(diǎn)供業(yè)內(nèi)參考，不代表本站觀點(diǎn)。文中圖片均來(lái)源于網(wǎng)絡(luò)收集整理，僅供學(xué)習(xí)交流，版權(quán)歸原作者所有。如涉及侵權(quán)，請(qǐng)及時(shí)聯(lián)系我們刪除!
