背景

AI大模型技術(shù)的持續(xù)進(jìn)步正在推動(dòng)千行百業(yè)智能化升級。近日，Meta、Microsoft相繼發(fā)布具有里程碑意義的Llama 3系列和Phi-3系列模型，其中Llama 3包括8B、70B兩種規(guī)格，Phi-3包括mini（3.8B）、small（7B）、medium（14B）三種規(guī)格。為了進(jìn)一步給開發(fā)者提供更多嘗鮮，愛芯元智的NPU工具鏈團(tuán)隊(duì)迅速響應(yīng)，已基于AX650N平臺完成 Llama 3 8B和Phi-3-mini模型適配。

Llama 3

上周五，Meta發(fā)布了Meta Llama 3系列語言模型（LLM），具體包括一個(gè)8B模型和一個(gè)70B模型在測試基準(zhǔn)中，Llama 3模型的表現(xiàn)相當(dāng)出色，在實(shí)用性和安全性評估中，與那些市面上流行的閉源模型不相上下。

在架構(gòu)層面，Llama 3選擇了標(biāo)準(zhǔn)的僅解碼（decoder-only）式Transformer架構(gòu)，采用包含128K token詞匯表的分詞器。Llama 3使用了超過15T的公開數(shù)據(jù)進(jìn)行訓(xùn)練，其中5%為非英文數(shù)據(jù)，涵蓋30多種語言，訓(xùn)練數(shù)據(jù)量是前代Llama 2的七倍。

根據(jù)Meta的測試結(jié)果，Llama 3 8B模型在MMLU、GPQA、HumanEval等多項(xiàng)性能基準(zhǔn)上均超過了Gemma 7B和Mistral 7B Instruct，70B模型則超越了名聲在外的閉源模型Claude 3的中間版本Sonnet，和谷歌的Gemini Pro 1.5相比三勝兩負(fù)。

實(shí)際上板結(jié)果

目前AX650N已經(jīng)完成了Llama 3 8B Int8版本的適配，若采用Int4量化，每秒token數(shù)還能再翻一倍，能滿足正常的人機(jī)交流。

Phi-3

Llama 3剛發(fā)布沒多久，競爭對手就來了，而且是可以在手機(jī)上運(yùn)行的小體量模型。

本周二，微軟發(fā)布了自研小尺寸模型Phi-3。盡管Phi-3-mini被優(yōu)化至可部署在手機(jī)上，但它的性能可以與Mixtral 8x7B和GPT-3.5等模型相媲美。微軟表示，該創(chuàng)新主要在于用了質(zhì)量更好的訓(xùn)練數(shù)據(jù)集。

實(shí)際上板結(jié)果

目前AX650N已經(jīng)完成了Phi-3-mini Int8版本的適配，已能滿足正常的人機(jī)交流。

其他成果

AX650N能第一時(shí)間完成Llama 3和Phi-3的適配，源于今年以來相關(guān)團(tuán)隊(duì)悄悄完成了現(xiàn)有NPU工具鏈針對大語言模型的支持和調(diào)優(yōu)。目前除了Llama 3之外，已經(jīng)完成了Llama 2、TinyLlama、Phi-2、Qwen1.5、ChatGLM3等國內(nèi)外主流的開源大語言模型適配。

審核編輯：劉清