作者 / 資深開發(fā)者關(guān)系工程師 Omar Sanseviero 和高級(jí)開發(fā)者關(guān)系工程師 Ian Ballantyne

從第一個(gè) Gemma 模型于去年年初推出以來，已逐漸發(fā)展為生機(jī)勃勃的 Gemmaverse 生態(tài)系統(tǒng)，累計(jì)下載量突破 1.6 億。這個(gè)生態(tài)系統(tǒng)包括十余款專業(yè)模型系列，涵蓋從安全防護(hù)到醫(yī)療應(yīng)用的各領(lǐng)域。其中，最令人振奮的是來自社區(qū)的無數(shù)創(chuàng)新。從像 Roboflow 這樣的創(chuàng)新者構(gòu)建的企業(yè)級(jí)計(jì)算機(jī)視覺，到東京科學(xué)研究所創(chuàng)建的高性能日語 Gemma 變體，各位的作品為我們指明了未來的發(fā)展路徑。

乘此發(fā)展勢頭，我們宣布 Gemma 3n 現(xiàn)已全面發(fā)布。雖然預(yù)覽版已先行展示了一些功能，但這一移動(dòng)設(shè)備優(yōu)先的架構(gòu)現(xiàn)在能夠發(fā)揮出全部的潛能。Gemma 3n 為幫助塑造了 Gemma 的開發(fā)者社區(qū)而生。包括 Hugging Face Transformers、llama.cpp、Google AI Edge、Ollama 和 MLX 在內(nèi)，您熟悉和慣用的多種工具都支持該模型，讓您能輕松針對特定的設(shè)備端應(yīng)用進(jìn)行微調(diào)和部署。本篇文章將以開發(fā)者視角深入探索，介紹 Gemma 3n 背后的一些創(chuàng)新，分享新的基準(zhǔn)測試結(jié)果，并向您展示如何立即開始構(gòu)建。

Gemma 3n 的新功能

Gemma 3n 代表了設(shè)備端 AI 的重大進(jìn)步，為邊緣設(shè)備帶來了強(qiáng)大的多模態(tài)功能;過去，這些性能僅在去年基于云端的一些前沿模型中有所展現(xiàn)。

多模態(tài)設(shè)計(jì): Gemma 3n 原生支持圖像、音頻、視頻和文本輸入以及文本輸出。

針對設(shè)備端優(yōu)化: Gemma 3n 模型的設(shè)計(jì)以效率為重點(diǎn)，基于有效參數(shù)提供兩種尺寸: E2B 和 E4B。雖然其原始參數(shù)數(shù)量分別為 5B 和 8B，但憑借架構(gòu)創(chuàng)新，它們能夠以媲美傳統(tǒng) 2B 和 4B 模型的內(nèi)存占用運(yùn)行，E2B 僅需 2GB 內(nèi)存、E4B 僅需 3GB 內(nèi)存即可運(yùn)行。

突破性架構(gòu): Gemma 3n 的核心特征包括新穎的組件，如用于計(jì)算靈活性的 MatFormer 架構(gòu)、用于內(nèi)存效率的逐層嵌入 (PLE)、用于架構(gòu)效率的 LAuReL 和 AltUp，以及針對設(shè)備端用例優(yōu)化的全新音頻編碼器和基于 MobileNet-v5 的視覺編碼器。

改進(jìn)的質(zhì)量: Gemma 3n 在多語言 (支持 140 種語言的文本和 35 種語言的多模態(tài)理解)、數(shù)學(xué)、編碼和推理方面的質(zhì)量均有提升。E4B 版本的 LMArena 得分超過 1,300，是首個(gè)達(dá)到該基準(zhǔn)且參數(shù)低于 100 億的模型。

有效

https://developers.googleblog.com/zh-hans/introducing-gemma-3n-developer-guide/

要實(shí)現(xiàn)這種設(shè)備端性能的飛躍，需要從零開始，對模型進(jìn)行顛覆性的重新構(gòu)思和設(shè)計(jì)，其基礎(chǔ)是 Gemma 3n 獨(dú)特的移動(dòng)設(shè)備優(yōu)先架構(gòu)，而這一切都源于 MatFormer。

MatFormer:

一個(gè)模型，多種尺寸

Gemma 3n 的核心是 MatFormer (Matryoshka Transformer) 架構(gòu)，這是一種專為彈性推理而構(gòu)建的新型嵌套式 Transformer。您可以把它想象成俄羅斯套娃: 一個(gè)更大的模型包含著更小、功能齊全的自身版本。這種方法將 Matryoshka 表征學(xué)習(xí)的概念從嵌入層擴(kuò)展到所有 Transformer 組件。

MatFormer

https://arxiv.org/abs/2310.07707

Matryoshka 表征學(xué)習(xí)

https://huggingface.co/papers/2205.13147

如上圖所示，在對 4B 有效參數(shù) (E4B) 模型進(jìn)行 MatFormer 訓(xùn)練期間，2B 有效參數(shù) (E2B) 子模型在其內(nèi)部同時(shí)得到優(yōu)化。這在當(dāng)下為開發(fā)者提供了兩種強(qiáng)大的功能和用例:

預(yù)提取的模型: 您可以直接下載并使用主 E4B 模型以獲得最高級(jí)的功能，也可以使用我們已經(jīng)為您提取的獨(dú)立 E2B 子模型，獲得主模型 2 倍的推理速度。

使用混合匹配 (Mix-n-Match) 自定義調(diào)整尺寸: 為了更精細(xì)地控制以適應(yīng)特定的硬件限制，您可以使用我們稱之為 "混合匹配" 的方法，創(chuàng)建介于 E2B 和 E4B 之間的各種自定義尺寸模型。此技術(shù)允許您精確切分 E4B 模型的參數(shù)，主要是通過調(diào)整每層前饋網(wǎng)絡(luò)隱藏維度 (從 8,192 到 16,384) 并選擇性地跳過某些層來實(shí)現(xiàn)。我們即將發(fā)布 MatFormer Lab，該工具可演示如何檢索這些最優(yōu)模型，這些模型是在 MMLU 等基準(zhǔn)測試中通過評(píng)估多種配置組合而篩選出來的。

△ 不同模型尺寸的預(yù)訓(xùn)練 Gemma 3n 檢查點(diǎn)的 MMLU 分?jǐn)?shù) (使用混合匹配)

MatFormer Lab

https://goo.gle/gemma3n-matformer-lab

展望未來，MatFormer 架構(gòu)也為彈性執(zhí)行鋪平了道路。雖然這項(xiàng)能力并非本次發(fā)布實(shí)現(xiàn)的一部分，但它允許單個(gè)部署的 E4B 模型在 E4B 和 E2B 推理路徑之間動(dòng)態(tài)切換，從而根據(jù)當(dāng)前任務(wù)和設(shè)備負(fù)載，實(shí)時(shí)優(yōu)化性能和內(nèi)存用量。

逐層嵌入 (PLE):

解鎖更高的內(nèi)存效率

Gemma 3n 模型包含逐層嵌入 (PLE)。這項(xiàng)創(chuàng)新專為設(shè)備端部署量身定制，它在不增加設(shè)備加速器 (GPU/TPU) 所需的高速內(nèi)存占用量的情況下，顯著提升了模型質(zhì)量。

雖然 Gemma 3n E2B 和 E4B 模型的總參數(shù)量分別為 5B 和 8B，但逐層嵌入 (PLE) 技術(shù)卻能讓這些參數(shù)中的很大一部分 (即與各層相關(guān)的嵌入)，在 CPU 上高效地加載和計(jì)算。這意味著通常在更為受限的加速器內(nèi)存 (VRAM) 中，只需加載核心 Transformer 權(quán)重 (E2B 約為 2B，E4B 約為 4B)。

△ 使用逐層嵌入，您可以在加速器中僅加載約 2B 參數(shù)的情況下使用 Gemma 3n E2B

KV 緩存共享:

更迅速的長上下文處理

對于諸多先進(jìn)的設(shè)備端多模態(tài)應(yīng)用而言，處理長輸入 (例如源自音頻和視頻流的連續(xù)序列) 至關(guān)重要。Gemma 3n 引入了 KV 緩存共享功能，旨在極大縮短流式響應(yīng)應(yīng)用的首個(gè) token 生成時(shí)間。

KV 緩存共享優(yōu)化了模型處理初始輸入階段 (通常稱為 "預(yù)填充" 階段) 的方式。將局部注意力和全局注意力中間層的鍵 (Keys) 和值 (Values) 直接與所有頂層共享，與 Gemma 3 4B 相比，預(yù)填充性能顯著提升了 2 倍。這意味著該模型可以比以前更快地注入和理解冗長的提示序列。

音頻理解:

語音轉(zhuǎn)文本和翻譯功能

Gemma 3n 使用基于通用語音模型 (USM) 的高級(jí)音頻編碼器。編碼器為每 160ms 的音頻生成一個(gè) token (約每秒 6 個(gè) tokens)，然后將其作為輸入集成到語言模型中，從而為模型提供高度精細(xì)的聲音上下文表征。

通用語音模型

https://arxiv.org/abs/2303.01037

這種集成的音頻功能解鎖了設(shè)備端開發(fā)的多種關(guān)鍵特性，包括:

自動(dòng)語音識(shí)別 (ASR): 直接在設(shè)備端實(shí)現(xiàn)高質(zhì)量的語音轉(zhuǎn)文字。

自動(dòng)語音翻譯 (AST): 將口語翻譯成另一種語言的文本。

我們觀察到，對于英語和西班牙語、法語、意大利語及葡萄牙語之間的翻譯，AST 的表現(xiàn)尤為出色，為針對這些語言的應(yīng)用開發(fā)者提供了巨大潛力。對于語音翻譯等任務(wù)，利用思維鏈提示可以顯著改進(jìn)結(jié)果。以下是一個(gè)示例:

```

user

Transcribe the following speech segment in Spanish, then translate it into English:

model

```

截至文章發(fā)布時(shí)，Gemma 3n 編碼器可處理長達(dá) 30 秒的音頻片段。然而，這并不是一個(gè)根本上的限制。底層的音頻編碼器是一種流式編碼器，通過額外的長篇格式音頻訓(xùn)練，編碼器可以處理任意長度的音頻。后續(xù)實(shí)現(xiàn)將解鎖延遲更低、時(shí)間更長的流媒體應(yīng)用。

MobileNet-V5:

最先進(jìn)的全新視覺編碼器

除了集成的音頻功能外，Gemma 3n 還配備了全新的高效視覺編碼器 MobileNet-V5-300M，可為邊緣設(shè)備上的多模態(tài)任務(wù)提供最先進(jìn)的性能。

MobileNet-V5 旨在為受限的硬件賦予靈活性和強(qiáng)大功能，為開發(fā)者提供:

支持多種輸入分辨率: 原生支持 256x256、512x512 和 768x768 像素的分辨率，讓您可以根據(jù)特定應(yīng)用需求平衡性能和細(xì)節(jié)。

廣泛的視覺理解力: 該功能采用海量的多模態(tài)數(shù)據(jù)集協(xié)同訓(xùn)練，擅長各種圖像和視頻理解任務(wù)。

高吞吐量: 在 Google Pixel 上每秒處理幀數(shù)高達(dá) 60 幀，實(shí)現(xiàn)設(shè)備端實(shí)時(shí)視頻分析和交互式體驗(yàn)。

這種性能水平是通過多項(xiàng)架構(gòu)創(chuàng)新實(shí)現(xiàn)的，包括:

MobileNet-V4 模塊的先進(jìn)基礎(chǔ) (包括通用倒置瓶頸和移動(dòng) MQA)。

顯著擴(kuò)展的架構(gòu)，采用混合深度金字塔模型，其規(guī)模是最大的 MobileNet-V4 變體的 10 倍。

一種新型的多尺度融合 VLM 適配器，可優(yōu)化 token 質(zhì)量，以提高準(zhǔn)確性和效率。

得益于新穎的架構(gòu)設(shè)計(jì)和先進(jìn)的蒸餾技術(shù)，MobileNet-V5-300M 在 Gemma 3 中的性能大大優(yōu)于基準(zhǔn) SoViT (使用 SigLip 訓(xùn)練，無蒸餾)。在 Google Pixel Edge TPU 上，該編碼器在有量化情況下提速 13 倍 (無量化時(shí)為 6.5 倍)，所需參數(shù)減少 46%，內(nèi)存占用減少為原來的 1/4，同時(shí)在視覺-語言任務(wù)上的準(zhǔn)確性顯著提升。

我們很期待與大家分享該模型的更多研發(fā)工作，后續(xù)即將發(fā)布的 MobileNet-V5 技術(shù)報(bào)告將深入探討模型架構(gòu)、數(shù)據(jù)擴(kuò)展策略和先進(jìn)的蒸餾技術(shù)。

與社區(qū)共建

我們始終將 Gemma 3n 的易用性放在首位，也非常榮幸能與眾多杰出的開源開發(fā)者合作，確保模型能在多個(gè)熱門工具和平臺(tái)得到廣泛支持，其中包括來自 AMD、Axolotl、Docker、Hugging Face、llama.cpp、LMStudio、MLX、NVIDIA、Ollama、RedHat、SGLang、Unsloth 和 vLLM 等團(tuán)隊(duì)的貢獻(xiàn)。

這個(gè)生態(tài)系統(tǒng)僅僅是開始，這項(xiàng)技術(shù)的真正價(jià)值在于用它構(gòu)建的成果。正因如此，我們推出了 "Gemma 3n 挑戰(zhàn)賽"，使用 Gemma 3n 獨(dú)特的 On-Device、離線和多模態(tài)能力，打造一款造福世界的產(chǎn)品。即刻參與挑戰(zhàn)賽，提交引人注目的視頻介紹，并通過精妙的演示展現(xiàn)產(chǎn)品的現(xiàn)實(shí)影響力，就有機(jī)會(huì)贏取 15 萬美元的獎(jiǎng)金和精美禮品!歡迎加入挑戰(zhàn)，共創(chuàng)美好未來。

開始使用 Gemma 3n

準(zhǔn)備好即刻探索 Gemma 3n 的潛力了嗎?請查收以下攻略:

直接體驗(yàn): 只需點(diǎn)擊幾下，即可使用 Google AI Studio 試用 Gemma 3n。Gemma 模型也可以直接從 AI Studio 部署到 Cloud Run。

下載模型: 在 Hugging Face 和 Kaggle 上查找模型權(quán)重。

學(xué)習(xí)&集成: 深入了解我們的綜合文檔，快速將 Gemma 集成到您的項(xiàng)目中，或從我們的推理和微調(diào)指南開始入門。

使用您青睞的設(shè)備端 AI 工具構(gòu)建，包括 Google AI Edge Gallery/LiteRT-LLM、Ollama、MLX、llama.cpp、Docker 和 transformers.js 等。

使用您喜愛的開發(fā)工具: 利用您偏好的工具和框架，包括 Hugging Face Transformers 和 TRL、NVIDIA NeMo Framework、Unsloth 和 LMStudio。

隨心部署: Gemma 3n 提供多種部署選項(xiàng)，包括 Google GenAI API、Vertex AI、SGLang、vLLM 和 NVIDIA API Catalog。