作者 /Google DeepMind 研究副總裁 Clement Farabet 和Google DeepMind 總監(jiān) Tris Warkentin

AI 有可能解決人類面臨的一些最緊迫的問題，但前提是每個人都擁有構建 AI 的工具。這就是我們在今年早些時候推出 Gemma的原因，Gemma 是一系列輕量級開放模型系列，采用了與創(chuàng)建 Gemini 模型相同的研究和技術。我們還陸續(xù)推出了 CodeGemma、RecurrentGemma 和 PaliGemma，以此不斷發(fā)展我們的 Gemma 系列，上述每個模型都能為不同的 AI 任務提供獨特的功能，并且可以通過與 Hugging Face、NVIDIA 和 Ollama 等合作伙伴的集成輕松訪問。

現(xiàn)在，我們正式向全球研究人員和開發(fā)者發(fā)布 Gemma 2。Gemma 2 分為 90 億 (9B) 和 270 億 (27B) 兩種參數(shù)版本，與第一代相比，其性能更強、推理效率更高，并且在安全性方面也有顯著提升。事實上，作為一種有競爭力的替代方案，Gemma 2 27B 的性能可以與規(guī)模是其兩倍的模型相媲美，截至去年 12 月，只有專有模型才能達到此性能水準。如今，這可以在單個 NVIDIA H100 Tensor Core GPU 或 TPU 的主機上實現(xiàn)，從而顯著降低了部署成本。

效率與性能躍階的

全新開放模型標準

我們在重新設計的架構上構建了 Gemma 2，旨在提供卓越的性能和推理效率。以下是它脫穎而出的原因:

非凡性能:Gemma 2 27B 在同類規(guī)模的模型中性能最優(yōu)，甚至比其規(guī)模大兩倍以上的模型更具競爭力。而 Gemma 2 9B 模型也具有一流的性能，優(yōu)于 Llama 3 8B 以及其他相同規(guī)模類別的開放模型。如需了解詳細性能分析，請查閱技術報告。

立竿見影的降本增效:Gemma 2 27B 模型旨在助您使用單個 Google Cloud TPU 主機、NVIDIA A100 80GB Tensor Core GPU 或 NVIDIA H100 Tensor Core GPU 以全精度高效運行推理，從而顯著降低成本，同時保持高效性能。這使得 AI 部署更加易于訪問且經濟實惠。

跨硬件的極速推理:Gemma 2 經過優(yōu)化，可以在一系列硬件上以不可思議的速度運行，包括強大的游戲本電腦、高端臺式機和云端配置等。您可以在 Google AI Studio 中以全精度體驗 Gemma 2，在 CPU 上使用 Gemma.cpp 量化版本解鎖本地性能，或者通過 Hugging Face Transformer 在配備 NVIDIA RTX 或 GeForce RTX 的家用電腦上試用。

專為開發(fā)者和研究人員打造

Gemma 2 不僅功能更強大，并且還能夠更輕松地集成到您的工作流程中:

開放且易于訪問:就像最初的 Gemma 模型一樣，Gemma 2 可在我們商業(yè)友好型的 Gemma 許可下使用，支持開發(fā)者和研究人員分享和商業(yè)化他們的創(chuàng)新成果。

廣泛的框架兼容性:由于 Gemma 2 與 Hugging Face Transformer 等主要 AI 框架兼容，并且通過原生 Keras 3.0、vLLM、Gemma.cpp、Llama.cpp 和 Ollama 兼容 JAX、PyTorch 和 TensorFlow，因此您可以輕松地將其與您偏好的工具和工作流一起使用。此外，我們還通過 NVIDIA TensorRT-LLM 優(yōu)化了 Gemma，支持該模型在 NVIDIA 加速基礎架構上運行，或作為 NVIDIA NIM 推理微服務運行，并將很快優(yōu)化支持 NVIDIA NeMo。您現(xiàn)在便可以使用 Keras 和 Hugging Face 進行微調。我們正在積極努力，以提供更多參數(shù)高效的微調選項。

輕松部署:從七月開始，Google Cloud 客戶將能夠在 Vertex AI 上輕松部署和管理 Gemma 2。

探索新的 Gemma 手冊，其中包含一系列實用示例和指南，幫助您構建自己的應用并針對特定任務微調 Gemma 2 模型。還可了解如何輕松使用您的工具與 Gemma 集成，包括用于如檢索增強生成等常見任務。

負責任的 AI 開發(fā)

我們致力于為開發(fā)者和研究人員提供負責任地構建和部署 AI 所需的資源，包括使用我們負責任的生成式 AI 工具包 (Responsible Generative AI Toolkit)。最近開源的 LLM Comparator 可幫助開發(fā)者和研究人員深入評估語言模型?，F(xiàn)在，您可以使用配套的 Python 庫對您的模型和數(shù)據(jù)進行比較評估，并在應用中可視化結果。此外，我們正在積極致力于為 Gemma 模型開源文本水印技術 SynthID。

在訓練 Gemma 2 時，我們遵循穩(wěn)健的內部安全流程和過濾預訓練數(shù)據(jù)，并根據(jù)一套全面的指標開展嚴格的測試和評估，以識別和減輕潛在的偏見和風險。我們在大量的與安全和代表性危害相關的公共基準上發(fā)布我們的結果。

使用 Gemma 構建的項目

我們首次推出 Gemma 時獲得了超過 1,000 萬次的下載量，并促成了無數(shù)鼓舞人心的項目。例如，Navarasa 利用 Gemma 創(chuàng)建了一個基于印度語言多樣性的模型。

如今，Gemma 2 將幫助開發(fā)者落地更具雄心的項目，在他們的 AI 創(chuàng)作中釋放全新的性能和潛力。我們將不懈地探索新的架構，并開發(fā)專門的 Gemma 變體，以應對更廣泛的 AI 任務和挑戰(zhàn)。這包括即將推出的Gemma 2 2.6B 模型，旨在進一步彌合輕量級可訪問性與強大性能之間的差距。您可以參閱技術報告以詳細了解。

開始構建

Gemma 2 現(xiàn)已在 Google AI Studio 中推出，因此您可以在無需硬件要求的情況下測試 Gemma 2 27B 的全部性能。您還可以從 Kaggle 和 Hugging Face 模型下載 Gemma 2 的模型權重，Vertex AI Model Garden 中也即將推出。

為了方便研究和開發(fā)，您還可通過 Kaggle 或 Colab notebook 免費使用 Gemma 2。首次使用 Google Cloud 的用戶可能有資格獲得 300 美元積分。學術研究人員可以通過申請 Gemma 2 學術研究計劃 (Gemma 2 Academic Research Program)獲取 Google Cloud 積分，從而加速 Gemma 2 的研究。申請現(xiàn)已開放，截止日期為 8 月 9 日。