作者 / Gemini API 小組產品經理 Shrestha Basu Mallick 和 Google Labs 產品總監(jiān) Kathy Korevec

我們正賦予開發(fā)者構建 AI 未來的能力，包括尖端模型、智能代碼編寫工具以及跨平臺和設備的無縫集成。自 2023 年 12 月我們推出 Gemini 1.0 以來，數(shù)百萬的開發(fā)者已經使用 Google AI Studio 和 Vertex AI 在 109 種語言中使用 Gemini 進行構建。

我們推出了 Gemini 2.0 Flash 體驗版，旨在支持更具沉浸感和交互性的應用。同時，我們還推出了能夠代開發(fā)者執(zhí)行任務、優(yōu)化開發(fā)流程的全新編碼智能體。

使用 Gemini 2.0 Flash 進行構建

在 Gemini 1.5 Flash 成功的基礎上，F(xiàn)lash 2.0 的速度是 1.5 Pro 的兩倍，具有更優(yōu)越的性能，包括新的多模態(tài)輸出，并支持原生工具使用。我們還推出了 Multimodal Live API，用于構建具有實時音頻和視頻流的動態(tài)應用。

即日起，開發(fā)者可以通過 Google AI Studio 和 Vertex AI中的 Gemini API，測試和探索實驗階段的 Gemini 2.0 Flash，正式版預計將于 2025 年初全面推出。

借助 Gemini 2.0 Flash，開發(fā)者可以獲得:

1. 更佳性能

Gemini 2.0 Flash 比 1.5 Pro 更強大，同時在速度和效率上依然符合開發(fā)者對 Flash 的期望。它還在關鍵基準測試中展示了更優(yōu)越的多模態(tài)、文本、代碼、視頻、空間理解和推理性能。改進后的空間理解能力能夠在復雜圖像中為小對象生成更精確的邊界框，并實現(xiàn)更好的對象識別和圖像描述。如需了解詳情，您可以觀看空間理解視頻或閱讀 Gemini API 文檔。

2. 新的輸出模式

開發(fā)者將能夠使用 Gemini 2.0 Flash 通過單次 API 調用，生成包含文本、音頻和圖像的綜合響應。這些新的輸出模態(tài)已提供給早期測試人員使用，預計 2025 年將在更大范圍推廣。所有圖像和音頻輸出都將啟用 SynthID 隱形水印，這有助于減少錯誤信息和錯誤歸因問題。

多語言原生音頻輸出: Gemini 2.0 Flash 具有原生文本轉語音的音頻輸出功能，開發(fā)者不僅可以控制模型輸出的內容，還可以精細控制說話方式，并提供 8 種高品質的聲音以及各種語言和口音選擇。您可以聆聽原生音頻輸出的實際效果，或在開發(fā)者文檔中了解更多信息。

原生圖像輸出: Gemini 2.0 Flash 現(xiàn)在可以生成原生圖像，并支持對話式多輪編輯，因此您可以在此前的輸出基礎上進行構建和完善。它可以輸出交錯的文本和圖像，使其在食譜等多模態(tài)內容中非常實用。您可以觀看原生圖像輸出視頻以了解更多信息。

3. 原生工具使用

Gemini 2.0 已經過訓練，能夠使用工具，這是構建智能體體驗的基礎能力。除了通過函數(shù)調用自定義第三方函數(shù)之外，它還可以原生調用 Google Search 和代碼執(zhí)行等工具。使用原生 Google Search 作為工具，不僅能提供更真實、更全面的答案，還能為發(fā)行商帶來更多流量。它可以同時運行多項搜索，從多個來源找到更多相關事實并將其組合以提升準確率，從而改進信息檢索效率。您可以在原生工具使用視頻中了解詳情，或從 Notebook 上開始構建。

4. Multimodal Live API

開發(fā)者現(xiàn)在可以使用來自攝像頭或屏幕的音頻和視頻流輸入，構建實時多模態(tài)應用。同時，應用可以支持諸如中斷和語音活動檢測等自然對話模式。該 API 支持將多個工具集成在一起，通過單個 API 調用即可完成復雜的用例。您可以在多模態(tài)直播視頻中查看更多內容，嘗試使用 Web console或入門代碼 (Python)。

我們很高興看到初創(chuàng)公司在使用 Gemini 2.0 Flash 方面取得了令人矚目的進展，他們正在研發(fā)各種新體驗的原型，例如 tldraw 的視覺游樂場、Viggle 的虛擬角色創(chuàng)建和音頻旁白、Toonsutra 的情景多語言翻譯以及 Rooms 正在實現(xiàn)的實時音頻功能等。

為了加速開發(fā)，我們在 Google AI Studio 中發(fā)布了三個入門級應用體驗，并提供了空間理解、視頻分析和 Google 地圖探索的開源代碼，以便您可以開始使用 Gemini 2.0 Flash 進行構建。

賦能 AI 代碼輔助的演進

隨著 AI 代碼輔助功能從簡單的代碼搜索迅速發(fā)展到嵌入開發(fā)者工作流程中的 AI 助手，我們希望分享使用 Gemini 2.0 的最新進展: 可以代表您執(zhí)行任務的編碼智能體。 在我們最新的研究中，我們已能夠使用配備代碼執(zhí)行工具的 2.0 Flash，在 SWE-bench Verified 基準測試中達到 51.8% 的成績，該基準測試用于評估智能體在實際軟件工程任務中的表現(xiàn)。Gemini 2.0 Flash 的尖端推理速度使智能體能夠采樣數(shù)百種潛在的解決方案，再根據(jù)現(xiàn)有的單元測試和 Gemini 自身的判斷來選擇最佳解決方案。我們正在將這項研究成果轉化為新的開發(fā)者產品。

認識您的 AI 編碼智能體 Jules

想象一下，您的團隊剛剛完成了一次 Bug Bash，現(xiàn)在有一長串的 Bug 等著您解決。現(xiàn)在，您可以將 Python 和 Javascript 編碼任務分配給 Jules，這是一個使用 Gemini 2.0 的實驗性 AI 編碼智能體。Jules 可以異步工作，并與您的 GitHub 工作流程集成，處理 Bug 修復和其他耗時任務，讓您可以專注于真正想要構建的內容。Jules 會創(chuàng)建全面的多步驟計劃來解決問題，高效地修改多個文件，甚至還會準備拉取請求，以便將修復直接提交回 GitHub。

Jules 還處于早期階段，但根據(jù)我們內部使用 Jules 的經驗，它可為開發(fā)者提供:

更高的生產力:將問題和編碼任務分配給 Jules，以提高異步編碼效率。

進度跟蹤:通過實時更新，隨時了解情況并優(yōu)先處理需要您關注的任務。

開發(fā)者全面掌控:隨時查看 Jules 制定的方案，并根據(jù)需要提出反饋或進行調整。輕松審查 Jules 編寫的代碼，并在適當?shù)臅r候將其合并到您的項目中。

我們目前將 Jules 提供給部分受信任的測試人員，并計劃將于 2025 年初為其他感興趣的開發(fā)者提供該功能。歡迎您在 labs.google.com/jules 上注冊，獲取有關 Jules 的最新進展。

Colab 的數(shù)據(jù)科學智能體

將為您創(chuàng)建 Notebook

在 2024 年的 I/O 大會上，我們在 labs.google/code 上推出了實驗性的數(shù)據(jù)科學智能體，任何用戶都可以上傳數(shù)據(jù)集，并在幾分鐘內獲得洞察，所有這些都基于可運行的 Colab Notebook。我們收到了開發(fā)者社區(qū)的積極反饋，并見證了該功能的影響力，這令我們倍感欣喜。例如，在數(shù)據(jù)科學智能體的幫助下，Lawrence Berkeley 國家實驗室研究全球熱帶濕地甲烷排放項目的科學家估計，原本要花一周時間分析和處理的內容，現(xiàn)在只需五分鐘。 Colab 已經開始使用 Gemini 2.0 整合這些相同的智能體功能。只需用簡單的語言描述您的分析目標，就可以自動生成 Notebook，幫助您提升研究和數(shù)據(jù)分析的能力。開發(fā)者可以通過加入受信任的測試人員計劃來搶先體驗這項新功能，該功能將于 2025 年上半年更廣泛地面向 Colab 用戶推出。

開發(fā)者正在構建未來

我們的 Gemini 2.0 模型可以讓您更快、更輕松地構建更強大的 AI 應用，讓您可以專注于為用戶打造卓越的體驗。我們將在未來幾個月內把 Gemini 2.0 引入 Android Studio、Chrome DevTools 和 Firebase 等平臺。開發(fā)者可以在 Gemini Code Assist中注冊以使用 Gemini 2.0 Flash，從而在 Visual Studio Code、IntelliJ、PyCharm 等流行 IDE 中體驗增強的代碼輔助功能。您可以訪問 ai.google.dev 開始使用，并關注 Google AI for Developers，獲取后續(xù)更新。