作者 / 產(chǎn)品副總裁、Android 開發(fā)者 Matthew McCullough

我們希望幫助您更快速、更輕松地構(gòu)建高質(zhì)量的 Android 應(yīng)用，而提升生產(chǎn)力的方式之一，就是讓 AI 觸手可及。我們知道您希望 AI 真正理解 Android 平臺(tái)的細(xì)微差異，因此我們一直在評(píng)估 LLM 在 Android 開發(fā)任務(wù)中的表現(xiàn)?，F(xiàn)在，我們發(fā)布了Android Bench的首個(gè)版本，這是 Google 官方專門針對(duì) Android 開發(fā)打造的 LLM 排行榜。

我們的目標(biāo)是為模型開發(fā)者提供一個(gè)基準(zhǔn)，用于評(píng)估 LLM 在 Android 開發(fā)方面的能力。通過為高質(zhì)量的 Android 開發(fā)建立清晰、可靠的基準(zhǔn)，我們致力于幫助模型開發(fā)者識(shí)別能力差距并加速改進(jìn)。這將使開發(fā)者能夠更高效地工作，并在更多優(yōu)質(zhì)模型中選擇適合的 AI 輔助工具，最終推動(dòng) Android 生態(tài)系統(tǒng)的應(yīng)用質(zhì)量全面提升。

以現(xiàn)實(shí)世界的Android 開發(fā)任務(wù)為設(shè)計(jì)基礎(chǔ)

我們通過整理一系列涵蓋常見 Android 開發(fā)領(lǐng)域的任務(wù)來創(chuàng)建基準(zhǔn)測(cè)試。該基準(zhǔn)由不同難度的實(shí)際挑戰(zhàn)組成，任務(wù)來源于公開的 GitHub Android 庫。測(cè)試場(chǎng)景包括: 解決 Android 版本升級(jí)帶來的破壞性更改、處理可穿戴設(shè)備上的網(wǎng)絡(luò)連接等特定領(lǐng)域任務(wù)，以及遷移到最新版本的 Jetpack Compose 等。

在每次評(píng)估中，我們都會(huì)引導(dǎo) LLM 嘗試修復(fù)任務(wù)中報(bào)告的問題，并通過單元測(cè)試或插樁測(cè)試進(jìn)行驗(yàn)證。這種與模型無關(guān)的方法，使我們能夠衡量模型在復(fù)雜代碼庫中導(dǎo)航、理解依賴關(guān)系，以及解決開發(fā)者日常遇到的各類實(shí)際問題的能力。

我們已與多家 LLM 研發(fā)廠商 (包括 JetBrains) 共同驗(yàn)證了這一方法論。

JetBrains AI 集成負(fù)責(zé)人 Kirill Smelov：“衡量 AI 對(duì) Android 的影響是一項(xiàng)巨大的挑戰(zhàn)，因此很高興看到這樣一個(gè)完善且實(shí)用的框架。雖然我們自身也在積極進(jìn)行基準(zhǔn)測(cè)試，但 Android Bench 這一獨(dú)特的且備受期待的補(bǔ)充方案確實(shí)很有意義。這種方法正是當(dāng)前 Android 開發(fā)者所需要的嚴(yán)謹(jǐn)評(píng)估體系?！?/p>

首批 Android Bench 測(cè)試結(jié)果

在本次初始發(fā)布中，我們旨在純粹評(píng)估模型性能，并未側(cè)重智能體能力或工具的使用。結(jié)果顯示，各模型任務(wù)完成率在 16% 至 72% 之間。這一較大的差距表明，部分 LLM 已經(jīng)具備較強(qiáng)的 Android 開發(fā)基礎(chǔ)能力，而另一些模型仍有較大的提升空間。無論當(dāng)前表現(xiàn)如何，我們都期待 LLM 開發(fā)者持續(xù)優(yōu)化其模型以更好地支持 Android 開發(fā)，并在此過程中不斷地提升性能。

在本次首發(fā)評(píng)測(cè)中，平均得分最高的 LLM 是 Gemini 3.1 Pro，緊隨其后的是 Claude Opus 4.6。您可以在最新穩(wěn)定版本的Android Studio中配置 API 密鑰，體驗(yàn)我們?cè)u(píng)測(cè)的所有模型，為您的 Android 項(xiàng)目提供 AI 輔助支持。

為開發(fā)者與 LLM 研發(fā)廠商提供信息透明度

我們秉持開放與透明的原則，因此我們的評(píng)測(cè)方法、數(shù)據(jù)集以及自動(dòng)化測(cè)試框架已經(jīng)在 GitHub 上公開。

任何公開基準(zhǔn)都會(huì)面臨一個(gè)挑戰(zhàn)——數(shù)據(jù)污染的風(fēng)險(xiǎn)，即模型可能在訓(xùn)練過程中已經(jīng)接觸過評(píng)測(cè)任務(wù)。為確保評(píng)測(cè)結(jié)果反映的是真實(shí)推理能力，而非記憶或猜測(cè)，我們采取了多項(xiàng)措施，包括對(duì)智能體軌跡進(jìn)行嚴(yán)格的人工審查，以及引入 Canary 字符串以勸阻模型對(duì)測(cè)試數(shù)據(jù)的訓(xùn)練學(xué)習(xí)。

展望未來，我們將持續(xù)優(yōu)化評(píng)測(cè)方法，以維護(hù)數(shù)據(jù)集的完整性，同時(shí)不斷改進(jìn)基準(zhǔn)的后續(xù)版本，例如增加任務(wù)數(shù)量和復(fù)雜度。

我們期待Android Bench在長遠(yuǎn)角度提升 AI 輔助開發(fā)能力；我們的愿景是縮小創(chuàng)意與高質(zhì)量代碼之間的差距，為未來奠定基礎(chǔ)——助力您在 Android 上輕松構(gòu)建出您心中所想。也歡迎您關(guān)注 "谷歌開發(fā)者" 微信公眾號(hào)，及時(shí)了解更多開發(fā)技術(shù)和產(chǎn)品更新等資訊動(dòng)態(tài)！