案例簡(jiǎn)介

在本案例中，Dify 以模型中立以及開(kāi)源生態(tài)的優(yōu)勢(shì)，為廣大 AI 創(chuàng)新者提供豐富的模型選擇。其集成的 NVIDIAAPI Catalog、NVIDIA NIM和Triton 推理服務(wù)器產(chǎn)品，為 Dify.AI 提供了靈活多樣的模型集成選擇，專業(yè)、高效的模型接入方式讓開(kāi)發(fā)者用戶能夠構(gòu)建豐富的 AI 應(yīng)用場(chǎng)景。

AI 應(yīng)用面臨落地挑戰(zhàn)

隨著 AI 應(yīng)用場(chǎng)景的不斷豐富，Dify 在 AI 應(yīng)用的落地方面面臨了幾個(gè)關(guān)鍵挑戰(zhàn)，這些挑戰(zhàn)成為了采用 NVIDIA 產(chǎn)品和技術(shù)的主要驅(qū)動(dòng)力：

復(fù)雜應(yīng)用場(chǎng)景需要多個(gè)模型結(jié)合使用：隨著越來(lái)越豐富的 AI 應(yīng)用情景探索，越來(lái)越多的企業(yè)都期望能靈活使用當(dāng)前最先進(jìn)的閉源或開(kāi)源模型，來(lái)定制落地方案，以獲得模型在不同情境下的能力表現(xiàn)、成本、性能等方面的最佳組合結(jié)果。

大模型的性能和穩(wěn)定性風(fēng)險(xiǎn)：?模型的訓(xùn)練和推理對(duì)算力、算法、數(shù)據(jù)都有很高要求，如果選型不當(dāng)或優(yōu)化不足，可能影響應(yīng)?的性能和穩(wěn)定性。

數(shù)據(jù)安全和隱私保護(hù)風(fēng)險(xiǎn)：企業(yè)在落地 AI 應(yīng)用時(shí)，出于對(duì)敏感場(chǎng)景應(yīng)用和企業(yè)數(shù)據(jù)安全的考慮，會(huì)更傾向本地部署推理框架來(lái)運(yùn)行他們的本地模型。

NVIDIA 助力提供多樣、靈活的模型選擇

Dify 平臺(tái)與數(shù)百種專有/開(kāi)源模型以及數(shù)十種推理提供商、自托管解決方案無(wú)縫集成，包括 LLM 推理框架、Rerank 模型、Embedding 模型等類型，允許用戶根據(jù)其具體場(chǎng)景需要，隨時(shí)切換/使用不同的模型能力。其中，Dify 集成了 API Catalog、NVIDIA NIM 和 Triton 推理服務(wù)器開(kāi)源軟件產(chǎn)品作為可選模型平臺(tái)之一，具體作用如下所述：

提供豐富的預(yù)訓(xùn)練模型，滿足多樣化需求

API Catalog 提供了大量針對(duì)NVIDIA GPU優(yōu)化的預(yù)訓(xùn)練模型，涵蓋了 LLM、Embedding、Rerank 和 Vision 多個(gè)種類。它主要用于評(píng)估和測(cè)試，提供一個(gè)統(tǒng)一的接口，可以測(cè)試各種模型，節(jié)省開(kāi)發(fā)成本。API Catalog 會(huì)持續(xù)更新最新的模型，幫助 Dify 用戶加速前期的測(cè)試和評(píng)估，并為之后的量產(chǎn)部署做好鋪墊，加速 AI 應(yīng)用的開(kāi)發(fā)和落地。

簡(jiǎn)化部署流程，加速生成式 AI 模型上線

NVIDIA NIM 將 AI 模型打包為容器化微服務(wù)，開(kāi)發(fā)者只需幾行代碼即可完成部署，部署時(shí)間可從數(shù)周縮短到數(shù)分鐘。這種簡(jiǎn)化的部署流程可以顯著加速生成式 AI 模型的上線，使企業(yè)能夠快速將模型集成到 Dify 的 AI 工作流中，實(shí)現(xiàn) AI 應(yīng)用落地。

優(yōu)化推理性能，提供高效穩(wěn)定的 AI 服務(wù)

Triton 推理服務(wù)器提供了一個(gè)優(yōu)化和標(biāo)準(zhǔn)化的平臺(tái)，用于部署和執(zhí)行來(lái)自多種深度學(xué)習(xí)和機(jī)器學(xué)習(xí)框架的 AI 模型。它適用于通用的 AI 推理工作負(fù)載，為開(kāi)發(fā)者在 Dify 平臺(tái)上編排 AI 應(yīng)用提供高效穩(wěn)定的模型服務(wù)。

靈活調(diào)用模型，適應(yīng)不同場(chǎng)景需求

通過(guò) Triton 推理服務(wù)器和 NVIDIA NIM 完成模型部署后，用戶可以在 Dify 平臺(tái)中輕松調(diào)用所需的模型。只需在模型設(shè)置中填寫 Server URL、Model Name 等憑據(jù)，即可根據(jù)具體的場(chǎng)景需求，隨時(shí)切換或使用不同的模型能力。這種靈活的模型調(diào)用方式可以幫助企業(yè)快速適應(yīng)不斷變化的業(yè)務(wù)需求，提高 AI 應(yīng)用的適應(yīng)性和可擴(kuò)展性。

加入 NVIDIA Inception，

融入全球開(kāi)發(fā)者社區(qū)生態(tài)

Dify 不僅與 NVIDIA 在模型層面實(shí)現(xiàn)了深度集成，其還于 2024 年 4 月入選了NVIDIA Inception 初創(chuàng)加速計(jì)劃。Dify 也受邀參加了 NVIDIA 初創(chuàng)加速計(jì)劃最新開(kāi)啟的系列技術(shù)加速營(yíng)，獲得了與眾多 AI 創(chuàng)新者、行業(yè)客戶、生態(tài)上下游企業(yè)交流合作和極大的市場(chǎng)曝光機(jī)會(huì)。

加入 NVIDIA 初創(chuàng)加速計(jì)劃對(duì) Dify 來(lái)說(shuō)，標(biāo)志著一個(gè)新的里程碑，Dify 將借助 NVIDIA 的影響力鏈接全球開(kāi)發(fā)者，在其領(lǐng)先技術(shù)的助力下，不斷突破，打造更繁榮的生態(tài)和產(chǎn)品。

Dify 創(chuàng)始人兼 CEO 張路宇表示：“Dify 成立的第一天，就定位是一個(gè)面向全球開(kāi)發(fā)者用戶的產(chǎn)品，我們希望接入全球領(lǐng)先的大模型，共創(chuàng) AI 解決方案，為不同行業(yè)落地 AI 的企業(yè)、AI 創(chuàng)新者們提供開(kāi)箱即用的 LLM 應(yīng)用開(kāi)發(fā)平臺(tái)，這也是我們首選 NVIDIA 的原因。在全球的客戶生態(tài)、開(kāi)發(fā)者生態(tài)經(jīng)營(yíng)上，NVIDIA 毋庸置疑是我們最好的選擇。”

繁榮的開(kāi)源社區(qū)生態(tài)，

加速 AI 創(chuàng)新應(yīng)用落地

Dify 團(tuán)隊(duì)成立于 2023 年 3 月，同年 5 月發(fā)布 Dify.AI 第一個(gè)版本并開(kāi)源?；?LLMOps 及后端即服務(wù)的理念，為企業(yè)提供從 Agent 構(gòu)建到 AI workflow 編排、RAG 檢索、模型管理等能力，致力于打造?個(gè)開(kāi)放的 LLM 應(yīng)?開(kāi)發(fā)平臺(tái)，降低 LLM 應(yīng)?程序的開(kāi)發(fā)和部署復(fù)雜性，幫助應(yīng)?開(kāi)發(fā)者更快地搭建和運(yùn)營(yíng)?產(chǎn)級(jí)的?成式 AI 應(yīng)?。

Dify 在開(kāi)源社區(qū)受到全球開(kāi)發(fā)者的關(guān)注和喜愛(ài)，在短短一年的時(shí)間內(nèi)，stars 數(shù)已超過(guò) 36,000+，達(dá)到數(shù)十萬(wàn)次下載量，多次登榜 GitHub 全球趨勢(shì)榜單。GitHub stars 已超越知名 AI Infra 產(chǎn)品如 LlamaIndex、flowise 等，僅次于 LangChain。面向需要探索 AI 應(yīng)用創(chuàng)新、AI 應(yīng)用落地業(yè)務(wù)的開(kāi)發(fā)者或企業(yè)客戶，Dify 提供成熟的應(yīng)用開(kāi)發(fā)工具平臺(tái)，加速 AI 落地業(yè)務(wù)的過(guò)程。

截至 2024 年 4 月，Dify.AI 已經(jīng)服務(wù)了十余家 500 強(qiáng)企業(yè)和數(shù)十家上市公司。全球領(lǐng)先企業(yè)選擇 Dify 作為 LLM App Stack，標(biāo)桿客戶覆蓋汽車、先進(jìn)制造、消費(fèi)、半導(dǎo)體、醫(yī)藥等行業(yè)，如理想汽車、研華股份、百勝中國(guó)、Panasonic、Advantech、安克創(chuàng)新、得到等。Dify.AI 同時(shí)也吸引了全球范圍內(nèi)關(guān)注 LLM 應(yīng)用技術(shù)的創(chuàng)業(yè)者和服務(wù)商，他們可以基于 NVIDIA 的資源和生態(tài)，利用 Dify 作為開(kāi)發(fā)工具，創(chuàng)造出更多創(chuàng)新性 AI 產(chǎn)品和服務(wù)，帶來(lái)更多生態(tài)合作的空間。

NVIDIA 初創(chuàng)加速計(jì)劃

Dify.AI是 NVIDIA 初創(chuàng)加速計(jì)劃 (NVIDIA Inception) 會(huì)員企業(yè)。 NVIDIA 初創(chuàng)加速計(jì)劃為免費(fèi)會(huì)員制，旨在培養(yǎng)顛覆行業(yè)格局的優(yōu)秀創(chuàng)業(yè)公司。該計(jì)劃聯(lián)合國(guó)內(nèi)外知名的風(fēng)投機(jī)構(gòu)、創(chuàng)業(yè)孵化器、創(chuàng)業(yè)加速器、行業(yè)合作伙伴以及科技創(chuàng)業(yè)媒體等，打造創(chuàng)業(yè)加速生態(tài)系統(tǒng)。能夠提供產(chǎn)品折扣、技術(shù)支持、市場(chǎng)宣傳、融資對(duì)接、業(yè)務(wù)推薦等一系列服務(wù)，加速創(chuàng)業(yè)公司的發(fā)展。