91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

像Docker一樣編排大模型應(yīng)用程序

jf_WZTOguxH ? 來源:AI前線 ? 2023-11-25 14:53 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

大模型浪潮正在重構(gòu)千行百業(yè)??梢灶A(yù)見的是,隨著技術(shù)的不斷進(jìn)步以及應(yīng)用場景的不斷擴(kuò)展,基于大模型的 AI 應(yīng)用將會(huì)不斷涌現(xiàn),并成為推動(dòng) AI 產(chǎn)業(yè)發(fā)展的重要力量。

但在當(dāng)下,大模型應(yīng)?落地還面臨諸多挑戰(zhàn)。具體而言,不少開發(fā)團(tuán)隊(duì)還未適應(yīng)大模型編程的需求,對大模型的實(shí)際應(yīng)用場景理解、工具的選擇(例如中間件、向量數(shù)據(jù)庫等),以及團(tuán)隊(duì)的協(xié)作模式、如何構(gòu)建 Prompt 等方面都存在一定的認(rèn)知偏差。在應(yīng)用大模型的過程中,如果仍采用傳統(tǒng)的軟件工程方法,很可能會(huì)遇到困難。因此,開發(fā)團(tuán)隊(duì)需要在大模型技術(shù)棧方面建立更多的共識,對于如何使用 RAG(Retrieval Augmented Generation)或者微調(diào)等應(yīng)該有更明確的工作流程。

“我們對大模型的未來潛力持樂觀態(tài)度,它確實(shí)能夠帶來巨大的價(jià)值。但我們也發(fā)現(xiàn),很多開發(fā)者和行業(yè)專家都會(huì)談?wù)摯笮湍P偷奈磥恚皇乾F(xiàn)在?!盌ify.AI 創(chuàng)始人兼 CEO 張路宇近日在接受 InfoQ 采訪時(shí)提到,目前大模型的實(shí)際落地和應(yīng)用仍然不夠成熟,當(dāng)前大眾對大模型的期望值與實(shí)際技術(shù)發(fā)展并不匹配。開發(fā)者要想在當(dāng)前技術(shù)的范圍和邊界內(nèi)做出權(quán)衡,并創(chuàng)建出優(yōu)秀的應(yīng)用程序,是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。

在這一背景下,2023 年 3 月,張路宇帶領(lǐng)團(tuán)隊(duì)創(chuàng)建了開源 LLMOps 平臺(tái) Dify.AI,旨在幫助開發(fā)者更簡單、更快速地構(gòu)建 AI 應(yīng)用,開發(fā)者無需關(guān)注基礎(chǔ)設(shè)施的底層原理,只需專注于將想象力轉(zhuǎn)化為實(shí)際落地的 AI 應(yīng)用并持續(xù)運(yùn)營。據(jù)介紹,Dify 一詞源自 Define + Modify,意指“定義并且持續(xù)的改進(jìn)你的 AI 應(yīng)用”,代表了幫助開發(fā)人員不斷改進(jìn)其 AI 應(yīng)用程序的愿景。此外,Dify 可以理解為 “Do it for you”。

目前,Dify.AI 的 GitHub Star 數(shù)已經(jīng)超過 9k,支持的大模型包括 OpenAI 的 GPT 系列、Anthropic 的 Claude 系列、Azure OpenAI 系列、Llama2、ChatGLM、Baichuan、Qwen-7B 等等,并擁有超過 7 萬個(gè)基于大模型的應(yīng)用。

GitHub 地址:
https://github.com/langgenius/dify

創(chuàng)業(yè)需要天時(shí)、地利、人和

“我不是一個(gè)輕易創(chuàng)業(yè)的人。我喜歡從零開始與多年來緊密合作的伙伴一起構(gòu)建產(chǎn)品,因?yàn)槲覀冎g默契十足,有共同的認(rèn)知。我擅長做冷啟動(dòng)、從零到一的創(chuàng)新項(xiàng)目,并特別享受這個(gè)過程。我們有足夠的耐心,不僅僅是為了快速賺錢,而是要基于我們的優(yōu)勢和價(jià)值來創(chuàng)造事物?!毖矍斑@個(gè)年輕的創(chuàng)業(yè)者名叫張路宇,他擁有超過 11 年的互聯(lián)?從業(yè)經(jīng)驗(yàn),對產(chǎn)品設(shè)計(jì)、敏捷項(xiàng)?管理、 DevOps、學(xué)習(xí)型組織?化與 Web 應(yīng)?開發(fā)有著深刻理解。在創(chuàng)辦 Dify.AI 以前,張路宇曾擔(dān)任 SaaS 公司技術(shù)產(chǎn)品負(fù)責(zé)人,在企業(yè)服務(wù)、?具軟件領(lǐng)域的 SaaS 產(chǎn)品、運(yùn)營和技術(shù)管理上有著豐富經(jīng)驗(yàn)。

在張路宇看來,創(chuàng)業(yè)不是一件頭腦一熱的事情,而是需要天時(shí)、地利、人和的全方位考慮。

天時(shí)方面,去年年底 ChatGPT 大模型的爆火成功掀起了 AI 大模型熱潮,無數(shù)開發(fā)者涌入 AI 賽道,開始基于 AI 大模型做應(yīng)用創(chuàng)新。然而,彼時(shí)市場上的中間件和 LangChain 等框架并沒有完全產(chǎn)品化,缺乏持續(xù)運(yùn)營和面向非技術(shù)人員友好的理念。

張路宇認(rèn)為,在大模型時(shí)代,技術(shù)和非技術(shù)人員都應(yīng)該有機(jī)會(huì)參與大模型的構(gòu)建和定制。但實(shí)際上只有少數(shù)程序員在進(jìn)行這樣的工作,大多數(shù)人雖然擁有領(lǐng)域知識,卻無法參與。“這促使我們考慮基于大模型的微調(diào)和嵌入式二次開發(fā),但這個(gè)過程非常痛苦,缺乏界面化,數(shù)據(jù)準(zhǔn)備工作也很復(fù)雜。到了 2023 年 2 月,當(dāng)我們嘗試將大模型集成到自己的產(chǎn)品中時(shí),發(fā)現(xiàn)了很多問題。同時(shí),我們也沒有找到市場上任何好的產(chǎn)品,于是決定著手解決 LLMOps 問題,這就是我們創(chuàng)建 Dify 的初衷?!?/p>

地利方面,Dify 團(tuán)隊(duì)立足于國內(nèi),以蘇州為基地。過去很多國內(nèi)公司采用“復(fù)制到中國”的模式,復(fù)制海外的產(chǎn)品并在中國市場推廣,但這個(gè)路徑并不適合中國的 SaaS 市場。張路宇認(rèn)為,做產(chǎn)品最大的難點(diǎn)并不是技術(shù)工程,而是找到未被滿足的市場需求,這是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。如今,中國團(tuán)隊(duì)在大模型領(lǐng)域與歐美團(tuán)隊(duì)站在同一起跑線上,市場雖然不是完全空白的,但仍處于早期狀態(tài)。同時(shí),中國團(tuán)隊(duì)在組織能力、產(chǎn)品能力和成本三大方面具有優(yōu)勢。以往中國團(tuán)隊(duì)在創(chuàng)新價(jià)值不足的情況下,通常將工作轉(zhuǎn)變?yōu)閯趧?dòng)密集型,因此軟件團(tuán)隊(duì)面臨很大壓力。但在大模型時(shí)代,中國團(tuán)隊(duì)有機(jī)會(huì)在全球市場同其他團(tuán)隊(duì)競爭。

人和方面,張路宇在 Dify 項(xiàng)目啟動(dòng)之初迅速召集了 16 位團(tuán)隊(duì)成員,其中大多是他的老朋友或信任的人,大家志同道合,都對 SaaS 和工具行業(yè)充滿熱情?!霸趧?chuàng)業(yè)初期,一些朋友和投資人認(rèn)為市場潛力巨大,但競爭也激烈。云服務(wù)提供商、大模型公司以及機(jī)器學(xué)習(xí)和運(yùn)營的公司都進(jìn)入這個(gè)領(lǐng)域。我們的挑戰(zhàn)在于如何應(yīng)對競爭。這需要認(rèn)知,團(tuán)隊(duì)的默契、執(zhí)行力和品味等多元因素。雖然融資可能不難,但要構(gòu)建一個(gè)團(tuán)隊(duì)并取得成功非常困難?!?/p>

與其他技術(shù)團(tuán)隊(duì)相比,張路宇認(rèn)為 Dify 團(tuán)隊(duì)的優(yōu)勢在于大家深耕開發(fā)者產(chǎn)品領(lǐng)域,深刻了解開發(fā)者需要的工具體驗(yàn)。團(tuán)隊(duì)在產(chǎn)品設(shè)計(jì)和交互設(shè)計(jì)方面積累了豐富的知識和經(jīng)驗(yàn),能夠開發(fā)出用戶友好且高質(zhì)量的產(chǎn)品。同時(shí),Dify 團(tuán)隊(duì)在國內(nèi)從事開發(fā)者業(yè)務(wù)四年以上,對國內(nèi)開發(fā)者市場的特點(diǎn)、需求和市場規(guī)模有比較清晰的認(rèn)知,了解不同類型的客戶在決策流程和購買習(xí)慣上的差異,能夠更準(zhǔn)確地定位產(chǎn)品在不同市場的定價(jià)策略。

此外,Dify 團(tuán)隊(duì)從 DevOps 領(lǐng)域帶來了寶貴的經(jīng)驗(yàn),“我們堅(jiān)信所有的 AI 應(yīng)用最終都需要部署和運(yùn)維,因此我們注重成本控制、可用性監(jiān)測和數(shù)據(jù)運(yùn)營。我們認(rèn)為 LLMOps 非常重要,因?yàn)樗梢宰尫羌夹g(shù)人員更好地參與到 AI 應(yīng)用的運(yùn)作中?!?/p>

目前,大家對 LLMOps 普遍存在兩種理解:一種是偏向后端,即模型的運(yùn)維,既延續(xù)了傳統(tǒng) MLOps 的理念,又專注于基于大型模型進(jìn)行訓(xùn)練和推理等任務(wù);另一種更偏向前端,核心在于 Prompt 工程和問題的編排,而與外部數(shù)據(jù)的接入等因素可能關(guān)系較小。Dify 團(tuán)隊(duì)更偏向于后者,他們認(rèn)為更準(zhǔn)確的描述應(yīng)該是“大型模型應(yīng)用的運(yùn)營”——大模型在發(fā)布后通常不需要太多運(yùn)維工作,而且“Ops”對于大多數(shù)開發(fā)者來說可能不那么相關(guān)。

“我們對 LLMOps 的核心理解保持不變”,張路宇表示,首先,大模型應(yīng)用的運(yùn)營至關(guān)重要,包括其可視化、透明度和可解釋性,這與傳統(tǒng)軟件工程的部署環(huán)節(jié)非常相似,不能被忽視。關(guān)鍵理念是通過實(shí)時(shí)數(shù)據(jù)持續(xù)改進(jìn)應(yīng)用模型或數(shù)據(jù),而不是通過一次性的并行決策。其次,LLMOps 應(yīng)該面向所有人,而不僅僅是技術(shù)人員。“只有實(shí)現(xiàn)了這兩點(diǎn),我們才能認(rèn)為它是真正的 LLMOps,大多數(shù)人都可以參與其運(yùn)營,并且該運(yùn)營基于線上反饋數(shù)據(jù)來不斷改進(jìn)應(yīng)用程序。”

大模型時(shí)代的創(chuàng)業(yè)范式

從 2023 年 2 月份開始籌備,到 3 月 1 日正式啟動(dòng),再到 5 月初成功上線第一個(gè)正式版本,Dify 團(tuán)隊(duì)始終保持著創(chuàng)業(yè)公司的快節(jié)奏。

張路宇認(rèn)為,在大模型和快速變化的市場中,團(tuán)隊(duì)需要成為學(xué)習(xí)型組織,積極吸收和處理大量信息,并將其整合到產(chǎn)品開發(fā)中。這對于應(yīng)對不斷變化的市場需求非常關(guān)鍵。

在 Dify 團(tuán)隊(duì),尤其注重技術(shù)前沿信息的探索研究。具體來說,Dify 團(tuán)隊(duì)設(shè)立了一個(gè)信息加工機(jī)制,類似于一個(gè)知識庫,其中包含大量有關(guān)市場情報(bào)、技術(shù)前沿和新項(xiàng)目的信息。團(tuán)隊(duì)成員每天采集各種信息,并將其分類整理。這個(gè)信息組織機(jī)制是核心資產(chǎn)之一,已經(jīng)積累了上千條資訊,并持續(xù)對其進(jìn)行加工和分類。信息分類涵蓋了大模型、云廠商、軟件工程、中間件基礎(chǔ)、應(yīng)用等多個(gè)層次。團(tuán)隊(duì)通過關(guān)注科學(xué)進(jìn)展、最新技術(shù)論文、頭部產(chǎn)品和趨勢,指導(dǎo)自身做決策,并從其他行業(yè)的經(jīng)驗(yàn)中汲取教訓(xùn)。

“這個(gè)信息組織機(jī)制面臨著復(fù)雜、快速變化和高度規(guī)則化的挑戰(zhàn)。它需要確保團(tuán)隊(duì)中的每個(gè)成員都能共享相同的認(rèn)知,并能夠快速適應(yīng)不斷變化的市場需求。這個(gè)信息組織機(jī)制對我們的團(tuán)隊(duì)來說是一個(gè)重要的工具,可以幫助我們更好地理解市場和技術(shù)趨勢,從而為產(chǎn)品的發(fā)展提供指導(dǎo)。同時(shí),它也是我們團(tuán)隊(duì)?wèi)?yīng)對市場變化和快速?zèng)Q策的關(guān)鍵因素之一?!睆埪酚钫f道。

在 Dify 整個(gè)產(chǎn)品設(shè)計(jì)與開發(fā)過程中,也出現(xiàn)了大模型的身影。據(jù)介紹,在 Dify 早期產(chǎn)品的原型階段,GPT-4 發(fā)揮了重要作用。當(dāng)時(shí),Dify 團(tuán)隊(duì)采用 GPT-4 來創(chuàng)建概念設(shè)計(jì)和原型設(shè)計(jì),GPT-4 能夠非常準(zhǔn)確地理解產(chǎn)品需求,并提供許多創(chuàng)意性的解決方案。目前,Dify 的代碼量已經(jīng)超過 9 萬行,與一些主流項(xiàng)目相比,代碼量和復(fù)雜度不相上下。在 Dify 的開發(fā)過程中,GPT-4 參與了其中 40% 左右的編碼,AI 輔助編程讓 Dify 團(tuán)隊(duì)的開發(fā)效率提高了至少一倍。

“對我個(gè)人而言,我覺得我的編程效率可能提高了 3 倍以上,甚至可能更多。如果你是一個(gè)能夠調(diào)動(dòng)大量資源的工程師,你就像一支強(qiáng)大的軍隊(duì),那么 AI 會(huì)讓你更強(qiáng)大數(shù)倍。但如果你原本不是那么強(qiáng)的工程師,缺乏宏觀的設(shè)計(jì)能力,只是逐行編寫代碼,那么 AI 對你的幫助就相對較少?!睆埪酚钫J(rèn)為,在善用 AI 的情況下,理論上一個(gè)團(tuán)隊(duì)可以實(shí)現(xiàn) 3 倍的產(chǎn)能,而不需要增加人員。“這是我觀察到的情況,我身邊的團(tuán)隊(duì)都在積極擁抱 AI 編程,我們的團(tuán)隊(duì)全員都在使用,他們確實(shí)認(rèn)為這可以為他們帶來巨大的幫助?!?/p>

開源與商業(yè)化探索

在創(chuàng)業(yè)的前幾個(gè)月,Dify 團(tuán)隊(duì)完全沒有收入,第一個(gè)正式版本上線后,如何商業(yè)化成了團(tuán)隊(duì)的下一個(gè)目標(biāo)。

在商業(yè)化這件事上,張路宇有著自己的判斷——開源,“如果不開源,我們將無法取得成功?!边@與傳統(tǒng) SaaS 產(chǎn)品的增長路徑有所不同。由于市場已經(jīng)飽和,傳統(tǒng) SaaS 產(chǎn)品在市場上進(jìn)行推廣時(shí),通常會(huì)經(jīng)歷緩慢的增長過程,在獲得客戶和市場滲透方面需要花費(fèi)很長時(shí)間。在這個(gè)過程中,公司會(huì)不斷進(jìn)行成本 - 收益分析,以確保獲客成本(CAC)不高于長期用戶價(jià)值(LTV)。這是傳統(tǒng) SaaS 產(chǎn)品的數(shù)字游戲,可能需要數(shù)年甚至更長時(shí)間的發(fā)展周期,甚至可能會(huì)錯(cuò)失一些市場機(jī)會(huì)。

然而,對于大模型產(chǎn)品來說情況并不同。大模型時(shí)代涌現(xiàn)出了不少商業(yè)機(jī)遇,無數(shù)個(gè)創(chuàng)業(yè)團(tuán)隊(duì)猶如千軍萬馬過獨(dú)木橋,此時(shí)大家的首要目標(biāo)是最大化獲客,并獲得全球開發(fā)者的認(rèn)可。

“我們注意到,在當(dāng)前大模型創(chuàng)業(yè)潮中,許多企業(yè)選擇了開源。開源意味著獲客成本很低,可以解決全球范圍內(nèi)的問題,例如美國的團(tuán)隊(duì)可以輕松滲透美國或其他海外市場,因?yàn)樗麄儽就粱Z言和文化相似。通過選擇開源,可以更快地實(shí)現(xiàn)增長,并占據(jù)更大的市場份額,然后再開始商業(yè)化。這條路徑可以確保我們?nèi)〉贸晒ΑO喾?,如果首先商業(yè)化再考慮開源,我們可能只能獲得短期內(nèi)的一些收入,而且這些收入可能會(huì)在幾個(gè)月內(nèi)消失。這就是我們的判斷?!睆埪酚罘治龅?。

5 月 中旬,Dify 宣布 46558 行代碼完全開源,并臨時(shí)決定將開源協(xié)議從 AGPL 放寬到 Apache 2.0。張路宇表示:

開源!從第一天起我們就志在要代表中國團(tuán)隊(duì)做一個(gè)像 Docker、Stripe 那樣的世界級產(chǎn)品,一個(gè)大模型能力上的 OS。雖然過去八周我們沒日沒夜才做出產(chǎn)品現(xiàn)在的樣子,但即使要推倒重來我們也做好了準(zhǔn)備,所以開源我們毫不猶豫。Dify 要在開源中學(xué)習(xí)、成長。 開源只是 Dify 的一小步,但這是全球開發(fā)者解鎖 LLM 潛力的一大步。它目前還不完美,但在與社區(qū)共創(chuàng)、共建的過程中會(huì)成為全世界 Prompt 工程師最喜愛的產(chǎn)品。 No waiting list. No copy to China. 相信社區(qū)的力量!

6 月,Dify 有了第一筆商業(yè)收入。在張路宇看來,雖然公開源碼不難,但在開源的同時(shí)保護(hù)知識產(chǎn)權(quán)和商業(yè)化路徑才是挑戰(zhàn)。

首先,需要選擇一個(gè)合適的開源協(xié)議,以確保在開源的同時(shí)能夠保護(hù)知識產(chǎn)權(quán)和商業(yè)化機(jī)會(huì)。對于 Dify 項(xiàng)目來說,團(tuán)隊(duì)設(shè)計(jì)了一個(gè)混合開源協(xié)議,基于 Apache 2.0,并增加了一些特定條款。

其次,還需要思考如何有效地組織外部貢獻(xiàn)者的參與。需要讓外部貢獻(xiàn)者知道如何參與、從何處開始、如何建立開發(fā)環(huán)境以及需要滿足哪些要求。以 Dify 項(xiàng)目為例,該項(xiàng)目涉及多個(gè)層次,如模型驅(qū)動(dòng)、插件、數(shù)據(jù)庫支持等,有很多可以擴(kuò)展的點(diǎn)。外部貢獻(xiàn)者想要參與時(shí),Dify 需要提供貢獻(xiàn)指南,并協(xié)調(diào)他們進(jìn)行參與?!拔覀儗⑺性?GitHub 上提供代碼的貢獻(xiàn)者都組織到一個(gè)群組中,然后與他們一對一交流,了解他們的情況、貢獻(xiàn)時(shí)間、動(dòng)機(jī)以及他們在企業(yè)內(nèi)部的工作情況等。管理和組織這些外部貢獻(xiàn)者團(tuán)隊(duì)是一個(gè)重大挑戰(zhàn)。你需要提供支持和服務(wù),幫助他們理解如何貢獻(xiàn),尤其是當(dāng)他們不在同一辦公地點(diǎn)、不了解你的產(chǎn)品路線圖、缺少信息共享時(shí)。這些都是相當(dāng)困難的任務(wù)?!?/p>

大模型中間件產(chǎn)品如何走向未來?

在大模型創(chuàng)業(yè)浪潮下,選好賽道是關(guān)鍵。有觀點(diǎn)認(rèn)為,AI 大模型和垂直應(yīng)用模型的爆發(fā)將會(huì)加大中間件的需求。結(jié)合過往的工作經(jīng)驗(yàn)以及對大模型的理解,Dify 團(tuán)隊(duì)選擇聚焦大模型中間件賽道,但這條路走得并不輕松。

在這波創(chuàng)業(yè)浪潮中,有人專注于模型開發(fā),有人致力于應(yīng)用推廣。模型開發(fā)相當(dāng)于創(chuàng)業(yè)團(tuán)隊(duì)需要進(jìn)行軍備競賽和科研競賽,要進(jìn)行大量的實(shí)驗(yàn)。其中的方法論基本都能夠在開放的文獻(xiàn)中找到,創(chuàng)業(yè)團(tuán)隊(duì)的主要工作是準(zhǔn)備數(shù)據(jù)來進(jìn)行模型訓(xùn)練。這些是實(shí)驗(yàn)性的工程,變數(shù)不多。而應(yīng)用推廣需要快速迭代,需要滿足特定人群的特定需求。中間件則不同,創(chuàng)業(yè)團(tuán)隊(duì)需要同時(shí)考慮大模型技術(shù)的進(jìn)展,以及開發(fā)者如何利用這些能力來構(gòu)建應(yīng)用。既要在這兩個(gè)方向上進(jìn)行抽象,又要了解開發(fā)者的需求和消費(fèi)習(xí)慣。

目前,Dify 已經(jīng)形成了一套基本的方法論:

信息處理是關(guān)鍵。Dify 團(tuán)隊(duì)會(huì)定期跟蹤市場上所有與 AI 相關(guān)的開源或產(chǎn)品,了解它們的增長趨勢。研究哪些產(chǎn)品在上周表現(xiàn)出色,增速超過了預(yù)期。然后進(jìn)行反向工程,分析它們的產(chǎn)品理念和增長路徑。這個(gè)跟蹤和反向工程的工作非常重要。

找到自己在全球大模型生態(tài)系統(tǒng)中的生態(tài)位,理清與上下游產(chǎn)品的關(guān)系,例如與大模型、云廠商、應(yīng)用和向量數(shù)據(jù)庫等產(chǎn)品的關(guān)系。只有思考清楚并找到自己的定位,才能在市場上真正站穩(wěn)腳跟,將產(chǎn)品持續(xù)發(fā)展下去。

同時(shí),Dify 團(tuán)隊(duì)還構(gòu)思了一個(gè)遠(yuǎn)景:未來大型模型的提示在合理的組織下,應(yīng)該以服務(wù)的形式提供給其他應(yīng)用程序。Dify 的整個(gè)架構(gòu)都是圍繞這一理念進(jìn)行設(shè)計(jì)的。

“我們深信未來,通過 Dify 編排的應(yīng)用程序?qū)⒛軌蛳?Docker 容器一樣,使用簡單的聲明性文件來運(yùn)行并在不同環(huán)境中傳播。這與當(dāng)前的做法有很大不同。目前,包括 LangChain 在內(nèi)的一些產(chǎn)品都采用硬編碼的方式,用傳統(tǒng)的代碼來管理大型模型的各種功能,以解決問題。我們相信這個(gè)設(shè)計(jì)上的差異將是我們與其他產(chǎn)品之間的最大不同之處,我們堅(jiān)信這個(gè)理念是可行的。”張路宇說道。

誠然,在中短期內(nèi),大模型仍然是一個(gè)處于早期階段的技術(shù),甚至存在諸多問題,如上下文窗口、性能、成本等等,這些都會(huì)影響開發(fā)者理解和應(yīng)用。開發(fā)者在開發(fā)基于大型模型的應(yīng)用時(shí),也總會(huì)遇到各式各樣的挑戰(zhàn)。而這也是大模型中間件產(chǎn)品存在的意義——在短期內(nèi),必須幫助開發(fā)者解決當(dāng)前階段的問題。

“我認(rèn)為當(dāng)前大模型正處于一個(gè)比較早期的階段,大家都在探索,嘗試推動(dòng)模型的能力邊界,但距離模型的完全落地還存在一些挑戰(zhàn)。目前,我們最重要的指標(biāo)應(yīng)該是讓具備能力的開發(fā)者能夠?qū)⒋竽P蛻?yīng)用于生產(chǎn)環(huán)境并成功落地。這個(gè)目標(biāo)可以被視為我們的北極星指標(biāo),即投產(chǎn)的應(yīng)用數(shù)量。其他指標(biāo),比如我們的 Star 數(shù)量、今年的收入增長等,都相對不那么重要,都是些虛榮指標(biāo),不能真正反映出我們面臨的主要挑戰(zhàn)。真正關(guān)鍵的是有多少應(yīng)用程序正在使用大模型或使用 Dify 這樣的中間件,最終能夠成功交付他們的產(chǎn)品。這才是我們最需要關(guān)注的重點(diǎn)?!睆埪酚钫f道。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 應(yīng)用程序
    +關(guān)注

    關(guān)注

    38

    文章

    3346

    瀏覽量

    60364
  • Docker
    +關(guān)注

    關(guān)注

    0

    文章

    534

    瀏覽量

    14345
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    3714

    瀏覽量

    5231

原文標(biāo)題:像Docker一樣編排大模型應(yīng)用程序:這支十余人的年輕創(chuàng)業(yè)團(tuán)隊(duì)如何在2個(gè)月做出一個(gè)LLMOps平臺(tái)?

文章出處:【微信號:AI前線,微信公眾號:AI前線】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    800V超充技術(shù):讓電動(dòng)汽車補(bǔ)能加油一樣

    2024年以來,800V高壓平臺(tái)成為新能源車企競逐焦點(diǎn)。小米SU7Ultra、極氪007、智己LS6等車型相繼量產(chǎn),“讓補(bǔ)能加油一樣快捷”從實(shí)驗(yàn)室走進(jìn)現(xiàn)實(shí)生活。2026年3月,比亞
    的頭像 發(fā)表于 03-20 11:40 ?280次閱讀
    800V超充技術(shù):讓電動(dòng)汽車補(bǔ)能<b class='flag-5'>像</b>加油<b class='flag-5'>一樣</b>快

    不只是工具,更是平臺(tái),易工(TQKIT)讓系統(tǒng)功能調(diào)用寫應(yīng)用邏輯一樣簡單

    易工(TQKIT)展示了天嵌在 Android系統(tǒng)級能力封裝上的深厚積累。通過自研系統(tǒng)封裝庫,易工(TQKIT)將復(fù)雜的系統(tǒng)控制能力以接口形式開放給開發(fā)者,讓系統(tǒng)功能調(diào)用寫應(yīng)用邏輯一樣簡單。
    的頭像 發(fā)表于 12-05 16:53 ?326次閱讀
    不只是工具,更是平臺(tái),易工(TQKIT)讓系統(tǒng)功能調(diào)用<b class='flag-5'>像</b>寫應(yīng)用邏輯<b class='flag-5'>一樣</b>簡單

    連載|開發(fā)工具,易安卓讓系統(tǒng)功能調(diào)用寫應(yīng)用邏輯一樣簡單

    通過自研系統(tǒng)封裝庫,易安卓將復(fù)雜的系統(tǒng)控制能力以接口形式開放給開發(fā)者,讓系統(tǒng)功能調(diào)用寫應(yīng)用邏輯一樣簡單。
    的頭像 發(fā)表于 11-27 11:40 ?87次閱讀
    連載|開發(fā)工具,易安卓讓系統(tǒng)功能調(diào)用<b class='flag-5'>像</b>寫應(yīng)用邏輯<b class='flag-5'>一樣</b>簡單

    STM32H750的SD卡必須復(fù)位次才能掛載成功,否則就像死機(jī)了一樣,如何解決?

    STM32H750,SD卡接在SDMMC1上,JTAG仿真時(shí),可以mount上,拔掉卡后,也可以unmount掉。拔掉仿真器時(shí),程序死機(jī)了一樣,但是,只要把NRST引腳和地短路下,
    發(fā)表于 11-05 08:15

    一樣的展會(huì),不一樣的精彩 2025灣芯展圓滿收官

    10月17日,2025灣區(qū)半導(dǎo)體產(chǎn)業(yè)生態(tài)博覽會(huì)(2025灣芯展)在深圳會(huì)展中心(福田)圓滿收官。全球600多家展商、超30場論壇,在6萬平方米的展區(qū)內(nèi),打造場“不一樣的展會(huì)”,呈現(xiàn)出“不一樣的精彩
    的頭像 發(fā)表于 10-29 16:56 ?1420次閱讀
    不<b class='flag-5'>一樣</b>的展會(huì),不<b class='flag-5'>一樣</b>的精彩 2025灣芯展圓滿收官

    一樣的展會(huì),不一樣的精彩:2025灣芯展順利收官

    內(nèi),打造場"不一樣的展會(huì)",呈現(xiàn)出"不一樣的精彩"。本屆展會(huì)人氣火爆,展期三天累計(jì)接待總量達(dá)到11.23萬人次。參展企業(yè)集中發(fā)布年度新品數(shù)約2500件,新品發(fā)布與商業(yè)合作收獲頗豐。 ? 不
    的頭像 發(fā)表于 10-19 20:27 ?792次閱讀
    不<b class='flag-5'>一樣</b>的展會(huì),不<b class='flag-5'>一樣</b>的精彩:2025灣芯展順利收官

    怎么kell一樣設(shè)置rom下載起始地址?

    如題,怎么kell一樣設(shè)置rom下載起始地址?
    發(fā)表于 10-10 07:21

    現(xiàn)場解決EMC電磁輻射干擾:“望聞問切”,中醫(yī)一樣

    南柯電子|現(xiàn)場解決EMC電磁輻射干擾:“望聞問切”,中醫(yī)一樣
    的頭像 發(fā)表于 09-04 09:47 ?971次閱讀

    深入剖析兩大容器編排平臺(tái)的核心差異

    作為名運(yùn)維工程師,我在過去三年中見證了無數(shù)團(tuán)隊(duì)在容器編排技術(shù)選型上的糾結(jié)。有的團(tuán)隊(duì)盲目跟風(fēng)Kubernetes,結(jié)果被復(fù)雜度壓垮;有的團(tuán)隊(duì)固守Docker Swarm,卻在業(yè)務(wù)擴(kuò)張時(shí)遭遇瓶頸。
    的頭像 發(fā)表于 08-20 16:25 ?864次閱讀

    在ModusToolbox2.3下,基于BTSDK3.1開發(fā)cyw20719b2程序,是否可以wiced studio一樣設(shè)置?

    請問在ModusToolbox2.3下,基于BTSDK3.1開發(fā)cyw20719b2程序,是否可以wiced studio一樣設(shè)置: APP_XIP=1 將程序中的函數(shù)從on-chi
    發(fā)表于 07-08 06:52

    創(chuàng)龍 瑞芯微 RK3562 國產(chǎn) 2GHz 四核A53 工業(yè)開發(fā)板—Docker容器部署方法說明

    不會(huì)有任何接口。使用Docker,可管理應(yīng)用程序一樣管理基礎(chǔ)結(jié)構(gòu)。通過利用Docker的快速發(fā)布、測試和部署代碼的方法,可顯著減少產(chǎn)品開發(fā)
    的頭像 發(fā)表于 07-03 11:00 ?622次閱讀
    創(chuàng)龍 瑞芯微 RK3562 國產(chǎn) 2GHz 四核A53 工業(yè)開發(fā)板—<b class='flag-5'>Docker</b>容器部署方法說明

    如何使用Docker部署大模型

    隨著深度學(xué)習(xí)和大模型的快速發(fā)展,如何高效地部署這些模型成為了個(gè)重要的挑戰(zhàn)。Docker 作為種輕量級的容器化技術(shù),能夠?qū)?/div>
    的頭像 發(fā)表于 05-24 16:39 ?1243次閱讀

    Docker基本命令及其用例

    Docker 已迅速成為容器化應(yīng)用程序的事實(shí)標(biāo)準(zhǔn)。作為開發(fā)人員或 DevOps 工程師/系統(tǒng)管理員,熟悉 Docker 對于高效部署現(xiàn)代、可移植的應(yīng)用程序至關(guān)重要。
    的頭像 發(fā)表于 04-30 10:04 ?783次閱讀

    CoT 數(shù)據(jù)集如何讓大模型學(xué)會(huì)步思考?

    目前,大模型的回答路徑基本遵循 input-output 的方式,在面對復(fù)雜任務(wù)時(shí)表現(xiàn)不佳。反之,人類會(huì)遵循套有條理的思維流程,逐步推理得出正確答案。這種差異促使人們深入思考:如何才能讓大模型“智能涌現(xiàn)”,學(xué)會(huì)
    的頭像 發(fā)表于 04-24 16:51 ?1497次閱讀
    CoT 數(shù)據(jù)集如何讓大<b class='flag-5'>模型</b>學(xué)會(huì)<b class='flag-5'>一</b>步<b class='flag-5'>一</b>步思考?

    【技術(shù)案例】Android in Docker

    Docker介紹Docker個(gè)開源的容器化平臺(tái),用于打包、分發(fā)和運(yùn)行應(yīng)用程序。它通過將應(yīng)用及其所有依賴打包到獨(dú)立的容器中,確保應(yīng)用在不同環(huán)境中
    的頭像 發(fā)表于 04-02 16:33 ?1865次閱讀
    【技術(shù)案例】Android in <b class='flag-5'>Docker</b>