案例簡(jiǎn)介

賴耶科技作為一家專注于人工智能領(lǐng)域的創(chuàng)新企業(yè)，于 2024 年正式加入NVIDIA 初創(chuàng)加速計(jì)劃（NVIDIA Inception Program），并在提高算力資源整合使用效率及效果領(lǐng)域，始終與 NVIDIA 技術(shù)團(tuán)隊(duì)保持合作。賴耶科技通過NVIDIA AI Enterprise平臺(tái)打造的超級(jí) AI 工廠，致力于加速大模型場(chǎng)景應(yīng)用的深化拓展及落地，為企業(yè)與個(gè)人開發(fā)者提供高性能的 Token 服務(wù)，助力新質(zhì)生產(chǎn)力加速發(fā)展。

大模型場(chǎng)景應(yīng)用落地的挑戰(zhàn)

賴耶科技的愿景是建立“人工智能工廠（AI Factory）”為客戶提供“開箱即用”的企業(yè)級(jí)人工智能解決方案。在大模型場(chǎng)景應(yīng)用落地過程中，行業(yè)面臨著諸多挑戰(zhàn)：

數(shù)據(jù)復(fù)雜性：大模型需要處理海量的數(shù)據(jù)，且數(shù)據(jù)來源多樣、格式復(fù)雜，如何有效地整合和管理這些復(fù)雜數(shù)據(jù)是一個(gè)重大挑戰(zhàn)。

計(jì)算資源需求：大模型的訓(xùn)練和推理需要大量的計(jì)算資源，包括 GPU 等硬件設(shè)備，這對(duì)企業(yè)的成本和技術(shù)實(shí)力提出了相對(duì)高的要求。

模型準(zhǔn)確性和可靠性：大模型的輸出結(jié)果直接影響到企業(yè)決策和業(yè)務(wù)發(fā)展，因此模型的準(zhǔn)確性和可靠性至關(guān)重要。

應(yīng)用場(chǎng)景適配：不同的企業(yè)和行業(yè)有不同的需求和應(yīng)用場(chǎng)景，如何將大模型適配到具體的場(chǎng)景中，以發(fā)揮其最大的價(jià)值，是一個(gè)亟待解決的問題。

NVIDIA AI Enterprise 最佳實(shí)踐，

推動(dòng)大模型應(yīng)用的超級(jí) AI 工廠

賴耶科技基于 NVIDIA 企業(yè) AI 套件 NVIDIA AI Enterprise 打造的賴耶超級(jí) AI 工廠，從構(gòu)成上分為基礎(chǔ)架構(gòu)、大模型生產(chǎn)框架和智能體應(yīng)用三部分。

基礎(chǔ)架構(gòu)層：作為賴耶超級(jí) AI 工廠的底層操作系統(tǒng)，是由萬(wàn)卡大規(guī)模集群管理系統(tǒng) KAA 和賴耶集群堆疊全棧優(yōu)化方案 MONA 組成?；?NVIDIA AI Enterprise 的 BCME（Base Command Manager Essentials）組件對(duì)萬(wàn)卡集群進(jìn)行部署和管理，實(shí)現(xiàn)了 IO 通訊優(yōu)化、資源虛擬化、云原生管理和編排、高性能多租戶隔離、計(jì)費(fèi)計(jì)量、動(dòng)態(tài)部署擴(kuò)展、GPU 驅(qū)動(dòng)適配等功能。

大模型生產(chǎn)框架：中間層的 MANAS 大模型生產(chǎn)框架基于 NVIDIA AI Enterprise 的NeMo Framework提供核心組件，涵蓋從數(shù)據(jù)處理到模型訓(xùn)練、模型對(duì)齊、模型微調(diào)和企業(yè)部署過程中對(duì)安全審查的安全護(hù)欄等全套功能。

智能體應(yīng)用層：最上層的 LIM（Laiye Inference Microservice） 智能體服務(wù)與生產(chǎn)工廠，是可快速部署的大模型微服務(wù)?；贜VIDIA NIM提供的核心能力，能夠在短時(shí)間內(nèi)完成系統(tǒng)集成。面向企業(yè) IT 團(tuán)隊(duì)，提供了易用無(wú)代碼化的多模態(tài)知識(shí)庫(kù)、多模態(tài)微調(diào)數(shù)據(jù)集、大模型微調(diào)定制和版本管理、多模態(tài)智能對(duì)話和企業(yè)搜索、行業(yè)智能體參考設(shè)計(jì)等一站式企業(yè)大模型定制化平臺(tái)。

賴耶超級(jí) AI 工廠提供企業(yè)大模型生產(chǎn)和場(chǎng)景應(yīng)用兩大核心功能，大模型生產(chǎn)功能包含了大規(guī)模 GPU 集群的組網(wǎng)調(diào)優(yōu)、模型的穩(wěn)定性訓(xùn)練和企業(yè)垂類大模型定制；企業(yè)場(chǎng)景應(yīng)用功能，提供了開箱即用的 OpenAI 兼容的大模型 API 微服務(wù)，以及屏蔽了 GPU 底層復(fù)雜技術(shù)細(xì)節(jié)的加速推理鏡像服務(wù)。

賴耶 AI 超級(jí)工廠是基于 NVIDIA AI Enterprise 的最佳實(shí)踐，目前已在多家千 P 級(jí)算力中心完成落地應(yīng)用，在大模型訓(xùn)練效率和推理性能上達(dá)到了同類型最佳水平，幫助各行各業(yè)的企業(yè)以更低成本、更快速度將大模型應(yīng)用到實(shí)際場(chǎng)景中。

北京賴耶信息科技有限公司 CEOLucas Dai 表示：“賴耶科技通過與 NVIDIA 團(tuán)隊(duì)合作，基于 NVIDIA AI Enterprise 打造的超級(jí) AI 工廠，幫助企業(yè)快速定制專屬的大模型。我們的平臺(tái)將企業(yè)從模型開發(fā)到應(yīng)用落地的周期從幾個(gè)月縮短至幾天或幾周，大幅提高了業(yè)務(wù)響應(yīng)速度，降低了運(yùn)營(yíng)成本。賴耶超級(jí) AI 工廠專注于為企業(yè)提供開箱即用的解決方案，推動(dòng)智能化轉(zhuǎn)型，助力企業(yè)在復(fù)雜的業(yè)務(wù)環(huán)境中取得更高效的成果?！?/p>

大模型場(chǎng)景應(yīng)用落地實(shí)例

案例一：多模塊混合架構(gòu)提升天氣預(yù)測(cè)能力

此氣象大模型在氣象領(lǐng)域表現(xiàn)突出，采用多模塊混合架構(gòu)，結(jié)合深度學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)物理模型，顯著提升長(zhǎng)期天氣模式預(yù)測(cè)能力。該模型能精準(zhǔn)捕捉從局地到全球的大氣動(dòng)力學(xué)特征，實(shí)現(xiàn)小時(shí)到月尺度的高精度預(yù)報(bào)，最高空間分辨率達(dá) 1 公里。

通過多尺度輸入處理、先進(jìn)編碼器等核心組件的協(xié)同工作，該模型在國(guó)際測(cè)試中預(yù)報(bào)精度超越傳統(tǒng)數(shù)值模型，特別在 7-15 天的中期預(yù)報(bào)中提高近 20%，15-30 天的超長(zhǎng)期預(yù)報(bào)達(dá)到傳統(tǒng)模型 7 天水平。賴耶科技基于 NVIDIA AI Enterprise 提供的加速組件，讓計(jì)算效率提升近萬(wàn)倍，實(shí)現(xiàn)全球尺度和百米局地尺度間無(wú)縫切換，預(yù)報(bào)期延長(zhǎng)至 30 天。

案例二：優(yōu)化數(shù)據(jù)處理與分析效率

賴耶大模型的 API 服務(wù)是基于 NVIDIA NIM 提供快速和穩(wěn)定模型部署和發(fā)布，其成功實(shí)現(xiàn)了大模型在大數(shù)據(jù)企業(yè)應(yīng)用中的落地。該平臺(tái)賦能企業(yè)內(nèi)部各部門，不僅提升了數(shù)據(jù)處理和分析的效率，還通過大模型的強(qiáng)大自然語(yǔ)言處理能力，優(yōu)化了企業(yè)的內(nèi)部溝通和客戶服務(wù)流程。平臺(tái)亦可快速生成復(fù)雜的商業(yè)報(bào)告，幫助管理層做出更明智的決策。

案例三：提升集群管理與算力利用率

該算力中心部署了賴耶超級(jí) AI 工廠，對(duì)萬(wàn)卡規(guī)模的集群進(jìn)行管理和性能優(yōu)化，提供了高度可靠的模型訓(xùn)練服務(wù)，對(duì)整體集群的模型算力利用率 MFU（Model FLOPs Utilization）提升了 2 倍，并且提供的大模型 API 微服務(wù)，面向區(qū)域內(nèi)客戶提供大模型服務(wù)，實(shí)現(xiàn)了從算力運(yùn)營(yíng)到 Token 運(yùn)營(yíng)的轉(zhuǎn)變，達(dá)到了算力增值運(yùn)營(yíng)的目的，也讓企業(yè)能更便捷地使用大模型。

未來展望

期望在不久的將來，大模型能在更多領(lǐng)域得到廣泛應(yīng)用，不僅惠及更多企業(yè)，還將為社會(huì)的發(fā)展帶來更多價(jià)值。賴耶科技將繼續(xù)與 NVIDIA 技術(shù)團(tuán)隊(duì)合作，為企業(yè)實(shí)現(xiàn)大模型 Token 賦能，加速大模型場(chǎng)景應(yīng)用落地。