91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

AI模型是如何訓(xùn)練的?訓(xùn)練一個模型花費多大?

Carol Li ? 來源:電子發(fā)燒友網(wǎng) ? 作者:李彎彎 ? 2022-10-23 00:19 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發(fā)燒友網(wǎng)報道(文/李彎彎)在深度學(xué)習(xí)中,經(jīng)常聽到一個詞“模型訓(xùn)練”,但是模型是什么?又是怎么訓(xùn)練的?在人工智能中,面對大量的數(shù)據(jù),要在雜亂無章的內(nèi)容中,準確、容易地識別,輸出需要的圖像/語音,并不容易。因此算法顯得尤為重要。算法也就是模型。
算法的內(nèi)容,除了核心識別引擎,也包括各種配置參數(shù),如:語音智能識別的比特率、采樣率、音色、音調(diào)、音高、音頻、抑揚頓挫、方言、噪音等。成熟的識別引擎,核心內(nèi)容一般不會經(jīng)常變化。為實現(xiàn)“識別成功”這一目標,就只能對配置參數(shù)做調(diào)整。
對不同輸入,我們會配置不同參數(shù)值,最后在結(jié)果統(tǒng)計取一個各方比較均衡、識別率較高的一組參數(shù)值,這組參數(shù)值,就是訓(xùn)練后得到的結(jié)果,這就是訓(xùn)練的過程,也叫模型訓(xùn)練。
如何訓(xùn)練一個AI模型?
訓(xùn)練模型需要用到AI框架,比如MindSpore。具體如何訓(xùn)練一個AI模型呢?昇思MindSpore
此前發(fā)布一個詳細的案例,訓(xùn)練的模型是用來對手寫數(shù)字圖片進行分類的LeNet5模型。MindSpore是華為推出全場景AI計算框架,2020年3月28日宣布MindSpore正式開源。
首先是安裝MindSpore,MindSpore提供給用戶使用的是Python接口。安裝的時候,選擇合適的版本、硬件平臺、操作系統(tǒng)、編程語言、安裝方式。其次是定義模型,安裝好之后,就可以導(dǎo)入MindSpore提供的算子(卷積、全連接、池化等函數(shù))來構(gòu)建模型了。構(gòu)建一個AI模型就像建一個房子,MindSpore提供的算子就像是磚塊、窗戶、地板等基本組件。
接下來是導(dǎo)入訓(xùn)練數(shù)據(jù)集,什么是訓(xùn)練數(shù)據(jù)集呢,剛剛定義好的模型是不能對圖片進行正確分類的,要通過訓(xùn)練過程來調(diào)整模型的參數(shù)矩陣的值。訓(xùn)練過程就需要用到訓(xùn)練樣本,也就是打上了正確標簽的圖片。這就好比教小孩兒認識動物,需要拿幾張圖片給他們看,告訴他們這是什么,教了幾遍之后,小孩兒就能認識了。
那么這里訓(xùn)練LeNet5模型就需要用到MNIST數(shù)據(jù)集。這個數(shù)據(jù)集由兩部分組成:訓(xùn)練集(6萬張圖片)和測試集(1萬張圖片),都是0~9的黑白手寫數(shù)字圖片。訓(xùn)練集是用來訓(xùn)練AI模型的,測試集是用來測試訓(xùn)練后的模型分類準確率的。
再接下來就是訓(xùn)練模型,訓(xùn)練數(shù)據(jù)集和模型定義完成后,就可以開始訓(xùn)練模型了。在訓(xùn)練之前,還需要從MindSpore導(dǎo)入兩個函數(shù):損失函數(shù),就是衡量預(yù)測結(jié)果和真實標簽之間的差距的函數(shù);優(yōu)化器,用來求解損失函數(shù)關(guān)于模型參數(shù)的更新梯度的。準備好之后,開始訓(xùn)練,把前面定義好的模型、損失函數(shù)、優(yōu)化器封裝成一個Model,使用model.train接口就可以訓(xùn)練LeNet5模型了。最后就是測試訓(xùn)練后的模型準確率。
訓(xùn)練AI模型花費大
當(dāng)然,模型訓(xùn)練需要強大的算力支撐,尤其是參數(shù)量大的模型,花費極大。
比如OpenAI的語言模型GPT-3,這是一個大型的、數(shù)學(xué)模擬神經(jīng)網(wǎng)絡(luò),從網(wǎng)絡(luò)上抓取大量文本進行訓(xùn)練后,GPT-3可以以驚人的連貫性預(yù)測哪些詞應(yīng)該填在其他詞前后,生成流暢的文本。據(jù)估計,訓(xùn)練GPT-3的成本接近500萬美元。
一些小企業(yè)想要訓(xùn)練一個參數(shù)較大的算法,往往比較苦難。健康IT公司Optum的一位領(lǐng)導(dǎo)此前表示,他們團隊使用語言模型來分析通話記錄,識別哪些患者風(fēng)險較高,哪些應(yīng)該及早推薦轉(zhuǎn)診。只是訓(xùn)練一個GPT-3大小千分之一的語言模型,也會很快耗盡團隊的預(yù)算。
另外一家從事搜索業(yè)務(wù)的創(chuàng)業(yè)公司Glean,一直很想使用最新的AI算法來改進公司的產(chǎn)品。
Glean提供Gmail、Slack和Salesforce等應(yīng)用程序進行搜索的工具,用于解析語言的新AI技術(shù),可以幫助公司的客戶更快地發(fā)掘正確的文件或?qū)υ挕?/div>
但是訓(xùn)練這樣一個尖端的人工智能算法需要花費數(shù)百萬美元。Glean只好使用更小、能力更弱的AI模型,然而這些模型無法從文本中提取出盡可能多的含義。
小結(jié)
過去十幾年,AI取得了一些列舉世矚目的成績,包括在游戲中擊敗人類,讓汽車可以行駛在城市的街道上,AI自己編寫連貫的文字,做出可以媲美畫家的畫作。這都得益于數(shù)據(jù)量的不斷積累,算法的不斷優(yōu)化,以及可以支撐算法訓(xùn)練的算力的不斷強化。
然而,在發(fā)展的過程中同樣還存在一些問題。比如對于小企業(yè)來說,訓(xùn)練高級AI算法成本高,這就會使得AI的全面應(yīng)用受到阻礙等問題。當(dāng)然AI整體呈現(xiàn)出快速發(fā)展的趨勢,業(yè)界也在不斷探索有利于AI發(fā)展的方式,比如大模型的出現(xiàn),本身也是為了解決通用性的問題,比如說模型簡化,減少模型訓(xùn)練所需要算力等。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • AI
    AI
    +關(guān)注

    關(guān)注

    91

    文章

    39820

    瀏覽量

    301492
  • 訓(xùn)練模型
    +關(guān)注

    關(guān)注

    1

    文章

    37

    瀏覽量

    4073
  • 算力
    +關(guān)注

    關(guān)注

    2

    文章

    1533

    瀏覽量

    16749
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    訓(xùn)練到推理:大模型算力需求的新拐點已至

    在大模型產(chǎn)業(yè)發(fā)展的早期階段,行業(yè)焦點主要集中在大模型訓(xùn)練所需的算力投入。萬億參數(shù)大模型
    的頭像 發(fā)表于 02-05 16:07 ?833次閱讀
    從<b class='flag-5'>訓(xùn)練</b>到推理:大<b class='flag-5'>模型</b>算力需求的新拐點已至

    RA8P1部署ai模型指南:從訓(xùn)練模型到部署?|?本周六

    在嵌入式邊緣AI中,如何把“訓(xùn)練好的模型”穩(wěn)定地“跑在板子上”,決定了項目能否落地。我們帶你基于RA8P1平臺,跑通從數(shù)據(jù)準備、模型訓(xùn)練、量
    的頭像 發(fā)表于 11-20 18:06 ?2087次閱讀
    RA8P1部署<b class='flag-5'>ai</b><b class='flag-5'>模型</b>指南:從<b class='flag-5'>訓(xùn)練</b><b class='flag-5'>模型</b>到部署?|?本周六

    在Ubuntu20.04系統(tǒng)中訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型些經(jīng)驗

    本帖欲分享在Ubuntu20.04系統(tǒng)中訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型些經(jīng)驗。我們采用jupyter notebook作為開發(fā)IDE,以TensorFlow2為訓(xùn)練框架,目標是
    發(fā)表于 10-22 07:03

    文看懂AI訓(xùn)練、推理與訓(xùn)推體的底層關(guān)系

    我們正在參加全球電子成就獎的評選,歡迎大家?guī)臀覀兺镀薄x謝支持很多人聽過“大模型”,但沒搞懂兩件事。我們總說AI有多強,但真正決定AI能否落地的,是它的兩階段:
    的頭像 發(fā)表于 09-19 11:58 ?2439次閱讀
    <b class='flag-5'>一</b>文看懂<b class='flag-5'>AI</b><b class='flag-5'>訓(xùn)練</b>、推理與訓(xùn)推<b class='flag-5'>一</b>體的底層關(guān)系

    模板驅(qū)動 無需訓(xùn)練數(shù)據(jù) SmartDP解決小樣本AI算法模型開發(fā)難題

    。但是這個平臺不適用于小樣本AI模型開發(fā),特別是些特殊行業(yè),數(shù)據(jù)本來就不多,但又有著需求,因此陷于兩難。面臨這種市場困境,慧視光電推出了
    的頭像 發(fā)表于 09-09 17:57 ?1411次閱讀
    模板驅(qū)動  無需<b class='flag-5'>訓(xùn)練</b>數(shù)據(jù)  SmartDP解決小樣本<b class='flag-5'>AI</b>算法<b class='flag-5'>模型</b>開發(fā)難題

    ai_cube訓(xùn)練模型最后部署失敗是什么原因?

    ai_cube訓(xùn)練模型最后部署失敗是什么原因?文件保存路徑里也沒有中文 查看AICube/AI_Cube.log,看看報什么錯?
    發(fā)表于 07-30 08:15

    摩爾線程“AI工廠”:五大核心技術(shù)支撐,打造大模型訓(xùn)練超級工廠

    演講中表示,為應(yīng)對生成式AI爆發(fā)式增長下的大模型訓(xùn)練效率瓶頸,摩爾線程將通過系統(tǒng)級工程創(chuàng)新,構(gòu)建新AI
    的頭像 發(fā)表于 07-28 11:28 ?4554次閱讀
    摩爾線程“<b class='flag-5'>AI</b>工廠”:五大核心技術(shù)支撐,打造大<b class='flag-5'>模型</b><b class='flag-5'>訓(xùn)練</b>超級工廠

    make sence成的XML文件能上傳到自助訓(xùn)練模型上嗎?

    make sence成的XML文件能上傳到自助訓(xùn)練模型上嗎
    發(fā)表于 06-23 07:38

    海思SD3403邊緣計算AI數(shù)據(jù)訓(xùn)練概述

    模型,將模型轉(zhuǎn)化為嵌入式AI模型,模型升級AI攝像機,進行
    發(fā)表于 04-28 11:11

    AI原生架構(gòu)升級:RAKsmart服務(wù)器在超大規(guī)模模型訓(xùn)練中的算力突破

    近年來,隨著千億級參數(shù)模型的崛起,AI訓(xùn)練對算力的需求呈現(xiàn)指數(shù)級增長。傳統(tǒng)服務(wù)器架構(gòu)在應(yīng)對分布式訓(xùn)練、高并發(fā)計算和顯存優(yōu)化等場景時逐漸顯露瓶頸。而RAKsmart為超大規(guī)模
    的頭像 發(fā)表于 04-24 09:27 ?798次閱讀

    首創(chuàng)開源架構(gòu),天璣AI開發(fā)套件讓端側(cè)AI模型接入得心應(yīng)手

    模型全鏈路分析功能,針對AI應(yīng)用開發(fā)的三大痛點逐個擊破。 當(dāng)前AI應(yīng)用開發(fā)者在使用開發(fā)工具時會面臨很頭疼的問題,種類多、功能不聚合、過
    發(fā)表于 04-13 19:52

    請問如何在imx8mplus上部署和運行YOLOv5訓(xùn)練模型?

    我正在從事 imx8mplus yocto 項目。我已經(jīng)在自定義數(shù)據(jù)集上的 YOLOv5 上訓(xùn)練了對象檢測模型。它在 ubuntu 電腦上運行良好?,F(xiàn)在我想在我的 imx8mplus 板上運行該模型
    發(fā)表于 03-25 07:23

    利用RAKsmart服務(wù)器托管AI模型訓(xùn)練的優(yōu)勢

    AI模型訓(xùn)練需要強大的計算資源、高效的存儲和穩(wěn)定的網(wǎng)絡(luò)支持,這對服務(wù)器的性能提出了較高要求。而RAKsmart服務(wù)器憑借其核心優(yōu)勢,成為托管AI模型
    的頭像 發(fā)表于 03-18 10:08 ?702次閱讀

    憶聯(lián)PCIe 5.0 SSD支撐大模型全流程訓(xùn)練

    到高頻參數(shù)迭代,從模型微調(diào)到實時推理,大模型運行的每一個環(huán)節(jié)都需存儲設(shè)備在“硬指標”與“軟實力”間達成平衡。從產(chǎn)品可靠性視角出發(fā),憶聯(lián)新代PCIe Gen5 ESSD UH812a/
    的頭像 發(fā)表于 03-11 10:26 ?1160次閱讀
    憶聯(lián)PCIe 5.0 SSD支撐大<b class='flag-5'>模型</b>全流程<b class='flag-5'>訓(xùn)練</b>

    訓(xùn)練好的ai模型導(dǎo)入cubemx不成功怎么處理?

    訓(xùn)練好的ai模型導(dǎo)入cubemx不成功咋辦,試了好幾個模型壓縮了也不行,ram占用過大,有無解決方案?
    發(fā)表于 03-11 07:18