91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

一種針對來自互聯(lián)網(wǎng)的數(shù)萬億個單詞訓(xùn)練的語言模型

倩倩 ? 來源:新經(jīng)網(wǎng) ? 2020-07-07 08:58 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

商業(yè)概覽:

OpenAI是一個人工智能研究實(shí)驗(yàn)室,由OpenAI LP及其上級組織非營利組織OpenAI Inc.組成。該公司是技術(shù)巨頭DeepMind的競爭對手,在人工智能(AI)領(lǐng)域進(jìn)行研究,以共同促進(jìn)并以有益于整個人類的方式開發(fā)友好的AI。該組織由埃隆·馬斯克(Elon Musk),薩姆·奧特曼(Sam Altman)等人于2015年年底在舊金山成立,他們共同認(rèn)捐了10億美元。馬斯克于2018年2月從董事會辭職,但仍是捐助者。2019年,OpenAI LP從微軟獲得了10億美元的投資。2020年6月,OpenAI宣布了GPT-3,這是一種針對來自互聯(lián)網(wǎng)的數(shù)萬億個單詞訓(xùn)練的語言模型。它還宣布了一個關(guān)聯(lián)的API,簡稱為“ API”,將成為其首個商業(yè)產(chǎn)品的核心。GPT-3旨在以自然語言回答問題,但也可以在各種語言之間進(jìn)行翻譯,并且可以連貫地生成即興文本。

自動點(diǎn)唱機(jī):

自動點(diǎn)唱機(jī)是一種神經(jīng)網(wǎng)絡(luò),可以產(chǎn)生包括基本唱歌在內(nèi)的音樂,作為各種類型和藝術(shù)風(fēng)格的原始音頻。他們將發(fā)布模型權(quán)重和代碼,以及用于探索生成的樣本的工具。自動音樂生成可追溯到半個多世紀(jì)。一種突出的方法是以鋼琴卷的形式象征性地產(chǎn)生音樂,該音樂指定要演奏的每個音符的時機(jī),音高,速度和樂器。這導(dǎo)致了令人印象深刻的結(jié)果,例如制作巴赫合唱,使用多種樂器的和弦音樂以及時長的音樂作品。

但是符號生成器有局限性,它們無法捕獲人的聲音或音樂必不可少的許多更細(xì)微的音色,動態(tài)性和表現(xiàn)力。另一種方法是將音樂直接建模為原始音頻。由于音序很長,因此在音頻級別上生成音樂非常具有挑戰(zhàn)性。17以CD質(zhì)量(44 kHz,16位)播放一首典型的4分鐘歌曲需要超過1000萬步。為了進(jìn)行比較,GPT-2有1,000個時間步長,而OpenAI Five每場比賽花費(fèi)了數(shù)萬個時間步長。因此,要學(xué)習(xí)音樂的高級語義,模型將必須處理極長距離的依賴關(guān)系。

MuseNet:

MuseNet是一個深度神經(jīng)網(wǎng)絡(luò),可以用10種不同的樂器生成4分鐘的音樂作品,并且可以將鄉(xiāng)村音樂,莫扎特音樂和甲殼蟲音樂的風(fēng)格進(jìn)行組合。MuseNet并未根據(jù)他們對音樂的理解進(jìn)行明確編程,而是通過學(xué)習(xí)預(yù)測數(shù)十萬個MIDI文件中的下一個標(biāo)記來發(fā)現(xiàn)和諧,節(jié)奏和風(fēng)格的模式。MuseNet使用與GPT-2相同的通用無監(jiān)督技術(shù),GPT-2是一種大型變壓器模型,經(jīng)過訓(xùn)練可以預(yù)測序列中的下一個標(biāo)記(無論是音頻還是文本)。MuseNet使用Sparse Transformer的重新計(jì)算和優(yōu)化的內(nèi)核來訓(xùn)練具有24個關(guān)注頭的72層網(wǎng)絡(luò)-充分關(guān)注4096個令牌的上下文。如此長的語境可能是它能夠記住片段中長期結(jié)構(gòu)的原因之一。

其使命:

OpenAI的使命是確保人工智能(AGI)惠及全人類,人工智能(AGI)表示高度自主的系統(tǒng),在大多數(shù)具有經(jīng)濟(jì)價值的工作中,它們要勝過人類。該公司將嘗試直接建立安全有益的AGI,但如果他們的工作幫助其他人實(shí)現(xiàn)了這一目標(biāo),也將認(rèn)為他們的使命已經(jīng)實(shí)現(xiàn)。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 人工智能
    +關(guān)注

    關(guān)注

    1819

    文章

    50139

    瀏覽量

    265800
  • OpenAI
    +關(guān)注

    關(guān)注

    9

    文章

    1245

    瀏覽量

    10158
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    AI如何重塑互聯(lián)網(wǎng)與物聯(lián)網(wǎng)的融合邊界

    而當(dāng)AI開始深度融入互聯(lián)網(wǎng)與物聯(lián)網(wǎng)的每寸肌理,場前所未有的融合革命正在悄然上演。2026年,我們迎來了這場融合的關(guān)鍵轉(zhuǎn)折點(diǎn),
    的頭像 發(fā)表于 03-09 17:41 ?468次閱讀
    AI如何重塑<b class='flag-5'>互聯(lián)網(wǎng)</b>與物<b class='flag-5'>聯(lián)網(wǎng)</b>的融合邊界

    中科曙光3套scaleX萬卡超集群落地國家超算互聯(lián)網(wǎng)鄭州核心節(jié)點(diǎn)

    2月5日,由中科曙光提供的3套萬卡超集群系統(tǒng)在國家超算互聯(lián)網(wǎng)鄭州核心節(jié)點(diǎn)同時上線試運(yùn)行,成為全國首個實(shí)現(xiàn)3萬卡部署、且實(shí)際投入運(yùn)營的最大國產(chǎn)AI算力池,全面覆蓋萬億參數(shù)模型訓(xùn)練、高通量
    的頭像 發(fā)表于 02-09 10:32 ?551次閱讀

    什么是大模型,智能體...?大模型100問,快速全面了解!

    、概念篇1.什么是大模型?大模型是指參數(shù)規(guī)模巨大(通常達(dá)到數(shù)十億甚至萬億級別)、使用海量數(shù)據(jù)訓(xùn)練而成的人工智能
    的頭像 發(fā)表于 02-02 16:36 ?977次閱讀
    什么是大<b class='flag-5'>模型</b>,智能體...?大<b class='flag-5'>模型</b>100問,快速全面了解!

    工業(yè)互聯(lián)網(wǎng)的重要價值

    工業(yè)互聯(lián)網(wǎng)作為新代信息通信技術(shù)與工業(yè)經(jīng)濟(jì)深度融合的新型基礎(chǔ)設(shè)施、應(yīng)用模式和工業(yè)生態(tài),其重要價值體現(xiàn)在經(jīng)濟(jì)、產(chǎn)業(yè)、社會和技術(shù)四層面,具體如下: 經(jīng)濟(jì)價值:驅(qū)動增長新引擎 創(chuàng)造顯著經(jīng)濟(jì)效益 :工業(yè)
    的頭像 發(fā)表于 11-20 09:51 ?423次閱讀

    文了解Mojo編程語言

    Mojo 是一種由 Modular AI 公司開發(fā)的編程語言,旨在將 Python 的易用性與 C 語言的高性能相結(jié)合,特別適合人工智能(AI)、高性能計(jì)算(HPC)和系統(tǒng)級編程場景。以下是關(guān)于
    發(fā)表于 11-07 05:59

    在Ubuntu20.04系統(tǒng)中訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型些經(jīng)驗(yàn)

    本帖欲分享在Ubuntu20.04系統(tǒng)中訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型些經(jīng)驗(yàn)。我們采用jupyter notebook作為開發(fā)IDE,以TensorFlow2為訓(xùn)練框架,目標(biāo)是
    發(fā)表于 10-22 07:03

    工業(yè)互聯(lián)網(wǎng)架構(gòu)是怎么樣的

    工業(yè)互聯(lián)網(wǎng)架構(gòu)是支撐工業(yè)全要素、全產(chǎn)業(yè)鏈、全價值鏈互聯(lián)互通的核心框架,通過“數(shù)據(jù)+算力+模型”驅(qū)動工業(yè)智能化轉(zhuǎn)型。其體系架構(gòu)通常分為 網(wǎng)絡(luò)層、平臺層、安全層 三大核心層級,并延伸至應(yīng)用生態(tài)與標(biāo)準(zhǔn)體系
    的頭像 發(fā)表于 10-18 09:37 ?700次閱讀

    光源AI模型倉庫亮相2025互聯(lián)網(wǎng)岳麓大會

    日前,以“AI領(lǐng)航 暢想湘江”為主題的2025互聯(lián)網(wǎng)岳麓大會正式開幕。在開幕式上,光源AI模型倉庫(以下簡稱:光源)與多款A(yù)I行業(yè)模型集中亮相,為深入實(shí)施“人工智能+”行動提供多樣化的大模型
    的頭像 發(fā)表于 09-24 09:31 ?751次閱讀

    工業(yè)互聯(lián)網(wǎng)的下站:卡奧斯的AI大模型解法

    AI大潮下,卡奧斯如何重塑工業(yè)互聯(lián)網(wǎng)?
    的頭像 發(fā)表于 07-28 00:20 ?1968次閱讀
    工業(yè)<b class='flag-5'>互聯(lián)網(wǎng)</b>的下<b class='flag-5'>一</b>站:卡奧斯的AI大<b class='flag-5'>模型</b>解法

    用PaddleNLP為GPT-2模型制作FineWeb二進(jìn)制預(yù)訓(xùn)練數(shù)據(jù)集

    作者:算力魔方創(chuàng)始人/英特爾創(chuàng)新大使劉力 《用PaddleNLP在4060單卡上實(shí)踐大模型預(yù)訓(xùn)練技術(shù)》發(fā)布后收到讀者熱烈反響,很多讀者要求進(jìn)步講解更多的技術(shù)細(xì)節(jié)。本文主要針對
    的頭像 發(fā)表于 03-21 18:24 ?4348次閱讀
    用PaddleNLP為GPT-2<b class='flag-5'>模型</b>制作FineWeb二進(jìn)制預(yù)<b class='flag-5'>訓(xùn)練</b>數(shù)據(jù)集