91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

國家科學(xué)評論 (NSR) 刊發(fā)社論:大語言模型和類腦通用智能

機(jī)器人技術(shù)與應(yīng)用 ? 來源:中國科學(xué)院自動(dòng)化研究所 ? 2023-11-16 10:59 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

近日,中國科學(xué)院自動(dòng)化研究所徐波研究員和中國科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心蒲慕明院士在《國家科學(xué)評論》(NSR)上發(fā)表社論,就以促進(jìn)更加綠色的類腦通用人工智能為目標(biāo),評述如何發(fā)展腦啟發(fā)的類腦神經(jīng)網(wǎng)絡(luò)架構(gòu)、類腦學(xué)習(xí)算法及基于脈沖編碼的類腦計(jì)算軟硬件等。

ed34a2fe-839b-11ee-939d-92fbcf53809c.png

《國家科學(xué)評論》刊發(fā)社論

大語言模型(LLM)的出現(xiàn)以及它們在生成任務(wù)中的驚人表現(xiàn)預(yù)示著通用人工智能(AGI)新時(shí)代的開始。在很大程度上,它們已經(jīng)通過了經(jīng)典的圖靈測試。

通過與機(jī)器人結(jié)合,大模型將進(jìn)一步發(fā)展出更強(qiáng)大的具身智能?;诖笳Z言模型的各種科學(xué)、教育和商業(yè)應(yīng)用正激發(fā)人們對未來人工智能的無限遐想。然而,大語言模型存在著大量的連接參數(shù),它們在訓(xùn)練和推理階段的計(jì)算調(diào)整和并行推理往往消耗了巨大的算力成本,這個(gè)問題將限制大語言模型作為社會基礎(chǔ)設(shè)施的廣泛應(yīng)用。

發(fā)展受腦啟發(fā)的類腦通用智能研究是解決現(xiàn)有問題的一種有效途徑。人類大腦是進(jìn)化過程賦予的一種高效生物神經(jīng)網(wǎng)絡(luò),包含多樣的細(xì)胞類型和連接模式,且在人類出生后的腦發(fā)育過程中通過與環(huán)境交互進(jìn)一步完善并形成高效的連接模式。即使我們不能像圖靈曾經(jīng)提出的那樣制造一個(gè)“兒童機(jī)器”(Child Machine),通用人工智能也仍然可以從兩個(gè)方面向成熟的大腦學(xué)習(xí),即神經(jīng)網(wǎng)絡(luò)架構(gòu)和類腦學(xué)習(xí)算法。

過去的人工神經(jīng)網(wǎng)絡(luò)在一定程度上受到了生物腦網(wǎng)絡(luò)的啟發(fā),例如分層和模塊化的網(wǎng)絡(luò)結(jié)構(gòu),以及可調(diào)權(quán)重的突觸連接。然而,大腦網(wǎng)絡(luò)實(shí)現(xiàn)高效運(yùn)轉(zhuǎn)不僅僅是更多神經(jīng)元和突觸的堆疊,更重要的是不同神經(jīng)元類型以及功能模塊之間的選擇性連接。大腦網(wǎng)絡(luò)從局部模式到全局拓?fù)湟呀?jīng)啟發(fā)了當(dāng)今人工智能中的卷積、循環(huán)及多類Transformer等強(qiáng)大神經(jīng)算子。當(dāng)前,全腦空間轉(zhuǎn)錄組(用于識別不同的神經(jīng)元亞型)和介觀連接組(用于定義特定細(xì)胞類型的連接)的研究,為進(jìn)一步設(shè)計(jì)更有效的大語言模型網(wǎng)絡(luò)架構(gòu)提供了更多的生物依據(jù)。

突觸連接往往通過短時(shí)和長時(shí)的突觸可塑性機(jī)制進(jìn)行神經(jīng)活動(dòng)的局部調(diào)節(jié)。全局神經(jīng)調(diào)質(zhì)可以在許多突觸上發(fā)揮作用,以改變局部突觸可塑性的能力和特性。類腦學(xué)習(xí)算法利用大腦發(fā)現(xiàn)的多尺度、多形式的突觸可塑性,如時(shí)序依賴突觸可塑性、自組織可塑性傳播、神經(jīng)調(diào)制元可塑性等,來決定網(wǎng)絡(luò)突觸權(quán)重的動(dòng)態(tài)變化。類腦學(xué)習(xí)算法也可以通過梯度下降方法與可塑性學(xué)習(xí)規(guī)則相結(jié)合,使得在沿用反向傳播核心原理同時(shí),解決很多高效計(jì)算問題。開發(fā)用于大模型權(quán)重學(xué)習(xí)的新算法需要神經(jīng)科學(xué)和人工智能之間的深度融合。

同步開發(fā)新的網(wǎng)絡(luò)架構(gòu)和學(xué)習(xí)算法將發(fā)展出新形式的類腦計(jì)算(BIC),即在神經(jīng)形態(tài)芯片上實(shí)現(xiàn)生物啟發(fā)的脈沖神經(jīng)網(wǎng)絡(luò)算法(SNN)。在網(wǎng)絡(luò)和算法層面,SNN使用具有豐富動(dòng)力學(xué)和脈沖模式的生物神經(jīng)元作為基本計(jì)算單元,可以更容易地采用多尺度突觸可塑性進(jìn)行優(yōu)化。在硬件層面,神經(jīng)形態(tài)芯片需要新一代的非馮·諾依曼計(jì)算架構(gòu),通過借鑒大腦的事件驅(qū)動(dòng)稀疏計(jì)算、高度并行運(yùn)算以及存內(nèi)計(jì)算來降低硬件功耗成本。類腦計(jì)算的一個(gè)充滿吸引力的特質(zhì)是,在執(zhí)行推理時(shí),只有一小部分脈沖神經(jīng)元被激活以參與稀疏加法運(yùn)算。這種稀疏計(jì)算非常適合降低大型人工智能模型的訓(xùn)練和推理成本。

社論認(rèn)為, 除了開發(fā)綠色和可持續(xù)的低功耗人工智能這個(gè)緊迫問題,人們也越來越擔(dān)心未來通用人工智能的發(fā)展可能會以有害的方式對人類社會產(chǎn)生重大影響??紤]到存在著政治、社會和文化差異,實(shí)現(xiàn)有效的人工智能全球治理不是一個(gè)容易實(shí)現(xiàn)的目標(biāo),但卻是人類生存必需邁出的一步。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 神經(jīng)網(wǎng)絡(luò)

    關(guān)注

    42

    文章

    4838

    瀏覽量

    107876
  • 人工智能
    +關(guān)注

    關(guān)注

    1818

    文章

    50120

    瀏覽量

    265604
  • 語言模型
    +關(guān)注

    關(guān)注

    0

    文章

    572

    瀏覽量

    11323

原文標(biāo)題:國家科學(xué)評論 (NSR) 刊發(fā)社論:大語言模型和類腦通用智能

文章出處:【微信號:robotmagazine,微信公眾號:機(jī)器人技術(shù)與應(yīng)用】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    功耗腰斬,延遲毫秒!杭州搶先手,押注計(jì)算

    ? 電子發(fā)燒友網(wǎng)報(bào)道(文/莫婷婷)近期,杭州市正式出臺《關(guān)于支持智能未來產(chǎn)業(yè)創(chuàng)新發(fā)展的若干措施》(以下簡稱“措施”),明確提出重點(diǎn)支持機(jī)接口與
    的頭像 發(fā)表于 12-28 09:31 ?6332次閱讀
    功耗腰斬,延遲毫秒!杭州搶先手,押注<b class='flag-5'>類</b><b class='flag-5'>腦</b>計(jì)算

    思必馳參與國家重大項(xiàng)目順利通過中期驗(yàn)收

    近日,由上海交通大學(xué)牽頭,聯(lián)合中國科學(xué)院微電子研究所、華為技術(shù)有限公司、中國信通院、北京理工大學(xué)及思必馳共同承擔(dān)的國家科技創(chuàng)新2030“腦科學(xué)
    的頭像 發(fā)表于 02-24 10:03 ?648次閱讀

    時(shí)識科技與江西農(nóng)科院成立智慧畜牧計(jì)算聯(lián)合實(shí)驗(yàn)室

    繼與寧夏農(nóng)墾集團(tuán)成功驗(yàn)證技術(shù)在畜牧場景的落地能力后,時(shí)識科技(SynSense)與江西省農(nóng)業(yè)科學(xué)院農(nóng)業(yè)經(jīng)濟(jì)與信息研究所(簡稱“江西農(nóng)科院”)成立“智慧畜牧
    的頭像 發(fā)表于 02-04 09:42 ?506次閱讀

    什么是大模型,智能體...?大模型100問,快速全面了解!

    一、概念篇1.什么是大模型?大模型是指參數(shù)規(guī)模巨大(通常達(dá)到數(shù)十億甚至萬億級別)、使用海量數(shù)據(jù)訓(xùn)練而成的人工智能模型。2.什么是大語言
    的頭像 發(fā)表于 02-02 16:36 ?942次閱讀
    什么是大<b class='flag-5'>模型</b>,<b class='flag-5'>智能</b>體...?大<b class='flag-5'>模型</b>100問,快速全面了解!

    靈汐杭州電信智算集群正式發(fā)布

    2025年12月11日,靈汐杭州電信智算集群在杭州正式發(fā)布。該集群由杭州靈汐科技有限公司牽頭,杭州電信、中國電子科技南湖研究院以及
    的頭像 發(fā)表于 12-23 16:19 ?418次閱讀

    啟社區(qū)第二屆智能創(chuàng)新大賽華南賽區(qū)線下路演圓滿落幕

    11月14日,啟社區(qū)第二屆智能創(chuàng)新大賽(華南賽區(qū))線下路演在廣州數(shù)字科技集團(tuán)有限公司圓滿落幕。本次路演作為大賽南方賽區(qū)核心賽事環(huán)節(jié),匯聚了來自南方各高校、科研機(jī)構(gòu)及企業(yè)的十余支精
    的頭像 發(fā)表于 11-20 15:24 ?790次閱讀

    時(shí)識科技亮相長三角智能專題論壇

    10月31日,由上海時(shí)識科技有限公司/智工場(上海)智能科技有限公司聯(lián)合承辦的長三角智能專題論壇在上海楊浦區(qū)長陽創(chuàng)谷成功舉行。論壇在上
    的頭像 發(fā)表于 11-05 16:33 ?687次閱讀

    國際計(jì)算科學(xué)家Yulia Sandamirskaya教授加盟時(shí)識科技

    近日,國際計(jì)算與神經(jīng)形態(tài)機(jī)器人領(lǐng)域知名科學(xué)家Yulia Sandamirskaya 教授,作為科學(xué)家顧問正式加入時(shí)識科技(SynSense)。
    的頭像 發(fā)表于 10-13 13:50 ?764次閱讀

    【「AI芯片:科技探索與AGI愿景」閱讀體驗(yàn)】+神經(jīng)形態(tài)計(jì)算、芯片

    。是實(shí)現(xiàn)芯片的基本模型。SNN中的神經(jīng)元通過短的電脈沖相互溝通,脈沖之間的時(shí)間間隔起著重要作用。 最有利于硬件實(shí)現(xiàn)的脈沖神經(jīng)元模型是“漏電整合-激發(fā)”
    發(fā)表于 09-17 16:43

    中國科學(xué)院自動(dòng)化研究所與沐曦合作打造脈沖大模型“瞬悉1.0”

    當(dāng)前,基于Transformer架構(gòu)的大模型在Scaling law驅(qū)動(dòng)下,通過增加網(wǎng)絡(luò)規(guī)模、算力資源和數(shù)據(jù)量提升模型智能水平,但模型的基本計(jì)算單元為簡單的點(diǎn)神經(jīng)元
    的頭像 發(fā)表于 09-10 11:35 ?1142次閱讀

    啟社區(qū)第二屆智能創(chuàng)新大賽正式啟動(dòng)

    近日,啟社區(qū)第二屆智能創(chuàng)新大賽啟動(dòng)儀式在廣州舉辦。本次大賽整體由中國神經(jīng)科學(xué)學(xué)會
    的頭像 發(fā)表于 08-18 16:11 ?1353次閱讀

    杭州靈汐智算集群實(shí)現(xiàn)大模型快速推理

    據(jù)悉,“杭州靈汐智算集群”已于7月底實(shí)現(xiàn)了大模型快速推理API的企業(yè)服務(wù)試運(yùn)行。該集群由杭州靈汐科技有限公司牽頭搭建運(yùn)營,中國電信、
    的頭像 發(fā)表于 08-18 16:06 ?975次閱讀

    合肥綜合性國家科學(xué)中心能源研究院與宏微科技達(dá)成合作

    為深化產(chǎn)學(xué)研協(xié)同創(chuàng)新,推動(dòng)科技創(chuàng)新和產(chǎn)業(yè)升級,近日,合肥綜合性國家科學(xué)中心能源研究院與江蘇宏微科技股份有限公司在智慧電力中心隆重舉行“功率器件可靠性評測方法和壽命預(yù)測聯(lián)合實(shí)驗(yàn)室”簽約揭牌儀式。江蘇宏
    的頭像 發(fā)表于 06-14 14:22 ?1011次閱讀

    Matter 智能家居的通用語言

    Matter由連接標(biāo)準(zhǔn)聯(lián)盟(CSA)創(chuàng)建,旨在解決智能家居的互操作性問題。Matter 基于簡單性、互操作性、可靠性和安全性四大核心原則 。 是采用基于 IP 應(yīng)用層的開源協(xié)議,本質(zhì)上是一種“通用語言
    發(fā)表于 05-19 15:35

    時(shí)識科技首批入選智能產(chǎn)業(yè)創(chuàng)新發(fā)展聯(lián)盟

    近日,由中國信息通信研究院牽頭發(fā)起,上海智能產(chǎn)業(yè)三箭齊發(fā)——產(chǎn)業(yè)創(chuàng)新發(fā)展聯(lián)盟成立、未來產(chǎn)業(yè)基金矩陣發(fā)布、未來產(chǎn)業(yè)集聚區(qū)啟動(dòng)建設(shè),昭示著我國
    的頭像 發(fā)表于 04-23 09:57 ?920次閱讀