91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

NVIDIA cuSPARSELt v0.2.0提高激活函數(shù)

星星科技指導(dǎo)員 ? 來(lái)源:NVIDIA ? 作者:Matthew Nicely ? 2022-04-15 10:08 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

英偉達(dá)推出 cuSPARSELt,版本0 .2.0 ,它提高了激活函數(shù)、偏差向量和批處理稀疏 GEMM 的性能。

NVIDIA CUSPASSELT 是一個(gè)高性能 CUDA 庫(kù),專用于一般矩陣運(yùn)算,其中至少有一個(gè)操作數(shù)是稀疏矩陣:

D=\alpha op(A)*op(B)+\beta op(C)

在這個(gè)等式中, OP(A) 和 OP(B) 指的是原位操作,例如轉(zhuǎn)置和非轉(zhuǎn)置。

cuSPARSELt API算法/操作選擇、尾聲和矩陣特性(包括內(nèi)存布局、對(duì)齊和數(shù)據(jù)類型)方面提供了靈活性。

主要特征

NVIDIA Sparse MMA 張量核支持

混合精度計(jì)算支持:

FP16 I / O 、 FP32 張量核累加。

BFLOAT16 I / O , FP32 張量核累積。

INT8 I / O , INT32 張量核計(jì)算。

FP32 I / O , TF32 張量核心計(jì)算。

TF32 I / O , TF32 張量核心計(jì)算。

矩陣修剪和壓縮功能

自動(dòng)調(diào)諧功能

關(guān)于作者

Matthew Nicely 于 2019 年 3 月加入 NVIDIA ,之前曾在美國(guó) AL-Huntsville 的美國(guó)陸軍航空和導(dǎo)彈研究開發(fā)與工程中心工作。在那里,他專注于 CUDA 算法開發(fā)和 Jetson 系列的優(yōu)化。在 NVIDIA ,他曾在聯(lián)邦部門工作,協(xié)助 CUDA 的開發(fā)和優(yōu)化,以及在各種 NVIDIA 工具集上為客戶提供教育和概念驗(yàn)證,最近轉(zhuǎn)為 math libraries 產(chǎn)品經(jīng)理。 2019 年,他獲得了博士學(xué)位。計(jì)算機(jī)工程學(xué)位,專注于 GPU 的算法優(yōu)化。

審核編輯:郭婷

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5592

    瀏覽量

    109704
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    超擎數(shù)智為您深度解析NVIDIA Quantum-X800 InfiniBand平臺(tái)

    NVIDIA
    專精特新
    發(fā)布于 :2026年01月08日 19:47:03

    Molex控制桿激活接線端子技術(shù)解析與應(yīng)用指南

    Molex控制桿激活接線端子簡(jiǎn)化了電線端接、縮短了組裝時(shí)間并確保安全的電源連接。 這些簡(jiǎn)單易用、可靠的塊即使在極端灰塵或溫度環(huán)境下也能長(zhǎng)期運(yùn)行??刂茥U激活接線端子有多種安裝選項(xiàng),以提高承載高達(dá)72A
    的頭像 發(fā)表于 11-17 14:41 ?459次閱讀

    激活函數(shù)ReLU的理解與總結(jié)

    激活函數(shù)的作用 神經(jīng)網(wǎng)絡(luò)中使用激活函數(shù)來(lái)加入非線性因素,提高模型的表達(dá)能力。 如果不用激勵(lì)函數(shù)
    發(fā)表于 10-31 06:16

    NVIDIA桌面GPU系列擴(kuò)展新產(chǎn)品

    NVIDIA 桌面 GPU 系列擴(kuò)展,推出 NVIDIA RTX PRO 4000 SFF Edition GPU 和 RTX PRO 2000 Blackwell GPU,可提高工程、內(nèi)容創(chuàng)作和 3D 可視化等應(yīng)用的性能。
    的頭像 發(fā)表于 08-18 11:50 ?1404次閱讀

    NVIDIA從云到邊緣加速OpenAI gpt-oss模型部署,實(shí)現(xiàn)150萬(wàn)TPS推理

    Token (TPS)。 這兩個(gè) gpt-oss 模型是具有鏈?zhǔn)剿季S和工具調(diào)用能力的文本推理大語(yǔ)言模型 (LLM),采用了廣受歡迎的混合專家模型 (MoE) 架構(gòu)和 SwigGLU 激活函數(shù)。其注意力層使用 RoPE 技術(shù)
    的頭像 發(fā)表于 08-15 20:34 ?2293次閱讀
    <b class='flag-5'>NVIDIA</b>從云到邊緣加速OpenAI gpt-oss模型部署,實(shí)現(xiàn)150萬(wàn)TPS推理

    NVIDIA Jetson AGX Thor開發(fā)者套件概述

    TFLOPS 的 AI 計(jì)算性能,從而輕松運(yùn)行最新的生成式 AI模型,且功耗不超過 130 W。與 NVIDIA Jetson AGX Orin 相比,其 AI 計(jì)算性能提高至7.5 倍,能效提高至3.5 倍。
    的頭像 發(fā)表于 08-11 15:03 ?1891次閱讀

    使用NVIDIA Cosmos模型提高未來(lái)智能汽車安全性

    本文是洞悉 Omniverse 系列文章?!岸聪?Omniverse” 重點(diǎn)介紹開發(fā)者、3D 從業(yè)者與企業(yè)如何使用 OpenUSD 和 NVIDIA Omniverse 的最新進(jìn)展深入改變他們的工作流。
    的頭像 發(fā)表于 07-14 11:46 ?1160次閱讀

    NVIDIA Isaac Sim與NVIDIA Isaac Lab的更新

    在 COMPUTEX 2025 上,NVIDIA 宣布了機(jī)器人仿真參考應(yīng)用 NVIDIA Isaac Sim 和機(jī)器人學(xué)習(xí)框架 NVIDIA Isaac Lab 的更新,以加速各種形態(tài)機(jī)器人的開發(fā)。
    的頭像 發(fā)表于 05-28 10:06 ?2107次閱讀

    LABVIEW 激活工具怎么失效了

    半年沒開labview,今天打開居然跳出激活頁(yè)面。重新安裝后用激活工具激活也不行。懵逼了。怕是貿(mào)易戰(zhàn)不讓用了吧?
    發(fā)表于 04-13 16:15

    函數(shù)指針的六個(gè)常見應(yīng)用場(chǎng)景

    函數(shù)指針在嵌入式開發(fā)中有著廣泛的應(yīng)用,它讓代碼更加靈活,減少冗余,提高可擴(kuò)展性。很多時(shí)候,我們需要根據(jù)不同的情況動(dòng)態(tài)調(diào)用不同的函數(shù),而函數(shù)指針正是實(shí)現(xiàn)這一需求的重要工具。本文將介紹六個(gè)
    的頭像 發(fā)表于 04-07 11:58 ?1467次閱讀
    <b class='flag-5'>函數(shù)</b>指針的六個(gè)常見應(yīng)用場(chǎng)景

    Arm KleidiCV 0.2.0和0.3.0的新增功能

    自 2024 年 5 月 Arm KleidiCV 發(fā)布以來(lái),該項(xiàng)目取得了顯著進(jìn)展。Arm 于 2024 年 9 月發(fā)布了 0.2.0 版本,并于同年 12 月發(fā)布了 0.3.0 版本。這些更新都帶來(lái)了許多新功能,并實(shí)現(xiàn)了性能提升。
    的頭像 發(fā)表于 04-01 13:53 ?826次閱讀
    Arm KleidiCV <b class='flag-5'>0.2.0</b>和0.3.0的新增功能

    S32DS-PA v2.1激活失敗的原因?

    我正在尋求幫助,以解決在激活 S32 Design Studio for Power Architecture (S32DS-PA) v2.1 時(shí)遇到的問題。這篇文章是在 AI 協(xié)助下起草的,以確保
    發(fā)表于 03-26 07:06

    NVIDIA Blackwell白皮書:NVIDIA Blackwell Architecture Technical Brief

    NVIDIA Blackwell白皮書:NVIDIA Blackwell Architecture Technical Brief
    的頭像 發(fā)表于 03-20 18:35 ?3031次閱讀

    NVIDIA Blackwell數(shù)據(jù)手冊(cè)與NVIDIA Blackwell架構(gòu)技術(shù)解析

    NVIDIA Blackwell數(shù)據(jù)手冊(cè)與NVIDIA Blackwell 架構(gòu)技術(shù)解析
    的頭像 發(fā)表于 03-20 17:19 ?2446次閱讀

    NVIDIA RTX 4500 Ada與NVIDIA RTX A5000的對(duì)比

    基于大眾所熟知的 NVIDIA Ada Lovelace 架構(gòu),NVIDIA RTX 4500 Ada Generation是一款介于 NVIDIA RTX 4000 Ada 和 NVIDIA
    的頭像 發(fā)表于 03-05 10:30 ?4848次閱讀