91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

FPGA如何實(shí)現(xiàn)FP16格式點(diǎn)積級聯(lián)運(yùn)算

FPGA之家 ? 來源:FPGA之家 ? 作者:楊宇 ? 2022-09-06 10:55 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

通過使用Achronix Speedster7t FPGA中的機(jī)器學(xué)習(xí)加速器MLP72,開發(fā)人員可以輕松選擇浮點(diǎn)/定點(diǎn)格式和多種位寬,或快速應(yīng)用塊浮點(diǎn),并通過內(nèi)部級聯(lián)可以達(dá)到理想性能。

神經(jīng)網(wǎng)絡(luò)架構(gòu)中的核心之一就是卷積層,卷積的最基本操作就是點(diǎn)積。向量乘法的結(jié)果是向量的每個元素的總和相乘在一起,通常稱之為點(diǎn)積。此向量乘法如下所示:

8e381ad6-2d86-11ed-ba43-dac502259ad0.png

圖1點(diǎn)積操作

該總和S由每個矢量元素的總和相乘而成,因此8e4599a4-2d86-11ed-ba43-dac502259ad0.png ?本文講述的是使用FP16格式的點(diǎn)積運(yùn)算實(shí)例,展示了MLP72支持的數(shù)字類型和乘數(shù)的范圍。 此設(shè)計實(shí)現(xiàn)了同時處理8對FP16輸入的點(diǎn)積。該設(shè)計包含四個MLP72,使用MLP內(nèi)部的級聯(lián)路徑連接。每個MLP72將兩個并行乘法的結(jié)果相加8e502cd4-2d86-11ed-ba43-dac502259ad0.png,每個乘法都是i_a輸入乘以i_b輸入(均為FP16格式)的結(jié)果。來自每個MLP72的總和沿著MLP72的列級聯(lián)到上面的下一個MLP72塊。在最后一個MLP72中,在每個周期上,計算八個并行FP16乘法的總和。 最終結(jié)果是多個輸入周期內(nèi)的累加總和,其中累加由i_first和i_last輸入控制。i_first輸入信號指示累加和歸零的第一組輸入。i_last信號指示要累加和加到累加的最后一組輸入。最終的i_last值可在之后的六個周期使用,并使用i_last o_valid進(jìn)行限定。兩次運(yùn)算之間可以無空拍。
  • 配置說明

8e59a0b6-2d86-11ed-ba43-dac502259ad0.png

表1 FP16點(diǎn)積配置表

8e6e467e-2d86-11ed-ba43-dac502259ad0.png

表2 FP16點(diǎn)積端口說明表

  • 時序圖

8e7bd0be-2d86-11ed-ba43-dac502259ad0.png

圖2 FP16點(diǎn)積時序圖

其中,8e87d5b2-2d86-11ed-ba43-dac502259ad0.png ?那么,以上運(yùn)算功能如何對應(yīng)到MLP內(nèi)部呢?其后的細(xì)節(jié)已分為MLP72中的多個功能階段進(jìn)行說明。
  • 進(jìn)位鏈
首先請看下圖,MLP之間的進(jìn)位鏈結(jié)構(gòu),這是MLP內(nèi)部的專用走線,可以保證級聯(lián)的高效執(zhí)行。

8e9ed37a-2d86-11ed-ba43-dac502259ad0.png

圖3 MLP進(jìn)位鏈

  • 乘法階段
下圖是MLP中浮點(diǎn)乘法功能階段,其中寄存器代表一級可選延遲。

8eafe980-2d86-11ed-ba43-dac502259ad0.png

圖4 MLP乘法功能階段框圖

MLP72浮點(diǎn)乘法級包括兩個24位全浮點(diǎn)乘法器和一個24位全浮點(diǎn)加法器。兩個乘法器執(zhí)行A×B和C×D的并行計算。加法器將兩個結(jié)果相加得到A×B + C×D。 乘法階段有兩個輸出。下半部分輸出可以在A×B或(A×B + C×D)之間選擇。上半部分輸出始終為C×D。 乘法器和加法器使用的數(shù)字格式由字節(jié)選擇參數(shù)以及和參數(shù)設(shè)置的格式確定。 浮點(diǎn)輸出具有與整數(shù)輸出級相同的路徑和結(jié)構(gòu)。MLP72可以配置為在特定階段選擇整數(shù)或等效浮點(diǎn)輸入。輸出支持兩個24位全浮點(diǎn)加法器,可以對其進(jìn)行加法或累加配置。進(jìn)一步可以加載加法器(開始累加),可以將其設(shè)置為減法,并支持可選的舍入模式。 最終輸出階段支持將浮點(diǎn)輸出格式化為MLP72支持的三種浮點(diǎn)格式中的任何一種。此功能使MLP72可以外部支持大小一致的浮點(diǎn)輸入和輸出(例如fp16或bfloat16),而在內(nèi)部以fp24執(zhí)行所有計算。

8ecb94d2-2d86-11ed-ba43-dac502259ad0.png

圖5 MLP浮點(diǎn)輸出階段框圖

需要強(qiáng)調(diào)的是本設(shè)計輸入和輸出都是FP16格式,中間計算過程,即進(jìn)位鏈上的fwdo_out和fwdi_dout 都是FP24格式。具體邏輯框圖如下所示:

8eda3e38-2d86-11ed-ba43-dac502259ad0.png

圖6 FP16點(diǎn)積邏輯框圖

MLP內(nèi)部數(shù)據(jù)流示意圖:

8ee51830-2d86-11ed-ba43-dac502259ad0.png

圖7 FP16點(diǎn)積在MLP內(nèi)部數(shù)據(jù)流圖

最終ACE的時序結(jié)果如下:8efd2772-2d86-11ed-ba43-dac502259ad0.png

審核編輯 :李倩


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • FPGA
    +關(guān)注

    關(guān)注

    1660

    文章

    22427

    瀏覽量

    636830
  • 機(jī)器學(xué)習(xí)

    關(guān)注

    66

    文章

    8556

    瀏覽量

    137016
  • MLP
    MLP
    +關(guān)注

    關(guān)注

    0

    文章

    57

    瀏覽量

    5001

原文標(biāo)題:詳解FPGA如何實(shí)現(xiàn)FP16格式點(diǎn)積級聯(lián)運(yùn)算

文章出處:【微信號:zhuyandz,微信公眾號:FPGA之家】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    AWQ/GPTQ量化模型加載與顯存優(yōu)化實(shí)戰(zhàn)

    大語言模型(LLM)推理顯存需求呈指數(shù)級增長,70B參數(shù)的模型需要約140GB顯存(FP16),遠(yuǎn)超單卡GPU容量。量化技術(shù)通過降低模型參數(shù)精度(從FP16到INT4),在精度損失最小的情況下減少50-75%顯存占用,使得大模型在消費(fèi)級GPU上運(yùn)行成為可能。
    的頭像 發(fā)表于 03-13 09:45 ?45次閱讀

    大模型推理服務(wù)的彈性部署與GPU調(diào)度方案

    7B 模型 FP16 推理需要約 14GB 顯存,70B 模型需要 140GB+,KV Cache 隨并發(fā)數(shù)線性增長,顯存碎片化導(dǎo)致實(shí)際利用率不足 60%。
    的頭像 發(fā)表于 03-03 09:29 ?169次閱讀

    今日看點(diǎn):消息稱 AMD、高通考慮導(dǎo)入 SOCAMM 內(nèi)存;曦望發(fā)布新一代推理GPU芯片啟望S3

    推理深度定制的GPGPU芯片。其單芯片推理性能提升5倍,支持從FP16FP8、FP6、FP4等多精度靈活切換,釋放低精度推理效率,這種設(shè)計更貼合當(dāng)前MoE和長上下文模型在推理階段的需
    發(fā)表于 01-28 11:09 ?1180次閱讀

    三電阻可調(diào)增益設(shè)計:FP130A與FP355的靈活配置實(shí)現(xiàn)

    在30V以下的低壓應(yīng)用中,精準(zhǔn)的電流監(jiān)控對實(shí)現(xiàn)系統(tǒng)保護(hù)至關(guān)重要。FP130A與FP355是兩款專為此設(shè)計的高端電流檢測芯片。FP130A可精確監(jiān)測電流大小與方向,協(xié)助MCU智能判斷設(shè)備
    的頭像 發(fā)表于 11-03 11:50 ?1331次閱讀
    三電阻可調(diào)增益設(shè)計:<b class='flag-5'>FP</b>130A與<b class='flag-5'>FP</b>355的靈活配置<b class='flag-5'>實(shí)現(xiàn)</b>

    利用C語言union特性來定義RGB565格式

    本次分享的內(nèi)容是利用C語言union特性來定義RGB565格式 1)前言 在做視覺相關(guān)的任務(wù)時,相機(jī)的輸入一般會是RGB565(uint16_t)的格式,而我們需要把它顯轉(zhuǎn)換成RGB
    發(fā)表于 10-30 08:26

    基于級聯(lián)分類器的人臉檢測基本原理

    。這里需要指出的一點(diǎn)是,可能會存在多個檢測結(jié)果為陽性的窗口,鑒于此類情況,我們會在最后進(jìn)行一次聚類,把多個陽性窗口合并成為一個。 該算法還具有支持多尺度和任意旋轉(zhuǎn)角度的擴(kuò)展版本。關(guān)于多尺度,算法的實(shí)現(xiàn)細(xì)節(jié)
    發(fā)表于 10-30 06:14

    小白必讀:到底什么是FP32、FP16、INT8?

    網(wǎng)上關(guān)于算力的文章,如果提到某個芯片或某個智算中心的算力,都會寫:在FP32精度下,英偉達(dá)H100的算力大約為0.9PFlops。在FP16精度下,某智算中心的算力是6.7EFlops。在INT8
    的頭像 發(fā)表于 10-20 14:34 ?1333次閱讀
    小白必讀:到底什么是<b class='flag-5'>FP</b>32、<b class='flag-5'>FP16</b>、INT8?

    西井科技推出Hymala多聯(lián)運(yùn)物流樞紐大模型矩陣

    近日,2025WAIC,上海市工商聯(lián)"人工智能+數(shù)字化"轉(zhuǎn)型解決方案和創(chuàng)新產(chǎn)品成果活動上,人工智能智慧物流解決方案商——西井科技重磅推出Hymala多聯(lián)運(yùn)物流樞紐大模型矩陣,直
    的頭像 發(fā)表于 07-29 17:49 ?1671次閱讀

    計算精度對比:FP64、FP32、FP16、TF32、BF16、int8

    本文轉(zhuǎn)自:河北人工智能計算中心在當(dāng)今快速發(fā)展的人工智能領(lǐng)域,算力成為決定模型訓(xùn)練與推理速度的關(guān)鍵因素之一。為了提高計算效率,不同精度的數(shù)據(jù)類型應(yīng)運(yùn)而生,包括FP64、FP32、FP16、TF32
    的頭像 發(fā)表于 06-26 11:09 ?2898次閱讀
    計算精度對比:<b class='flag-5'>FP</b>64、<b class='flag-5'>FP</b>32、<b class='flag-5'>FP16</b>、TF32、BF<b class='flag-5'>16</b>、int8

    將Whisper大型v3 fp32模型轉(zhuǎn)換為較低精度后,推理時間增加,怎么解決?

    將 openai/whisper-large-v3 FP32 模型轉(zhuǎn)換為 FP16、INT8 和 INT4。 推理所花費(fèi)的時間比在 FP32 上花費(fèi)的時間要多
    發(fā)表于 06-24 06:23

    SiC MOSFET并聯(lián)運(yùn)實(shí)現(xiàn)靜態(tài)均流的基本要求和注意事項

    通過并聯(lián)SiC MOSFET功率器件,可以獲得更高輸出電流,滿足更大功率系統(tǒng)的要求。本章節(jié)主要介紹了SiC MOSFET并聯(lián)運(yùn)實(shí)現(xiàn)靜態(tài)均流的基本要求和注意事項。
    的頭像 發(fā)表于 05-23 10:52 ?1855次閱讀
    SiC MOSFET并<b class='flag-5'>聯(lián)運(yùn)</b>行<b class='flag-5'>實(shí)現(xiàn)</b>靜態(tài)均流的基本要求和注意事項

    RGB888格式的image怎么保存jpg格式?

    01的K230板子 1.2.2固件 我用RGB565可以順利保存jpg,但是RGB888就不行,提示如下 提問:RGB888格式的image怎么保存jpg格式 想保存888是因為感覺圖像質(zhì)量更好,后面用這些保存的圖片來訓(xùn)練模型 試試這個
    發(fā)表于 04-25 08:18

    CRC16-MODBUS+手算+移位運(yùn)算+C程序+并行運(yùn)算

    CRC16-MODBUS+手算+移位運(yùn)算+C程序+并行運(yùn)算
    發(fā)表于 04-22 18:23 ?0次下載

    QuarkPi-CA2 RK3588S卡片電腦:6.0Tops NPU+8K視頻編解碼+接口豐富,高性能嵌入開發(fā)!

    支持INT4/INT8/INT16/FP16,支持TensorFlow、PyTorch等主流框架,支持8K@60fps視頻解碼和8K@30fps視頻編碼,H.265/H.264/VP9/AV1等格式
    發(fā)表于 04-11 16:03

    請問運(yùn)算放大器的增益帶寬和噪聲增益?

    有關(guān)運(yùn)算放大器原理的問題請教,運(yùn)放的一個重要參數(shù)增益帶寬是運(yùn)放的開環(huán)增益和帶寬的乘積,這個乘積為什么是常數(shù),從運(yùn)放的設(shè)計原理和等效電路分析這個參數(shù)求解的原理? 噪聲增益在電路設(shè)計中是什么意思,定義
    發(fā)表于 03-24 07:36