91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

電子發(fā)燒友App

硬聲App

掃碼添加小助手

加入工程師交流群

搜索歷史

清空
搜索熱詞
      0
      • 聊天消息
      • 系統(tǒng)消息
      • 評論與回復(fù)
      VIP于 到期 續(xù)費
      登錄后你可以
      • 下載海量資料
      • 學(xué)習(xí)在線課程
      • 觀看技術(shù)視頻
      • 寫文章/發(fā)帖/加入社區(qū)
      會員中心
      創(chuàng)作中心
      發(fā)布
      創(chuàng)作活動

      完善資料讓更多小伙伴認(rèn)識你，還能領(lǐng)取20積分哦，立即完善>

      3天內(nèi)不再提示
      創(chuàng)作
      電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>PyTorch教程11.5之多頭注意力

      PyTorch教程11.5之多頭注意力

      2023-06-05 | pdf | 0.14 MB | 次下載 | 免費

      資料介紹

      在實踐中，給定一組相同的查詢、鍵和值，我們可能希望我們的模型結(jié)合來自同一注意機制的不同行為的知識，例如捕獲各種范圍的依賴關(guān)系（例如，較短范圍與較長范圍）在一個序列中。因此，這可能是有益的
      允許我們的注意力機制聯(lián)合使用查詢、鍵和值的不同表示子空間。

      為此，可以使用以下方式轉(zhuǎn)換查詢、鍵和值，而不是執(zhí)行單個注意力池h獨立學(xué)習(xí)線性投影。那么這些h投影查詢、鍵和值被并行輸入注意力池。到底，h 注意池的輸出與另一個學(xué)習(xí)的線性投影連接并轉(zhuǎn)換以產(chǎn)生最終輸出。這種設(shè)計稱為多頭注意力，其中每個hattention pooling outputs 是一個頭 （Vaswani et al. , 2017）。使用全連接層執(zhí)行可學(xué)習(xí)的線性變換，圖 11.5.1描述了多頭注意力。

      ../_images/多頭注意力.svg

      圖 11.5.1多頭注意力，其中多個頭連接起來然后進(jìn)行線性變換。

      import math
import torch
from torch import nn
from d2l import torch as d2l

      import math
from mxnet import autograd, np, npx
from mxnet.gluon import nn
from d2l import mxnet as d2l

npx.set_np()

      import jax
from flax import linen as nn
from jax import numpy as jnp
from d2l import jax as d2l

      No GPU/TPU found, falling back to CPU. (Set TF_CPP_MIN_LOG_LEVEL=0 and rerun for more info.)

      import tensorflow as tf
from d2l import tensorflow as d2l

      11.5.1。模型

      在提供多頭注意力的實現(xiàn)之前，讓我們從數(shù)學(xué)上形式化這個模型。給定一個查詢 q∈Rdq， 關(guān)鍵 k∈Rdk和一個值 v∈Rdv, 每個注意力頭 hi(i=1,…,h) 被計算為

      (11.5.1)hi=f(Wi(q)q,Wi(k)k,Wi(v)v)∈Rpv,

      其中可學(xué)習(xí)參數(shù) Wi(q)∈Rpq×dq, Wi(k)∈Rpk×dk和 Wi(v)∈Rpv×dv， 和f是注意力集中，例如11.3 節(jié)中的附加注意力和縮放點積注意力。多頭注意力輸出是另一種通過可學(xué)習(xí)參數(shù)進(jìn)行的線性變換Wo∈Rpo×hpv的串聯(lián)h負(fù)責(zé)人：

      (11.5.2)Wo[h1?hh]∈Rpo.

      基于這種設(shè)計，每個頭可能會關(guān)注輸入的不同部分。可以表達(dá)比簡單加權(quán)平均更復(fù)雜的函數(shù)。

      11.5.2。執(zhí)行

      在我們的實現(xiàn)中，我們?yōu)槎囝^注意力的每個頭選擇縮放的點積注意力。為了避免計算成本和參數(shù)化成本的顯著增長，我們設(shè)置 pq=pk=pv=po/h


      投影 函數(shù) pytorch
      加入交流群
      微信小助手二維碼

      掃碼添加小助手

      加入工程師交流群

      下載該資料的人也在下載 下載該資料的人還在閱讀
      更多 >

      評論

      查看更多

      下載排行

      本周

      1. 1山景DSP芯片AP8248A2數(shù)據(jù)手冊
      2. 1.06 MB  |  532次下載  |  免費
      3. 2RK3399完整板原理圖（支持平板，盒子VR）
      4. 3.28 MB  |  339次下載  |  免費
      5. 3TC358743XBG評估板參考手冊
      6. 1.36 MB  |  330次下載  |  免費
      7. 4DFM軟件使用教程
      8. 0.84 MB  |  295次下載  |  免費
      9. 5元宇宙深度解析—未來的未來-風(fēng)口還是泡沫
      10. 6.40 MB  |  227次下載  |  免費
      11. 6迪文DGUS開發(fā)指南
      12. 31.67 MB  |  194次下載  |  免費
      13. 7元宇宙底層硬件系列報告
      14. 13.42 MB  |  182次下載  |  免費
      15. 8FP5207XR-G1中文應(yīng)用手冊
      16. 1.09 MB  |  178次下載  |  免費

      本月

      1. 1OrCAD10.5下載OrCAD10.5中文版軟件
      2. 0.00 MB  |  234315次下載  |  免費
      3. 2555集成電路應(yīng)用800例(新編版)
      4. 0.00 MB  |  33566次下載  |  免費
      5. 3接口電路圖大全
      6. 未知  |  30323次下載  |  免費
      7. 4開關(guān)電源設(shè)計實例指南
      8. 未知  |  21549次下載  |  免費
      9. 5電氣工程師手冊免費下載(新編第二版pdf電子書)
      10. 0.00 MB  |  15349次下載  |  免費
      11. 6數(shù)字電路基礎(chǔ)pdf(下載)
      12. 未知  |  13750次下載  |  免費
      13. 7電子制作實例集錦 下載
      14. 未知  |  8113次下載  |  免費
      15. 8《LED驅(qū)動電路設(shè)計》 溫德爾著
      16. 0.00 MB  |  6656次下載  |  免費

      總榜

      1. 1matlab軟件下載入口
      2. 未知  |  935054次下載  |  免費
      3. 2protel99se軟件下載(可英文版轉(zhuǎn)中文版)
      4. 78.1 MB  |  537798次下載  |  免費
      5. 3MATLAB 7.1 下載 (含軟件介紹)
      6. 未知  |  420027次下載  |  免費
      7. 4OrCAD10.5下載OrCAD10.5中文版軟件
      8. 0.00 MB  |  234315次下載  |  免費
      9. 5Altium DXP2002下載入口
      10. 未知  |  233046次下載  |  免費
      11. 6電路仿真軟件multisim 10.0免費下載
      12. 340992  |  191187次下載  |  免費
      13. 7十天學(xué)會AVR單片機與C語言視頻教程 下載
      14. 158M  |  183279次下載  |  免費
      15. 8proe5.0野火版下載(中文版免費下載)
      16. 未知  |  138040次下載  |  免費