谷歌提出FlexiViT：適用于所有Patch大小的模型
一句話總結(jié)就是，ViT 是一種通過將圖像切割成一個個小方塊(patch)將圖像轉(zhuǎn)換為序列從而輸入到T....
一種新的輕量級視覺Transformer
既然都叫 EfficientFormerV2，那必然是在上一版的基礎(chǔ)上改進了，如圖(a)所示。沒什么....
基于先驗指導(dǎo)的對抗樣本初始化方法提升FAT效果
這種現(xiàn)象最先由Wong等人發(fā)現(xiàn)，隨后他們又發(fā)現(xiàn)使用FGSM生成對抗樣本時使用隨機初始化可以延緩災(zāi)難性....
PEMN：參數(shù)集約型掩碼網(wǎng)絡(luò)
來自美國東北大學(xué)和羅切斯特理工的研究者提出參數(shù)集約型掩碼網(wǎng)絡(luò)（Parameter-Efficient....
復(fù)旦&微軟提出?OmniVL：首個統(tǒng)一圖像、視頻、文本的基礎(chǔ)預(yù)訓(xùn)練模型
根據(jù)輸入數(shù)據(jù)和目標(biāo)下游任務(wù)的不同，現(xiàn)有的VLP方法可以大致分為兩類：圖像-文本預(yù)訓(xùn)練和視頻-文本預(yù)訓(xùn)....
基于視覺transformer的高效時空特征學(xué)習(xí)算法
視覺Transofrmer通常將圖像分割為不重疊的塊(patch)，patch之間通過自注意力機制(....
無殘差連接或歸一化層，也能成功訓(xùn)練深度transformer
殘差架構(gòu)是最流行和成功的，最初是在卷積神經(jīng)網(wǎng)絡(luò)（CNN）的背景下開發(fā)的，后來自注意力網(wǎng)絡(luò)中產(chǎn)生了無處....
全球首個面向遙感任務(wù)設(shè)計的億級視覺Transformer大模型
簡單來說，為了更好地應(yīng)對遙感圖像所具有的大尺寸特性以及圖像中的目標(biāo)物體的朝向任意性，我們提出了一種新....
一種基于毒性樣本敏感性的有效后門防御！
訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)(DNNs)往往需要大量的訓(xùn)練數(shù)據(jù)，這些數(shù)據(jù)有時可能由不可信的第三方來源所提供。這些....
基于視頻語言模型LiteVL的無參的特征池化方法
我們提出了LiteVL，這是一種視頻語言模型，它無需大量的視頻語言預(yù)訓(xùn)練或目標(biāo)檢測器。LiteVL從....
LSTM之父再次炮轟LeCun：你那5點
1. 通過神經(jīng)網(wǎng)絡(luò)（NN）自動生成標(biāo)注的「自監(jiān)督學(xué)習(xí)」：至少可以追溯到我1990-91年的工作。 ....
用于視覺識別的Transformer風(fēng)格的ConvNet
需要注意的是：上式中表示Hadamard乘積。上述卷積調(diào)制模塊使得每個位置的元素與其近鄰相關(guān)，而通道....
如何使用DDPM提取特征并研究這些特征可能捕獲的語義信息
對于幾個預(yù)先訓(xùn)練的擴散模型，作者研究了網(wǎng)絡(luò)中執(zhí)行逆擴散過程馬爾可夫步驟的中間激活。
阿里達(dá)摩院提出MogFace：人臉檢測新工作
為每個anchor點定義cls和reg目標(biāo)是訓(xùn)練檢測器的必要過程，在人臉檢測中這個過程稱之為標(biāo)簽分配....
NVIDIA提出Magic3D：高分辨率文本到3D內(nèi)容創(chuàng)建
Magic3D 還可以執(zhí)行基于提示的 3D 網(wǎng)格編輯：給定低分辨率 3D 模型和基本提示，可以更改文....
術(shù)開發(fā)一種硬件高效的RepGhost模塊
特征復(fù)用技術(shù)是指：通過簡單地連接來自不同層的已有的一些特征圖，來額外獲得一些其他的特征
港大&騰訊提出DiffusionDet：第一個用于目標(biāo)檢測的擴散模型
近日，來自香港大學(xué)的羅平團隊、騰訊 AI Lab 的研究者聯(lián)合提出一種新框架 DiffusionDe....
基于可變形卷積的大規(guī)模視覺基礎(chǔ)模型
擴大模型的規(guī)模是提高特征表示質(zhì)量的重要策略，在計算機視覺領(lǐng)域，模型參數(shù)量的擴大不僅能夠有效加強深度模....
IPMT：用于小樣本語義分割的中間原型挖掘Transformer
目前在計算機視覺取得的巨大進展在很大程度上依賴于大量帶標(biāo)注的數(shù)據(jù)，然而收集這些數(shù)據(jù)是一項耗時耗力的工....
基于激光雷達(dá)的全稀疏3D物體檢測器
這樣做實質(zhì)上是把instance當(dāng)成了“voxel”來處理，因為instance和voxel本質(zhì)上都....
基于Transformer架構(gòu)的文檔圖像自監(jiān)督預(yù)訓(xùn)練技術(shù)
本文簡要介紹ACM MM 2022錄用論文“DiT： Self-supervised Pre-tra....
一種「個性化」的文本到圖像擴散模型 DreamBooth
一些大型文本到圖像模型基于用自然語言編寫的文本提示（prompt）實現(xiàn)了高質(zhì)量和多樣化的圖像合成。這....
三行代碼完成AI模型的部署！
為了解決AI部署落地難題，我們發(fā)起了FastDeploy項目。FastDeploy針對產(chǎn)業(yè)落地場景中....
首個無監(jiān)督3D點云物體實例分割算法
本文旨在尋求一種無監(jiān)督的3D物體分割方法。我們發(fā)現(xiàn)，運動信息有望幫助我們實現(xiàn)這一目標(biāo)。如下圖1所示，....
間隔校準(zhǔn)算法Margin Calibration來了！
如下圖所示，我們憑經(jīng)驗發(fā)現(xiàn)邊距和預(yù)測分?jǐn)?shù)與每個類的基數(shù)相關(guān)（一個類的基數(shù)即該類別擁有數(shù)據(jù)的數(shù)量）。具....
無需權(quán)重更新、微調(diào)，Transformer在試錯中自主改進！
最近的工作表明，transformers 還可以通過將離線強化學(xué)習(xí)（RL）視作順序預(yù)測問題，進而從離....
基于Transformer與覆蓋注意力機制建模的手寫數(shù)學(xué)公式識別
手寫數(shù)學(xué)公式識別是將包含數(shù)學(xué)表達(dá)式的圖像轉(zhuǎn)換為結(jié)構(gòu)表達(dá)式，例如LaTeX數(shù)學(xué)表達(dá)式或符號布局樹的過程....
深度模型Adan優(yōu)化器如何完成ViT的訓(xùn)練
自Google提出Vision Transformer(ViT)以來，ViT漸漸成為許多視覺任務(wù)的默....
基于深度學(xué)習(xí)的圖像去模糊算法及應(yīng)用
當(dāng)前，絕大部分基于深度學(xué)習(xí)的圖像去模糊算法是不區(qū)分場景的，也就是他們是對常見的自然與人為設(shè)計的場景進....
基于超大感受野注意力的超分辨率模型
通過引入像素注意力，PAN在大幅降低參數(shù)量的同時取得了非常優(yōu)秀的性能。相比通道注意力與空域注意力，像....
工商網(wǎng)監(jiān)