大語(yǔ)言模型無(wú)損壓縮方面超越PNG和FLAC
Google DeepMind 和 Meta 的研究人員發(fā)表論文《Language Modeling Is Compression》，他們發(fā)現(xiàn) DeepMind 的大語(yǔ)言模型 Chinchilla 70B 在圖像和音頻的無(wú)損壓縮上超過(guò)了 PNG 和 FLAC。
論文提到，Chinchilla 70B 能將 ImageNet 圖像數(shù)據(jù)庫(kù)中的圖像無(wú)損壓縮到原始大小 43.4%，超過(guò)了 PNG 算法的 58.5%。
Chinchilla 能將 LibriSpeech 音頻數(shù)據(jù)集中的樣本無(wú)損壓縮到原始大小 16.4%，超過(guò) FLAC 算法的 30.3%。
據(jù)介紹，Chinchilla 70B 主要是訓(xùn)練用于處理文本，但它在壓縮其它類型的數(shù)據(jù)集上的效果也表現(xiàn)優(yōu)異，甚至優(yōu)于專門(mén)的算法。
下面的例子比較了 gzip 和 Chinchilla 在示例文本上的壓縮效果。可以看到，gzip 的輸出沒(méi)有可讀性。
編輯：黃飛
聲明：本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
無(wú)損壓縮
+關(guān)注
關(guān)注
0文章
12瀏覽量
8604 -
FLAC
+關(guān)注
關(guān)注
0文章
4瀏覽量
8753 -
png
+關(guān)注
關(guān)注
0文章
14瀏覽量
4705 -
大模型
+關(guān)注
關(guān)注
2文章
3655瀏覽量
5196
原文標(biāo)題：大模型在無(wú)損壓縮方面超越PNG和FLAC
文章出處：【微信號(hào)：OSC開(kāi)源社區(qū)，微信公眾號(hào)：OSC開(kāi)源社區(qū)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
面向嵌入式部署的神經(jīng)網(wǎng)絡(luò)優(yōu)化：模型壓縮深度解析
1.為什么需要神經(jīng)網(wǎng)絡(luò)模型壓縮？ 神經(jīng)網(wǎng)絡(luò)已經(jīng)成為解決復(fù)雜機(jī)器學(xué)習(xí)問(wèn)題的強(qiáng)大工具。然而，這種能力往往伴隨著模型規(guī)模和計(jì)算復(fù)雜度的增加。當(dāng)輸入維度較大（例如長(zhǎng)時(shí)序窗口、高分辨率特征空間）時(shí)，模型
在AI基礎(chǔ)設(shè)施中部署大語(yǔ)言模型的三大舉措
文：Gartner研究副總裁周玲中國(guó)企業(yè)機(jī)構(gòu)已逐步在生產(chǎn)環(huán)境中運(yùn)行或者計(jì)劃運(yùn)行大語(yǔ)言模型，但在AI基礎(chǔ)設(shè)施的生產(chǎn)部署與高效運(yùn)營(yíng)方面仍面臨諸多挑戰(zhàn)。目前，中國(guó)正加速提升其生成式AI能力，覆蓋大語(yǔ)
什么是大模型，智能體...？大模型100問(wèn)，快速全面了解！
一、概念篇1.什么是大模型？大模型是指參數(shù)規(guī)模巨大（通常達(dá)到數(shù)十億甚至萬(wàn)億級(jí)別）、使用海量數(shù)據(jù)訓(xùn)練而成的人工智能模型。2.什么是大語(yǔ)言模型（
linux的壓縮和解壓操作
進(jìn)行壓縮，然后傳輸壓縮的文件，這樣可以減少文件傳輸所需要的帶寬和時(shí)間，在網(wǎng)絡(luò)接收到文件之后再解壓，就可以得到文件了。
文件的壓縮有兩種方式：有損壓縮和
發(fā)表于 12-23 06:56
電能質(zhì)量在線監(jiān)測(cè)裝置數(shù)據(jù)壓縮對(duì)裝置性能有哪些影響？
降至工業(yè)級(jí)可接受范圍， 不會(huì)影響核心監(jiān)測(cè)功能（如采樣精度、故障響應(yīng)） 。以下是分維度的專業(yè)解析： 一、核心性能影響維度（分裝置定位 + 壓縮類型） 1. CPU 占用：硬件加速是關(guān)鍵，無(wú)損壓縮影響極小 數(shù)據(jù)壓縮 / 解壓本質(zhì)是計(jì)
電能質(zhì)量在線監(jiān)測(cè)裝置支持哪些數(shù)據(jù)壓縮算法？
電能質(zhì)量在線監(jiān)測(cè)裝置支持 無(wú)損壓縮 和 有損壓縮 兩大類算法，適配不同數(shù)據(jù)類型（實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)、波形數(shù)據(jù)）與應(yīng)用場(chǎng)景（存儲(chǔ) / 傳輸 / 故障追溯），且在基礎(chǔ)型、增強(qiáng)型、電網(wǎng)級(jí)裝置中支持力度逐步
如何利用NPU與模型壓縮技術(shù)優(yōu)化邊緣AI
，AI 模型體積龐大，部署在 NPU上常常面臨困難，這凸顯了模型壓縮技術(shù)的重要性。要實(shí)現(xiàn)高效的實(shí)時(shí)邊緣 AI，需要深入探討NPU 與模型壓縮
國(guó)慶出國(guó)游，時(shí)空壺新T1翻譯機(jī)，首個(gè)端側(cè)模型突破助力跨語(yǔ)言交流
的旗艦機(jī)型，最大亮點(diǎn)是搭載業(yè)內(nèi)首個(gè)端側(cè)AI翻譯模型。這一模型將原本依賴云端算力的復(fù)雜AI翻譯模型，通過(guò)先進(jìn)的模型剪枝、量化壓縮等技術(shù)，巧妙部
3萬(wàn)字長(zhǎng)文！深度解析大語(yǔ)言模型LLM原理
我們正在參加全球電子成就獎(jiǎng)的評(píng)選，歡迎大家?guī)臀覀兺镀薄x謝支持本文轉(zhuǎn)自：騰訊技術(shù)工程作者：royceshao大語(yǔ)言模型LLM的精妙之處在于很好地利用數(shù)學(xué)解決了工業(yè)場(chǎng)景的問(wèn)題，筆者基于過(guò)往工程經(jīng)驗(yàn)
利用自壓縮實(shí)現(xiàn)大型語(yǔ)言模型高效縮減
隨著語(yǔ)言模型規(guī)模日益龐大，設(shè)備端推理變得越來(lái)越緩慢且耗能巨大。一個(gè)直接且效果出人意料的解決方案是剪除那些對(duì)任務(wù)貢獻(xiàn)甚微的完整通道（channel）。我們?cè)缙诘难芯刻岢隽艘环N訓(xùn)練階段的方法——自壓縮
歐洲借助NVIDIA Nemotron優(yōu)化主權(quán)大語(yǔ)言模型
NVIDIA 正攜手歐洲和中東的模型構(gòu)建商與云提供商，共同優(yōu)化主權(quán)大語(yǔ)言模型 (LLM)，加速該地區(qū)各行業(yè)采用企業(yè)級(jí) AI。
小白學(xué)大模型：從零實(shí)現(xiàn) LLM語(yǔ)言模型
在當(dāng)今人工智能領(lǐng)域，大型語(yǔ)言模型（LLM）的開(kāi)發(fā)已經(jīng)成為一個(gè)熱門(mén)話題。這些模型通過(guò)學(xué)習(xí)大量的文本數(shù)據(jù)，能夠生成自然語(yǔ)言文本，完成各種復(fù)雜的任務(wù)，如寫(xiě)作、翻譯、問(wèn)答等。https
如何借助大語(yǔ)言模型打造人工智能生態(tài)系統(tǒng)
大語(yǔ)言模型(LLMs)正以革命性的姿態(tài)重塑我們與科技的互動(dòng)模式。然而，由于其龐大的規(guī)模，它們往往屬于資源密集型范疇，不僅大幅推高了成本，還造成了能源消耗的激增。本文深入剖析了大語(yǔ)言模型
?VLM（視覺(jué)語(yǔ)言模型）?詳細(xì)解析
視覺(jué)語(yǔ)言模型（Visual Language Model, VLM）是一種結(jié)合視覺(jué)（圖像/視頻）和語(yǔ)言（文本）處理能力的多模態(tài)人工智能模型，能夠理解并生成與視覺(jué)內(nèi)容相關(guān)的自然
工商網(wǎng)監(jiān)
評(píng)論