AMD發(fā)布首款小語言AI模型Llama-135m
近日，AMD在Huggingface平臺(tái)上正式推出了自家首款“小語言模型”——AMD-Llama-135m。這款模型以其獨(dú)特的推測(cè)解碼功能，吸引了業(yè)界的廣泛關(guān)注。
AMD-Llama-135m模型擁有6700億個(gè)token，并采用了Apache 2.0開源許可，為用戶提供了更多的靈活性和自由度。據(jù)AMD介紹，該模型主打“推測(cè)解碼”能力，這一功能的基本原理是通過使用一個(gè)小型草稿模型來生成一組候選token，然后由更大的目標(biāo)模型對(duì)這些候選token進(jìn)行驗(yàn)證。這種方法不僅能夠確保生成的token的準(zhǔn)確性和可靠性，而且允許每次前向傳遞生成多個(gè)token，從而顯著提高了效率。
與傳統(tǒng)的AI模型相比，AMD-Llama-135m在RAM占用方面也有了顯著的優(yōu)化。由于采用了推測(cè)解碼技術(shù)，該模型能夠在不影響性能的前提下，減少RAM的占用，實(shí)現(xiàn)了更加高效的計(jì)算和存儲(chǔ)資源利用。
AMD-Llama-135m的發(fā)布，標(biāo)志著AMD在AI領(lǐng)域邁出了重要的一步。未來，AMD將繼續(xù)致力于AI技術(shù)的研發(fā)和創(chuàng)新，為全球用戶提供更加智能、高效和可靠的解決方案。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
amd
+關(guān)注
關(guān)注
25文章
5690瀏覽量
140091 -
AI
+關(guān)注
關(guān)注
91文章
40041瀏覽量
301699 -
模型
+關(guān)注
關(guān)注
1文章
3767瀏覽量
52138
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
中興通訊全球首款AI+Wi-Fi 8室內(nèi)CPE重磅發(fā)布
2026世界移動(dòng)通信大會(huì)（MWC26巴塞羅那）現(xiàn)場(chǎng)，中興通訊終端業(yè)務(wù)攜全場(chǎng)景AI終端亮相，全面展示AI技術(shù)與終端生態(tài)深度融合的創(chuàng)新成果。此次展會(huì)發(fā)布了全球首
大模型 ai coding 比較
序
我主要用途是 ai coding，從各種渠道獲取到了很多 不同的大模型排序 最多的是 opus 4.6 > k2.5 > glm5 >
發(fā)表于 02-19 13:43
國(guó)內(nèi)首款AI助盲眼鏡發(fā)布，1700萬視障人士的新眼睛
在國(guó)際殘疾人日（12 月 3 日）這一天，杭州瞳行科技公司正式發(fā)布國(guó)內(nèi)首款 AI 助盲眼鏡。該眼鏡由眼鏡主體、手機(jī)、遙控指環(huán)、盲杖四部分組成，目前已正式面市。
【CIE全國(guó)RISC-V創(chuàng)新應(yīng)用大賽】基于 K1 AI CPU 的大模型部署落地
的 落地方案 ：
1. 系統(tǒng)部署方案書 (System Proposal)
方案要點(diǎn)
部署工具 ：使用官方提供的 spacemit-llama.cpp (v0.0.4) 二進(jìn)制包。
模型策略 ：采用
發(fā)表于 11-27 14:43
AMD Vitis AI 5.1測(cè)試版現(xiàn)已開放下載
AMD Vitis AI 5.1全新發(fā)布——新增了對(duì) AMD Versal AI Edge 系列神經(jīng)網(wǎng)絡(luò)處理單元（ NPU ）的支持。Vit
AMD Vitis AI 5.1測(cè)試版發(fā)布
AMD Vitis AI 5.1全新發(fā)布——新增了對(duì) AMD Versal AI Edge 系列神經(jīng)網(wǎng)絡(luò)處理單元 (NPU) 的支持。Vit
皓麗全球首款四攝AI會(huì)議平板：AI全視之眼 + AI智會(huì)大模型雙加持
2025年，智能會(huì)議設(shè)備市場(chǎng)迎來里程碑式突破——連續(xù)多年蟬聯(lián)電商銷量冠軍的皓麗（Horion）正式推出全球首款四攝AI會(huì)議平板，以“AI全視之眼+A
深蘭科技發(fā)布全球首款兒童心理健康AI陪伴玩偶產(chǎn)品
近日，深蘭科技在上海舉辦“AI機(jī)器人場(chǎng)景應(yīng)用渠道合作峰會(huì)”，會(huì)議上重磅發(fā)布了全球首款兒童心理健康AI陪伴玩偶產(chǎn)品，標(biāo)志著深蘭科技叩響C端消費(fèi)
使用 NPU 插件對(duì)量化的 Llama 3.1 8b 模型進(jìn)行推理時(shí)出現(xiàn)“從 __Int64 轉(zhuǎn)換為無符號(hào) int 的錯(cuò)誤”，怎么解決？
安裝了 OpenVINO? GenAI 2024.4。
使用以下命令量化 Llama 3.1 8B 模型：
optimum-cli export openvino -m meta-llama
發(fā)表于 06-25 07:20
探索在Arm平臺(tái)運(yùn)行的Llama 4 Scout模型
人工智能 (AI) 正在加速發(fā)展，也越來越智能化。當(dāng)今的開源大語言模型不僅功能強(qiáng)大，而且在設(shè)計(jì)時(shí)充分考慮了實(shí)際部署的需求，因而具有輕量化和經(jīng)濟(jì)高效的特點(diǎn)，可大規(guī)模部署到數(shù)十億臺(tái)設(shè)備上。簡(jiǎn)而言之，對(duì)于開發(fā)者可能想到的各種情形，當(dāng)今
首創(chuàng)開源架構(gòu)，天璣AI開發(fā)套件讓端側(cè)AI模型接入得心應(yīng)手
模型、通義千問、混元等多種先進(jìn)端側(cè)大模型，還包含視覺、語言、多模態(tài)等多種多樣的大模型，開發(fā)者可以通過Gen-AI Model Hub一鍵調(diào)用
發(fā)表于 04-13 19:52
人民網(wǎng)發(fā)布首款智能硬件AI之眼
昨天，在成都舉辦的第十二屆中國(guó)網(wǎng)絡(luò)視聽大會(huì)智慧媒體論壇上，人民網(wǎng)正式發(fā)布了智能硬件“AI之眼”。據(jù)悉，此次發(fā)布的“AI之眼”1.0版本名叫“AIyou（愛游）”。 這也是人民網(wǎng)研發(fā)的
銷售易在騰訊云城市峰會(huì)上發(fā)布中國(guó)首款AI CRM
各行各業(yè)的200余位來賓共同探討AI時(shí)代下客戶數(shù)字化轉(zhuǎn)型的新路徑。 會(huì)上,銷售易發(fā)布 中國(guó)首款AI CRM——NeoAgent?產(chǎn)品矩陣和C
NVIDIA 推出開放推理 AI 模型系列，助力開發(fā)者和企業(yè)構(gòu)建代理式 AI 平臺(tái)
月 18 日 —— ?NVIDIA 今日發(fā)布具有推理功能的開源 Llama Nemotron 模型系列，旨在為開發(fā)者和企業(yè)提供業(yè)務(wù)就緒型基礎(chǔ)，助力構(gòu)建能夠獨(dú)立工作或以團(tuán)隊(duì)形式完成復(fù)雜任務(wù)的高級(jí)
發(fā)表于 03-19 09:31
?402次閱讀
工商網(wǎng)監(jiān)
評(píng)論