Meta發(fā)布Llama 3.2量化版模型
近日，Meta在開源Llama 3.2的1B與3B模型后，再次為人工智能領(lǐng)域帶來了新進展。10月24日，Meta正式推出了這兩個模型的量化版本，旨在進一步優(yōu)化模型性能，拓寬其應(yīng)用場景。
據(jù)Meta介紹，量化后的Llama 3.2模型在大小上平均減少了56%，RAM使用量也平均降低了41%。這一顯著的優(yōu)化使得模型在運行過程中能夠占用更少的資源，同時速度提高了2至4倍。此外，量化后的模型還降低了功耗，這對于將其部署到移動設(shè)備上具有重要意義。
此次Meta推出的量化版Llama 3.2模型，不僅展示了其在人工智能領(lǐng)域的持續(xù)創(chuàng)新能力，也為更多開發(fā)者提供了高效、便捷的工具。隨著這些模型在移動設(shè)備上的廣泛應(yīng)用，人工智能將更深入地融入人們的日常生活，為社會帶來更多的便利和可能性。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
人工智能
+關(guān)注
關(guān)注
1817文章
50102瀏覽量
265506 -
開源
+關(guān)注
關(guān)注
3文章
4209瀏覽量
46163 -
Meta
+關(guān)注
關(guān)注
0文章
322瀏覽量
12461
發(fā)布評論請先 登錄
相關(guān)推薦
熱點推薦
正面對決GPT-5和Germini-3，DeepSeek-V3.2震撼發(fā)布
12月1日，中國 AI創(chuàng)新企業(yè) DeepSeek 再度加速技術(shù)迭代，今日宣布推出 DeepSeek-V3.2 與 V3.2-Speciale 兩款模型。公司在官網(wǎng)上指出，DeepSeek-V3
【CIE全國RISC-V創(chuàng)新應(yīng)用大賽】基于 K1 AI CPU 的大模型部署落地
8GB 物理內(nèi)存 （且操作系統(tǒng)還要占用約 500MB+）。
結(jié)論 ：如果直接照搬官方文檔下載 Q4 模型， 100% 會因為內(nèi)存不足（OOM）而無法運行 。
為了滿足賽題要求，必須采用 “極限量化
發(fā)表于 11-27 14:43
新思科技SLM解決方案守護AI芯片萬億算力
2024年，Meta訓(xùn)練了一款A(yù)I模型“Llama 3”，并將相關(guān)訓(xùn)練成果匯總發(fā)表了一篇論文，受到廣泛關(guān)注。在為期54天的預(yù)訓(xùn)練過程中，Llama 3遭遇了466次訓(xùn)練中斷，其中意外中
Arm與Meta深化戰(zhàn)略合作
智能的毫瓦級設(shè)備，到訓(xùn)練全球最先進 AI 模型的兆瓦級系統(tǒng)，此次合作將推動 AI 覆蓋多種計算類型、工作負載及使用體驗，為 Meta 的全球平臺提供核心支撐。
寒武紀成功適配DeepSeek-V3.2-Exp模型
2025年9月29日，寒武紀已同步實現(xiàn)對深度求索公司最新模型DeepSeek-V3.2-Exp的適配，并開源大模型推理引擎vLLM-MLU源代碼。代碼地址和測試步驟見文末，開發(fā)者可以在寒武紀軟硬件平臺上第一時間體驗DeepSee
大規(guī)模專家并行模型在TensorRT-LLM的設(shè)計
DeepSeek-V3 / R1 等模型采用大規(guī)模細粒度混合專家模型 (MoE) 架構(gòu)，大幅提升了開源模型的質(zhì)量。Llama 4 和 Qwen3 等新
下一波輕量化AI+AR眼鏡熱潮將至
近期，Meta發(fā)布了今年第二季度的財報，2025 年第二季度，Meta Reality Labs共實現(xiàn)了 3.7 億美元的收入，比 2024 年第二季度的 3.53 億美元增長 5%。在這增長背后的主要原因，是輕
利用Arm i8mm指令優(yōu)化llama.cpp
本文將為你介紹如何利用 Arm i8mm 指令，具體來說，是通過帶符號 8 位整數(shù)矩陣乘加指令 smmla，來優(yōu)化 llama.cpp 中 Q6_K 和 Q4_K 量化模型推理。
使用 NPU 插件對量化的 Llama 3.1 8b 模型進行推理時出現(xiàn)“從 __Int64 轉(zhuǎn)換為無符號 int 的錯誤”，怎么解決？
安裝了 OpenVINO? GenAI 2024.4。
使用以下命令量化 Llama 3.1 8B 模型：
optimum-cli export openvino -m meta-llama
發(fā)表于 06-25 07:20
2.0.0版本的ST Edge AI Core在linux平臺上可以把量化后的onnx模型轉(zhuǎn)換為.nb，但是運行報錯，缺少文件，為什么？
2.0.0版本的ST Edge AI Core工具在linux平臺上應(yīng)該是可以把量化后的onnx模型轉(zhuǎn)換為.nb，但是運行報錯，缺少文件。
發(fā)表于 06-17 06:29
瑞芯微模型量化文件構(gòu)建
模型是一張圖片輸入時，量化文件如上圖所示。但是我現(xiàn)在想量化deepprivacy人臉匿名模型，他的輸入是四個輸入。該模型訓(xùn)練時數(shù)據(jù)集只標注
發(fā)表于 06-13 09:07
探索在Arm平臺運行的Llama 4 Scout模型
人工智能 (AI) 正在加速發(fā)展，也越來越智能化。當(dāng)今的開源大語言模型不僅功能強大，而且在設(shè)計時充分考慮了實際部署的需求，因而具有輕量化和經(jīng)濟高效的特點，可大規(guī)模部署到數(shù)十億臺設(shè)備上。簡而言之，對于開發(fā)者可能想到的各種情形，當(dāng)今的開源大語言
今日看點丨臺積電、Intel合資運營代工業(yè)務(wù)；韓國計劃向當(dāng)?shù)仄囆袠I(yè)注入3萬億韓元援助
1. Meta 發(fā)布人工智能新模型系列 Llama 4 ，首次采用“混合專家”架構(gòu) ? 當(dāng)?shù)貢r間周六(4月5日)，美國科技巨頭Meta推出了
發(fā)表于 04-07 11:26
?625次閱讀
將Deepseek移植到i.MX 8MP|93 EVK的步驟
此共享介紹了如何將 deepseek 移植到i.MX93EVK使用 llama.cpp 的 Yocto BSP
本文檔使用的主要測試模型是在 deepseek 模型的基礎(chǔ)上進行提煉和量化
發(fā)表于 03-26 06:08
工商網(wǎng)監(jiān)
評論