如何本地部署大模型

近期，openEuler A-Tune SIG在openEuler 23.09版本引入llama.cpp&chatglm-cpp兩款應(yīng)用，以支持...

2023-10-18 標(biāo)簽：人工智能C++openEuler 4.2k 0

mlc-llm對(duì)大模型推理的流程及優(yōu)化方案

在 MLC-LLM 部署RWKV World系列模型實(shí)戰(zhàn)（3B模型Mac M2解碼可達(dá)26tokens/s） 中提到要使用mlc-llm部署模型首先需要...

2023-09-26 標(biāo)簽：編譯MLC深度學(xué)習(xí) 3.4k 0

對(duì)比解碼在LLM上的應(yīng)用

為了改進(jìn)LLM的推理能力，University of California聯(lián)合Meta AI實(shí)驗(yàn)室提出將Contrastive Decoding應(yīng)用于多...

2023-09-21 標(biāo)簽：解碼AI深度學(xué)習(xí) 1.2k 0

LLM在生成摘要方面效果到底如何？

文本摘要，作為自然語(yǔ)言生成（NLG）中的一項(xiàng)任務(wù)，主要用來(lái)將一大段長(zhǎng)文本壓縮為簡(jiǎn)短的摘要，例如新聞文章、源代碼和跨語(yǔ)言文本等多種內(nèi)容都能用到。

2023-09-21 標(biāo)簽：源代碼GPT大模型 1.1k 0

基于神經(jīng)科學(xué)的Numenta介紹

人腦以高效著稱(chēng)，它以稀疏的表征方式存儲(chǔ)和處理信息。在任何時(shí)刻，只有一小部分神經(jīng)元處于活躍狀態(tài)。

2023-09-21 標(biāo)簽：處理器GPU芯片自然語(yǔ)言處理 1.6k 0

Medusa如何加速大型語(yǔ)言模型（LLM）的生成？

面對(duì)推測(cè)性解碼的復(fù)雜性，研究人員推出了Medusa技術(shù)，這個(gè)框架回歸了Transformer模型的本質(zhì)，減少了復(fù)雜度，增強(qiáng)了效率，讓每個(gè)生成階段都能快速...

2023-09-20 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型LLM 1.3k 0

從原理到代碼理解語(yǔ)言模型訓(xùn)練和推理，通俗易懂，快速修煉LLM

要理解大語(yǔ)言模型（LLM），首先要理解它的本質(zhì)，無(wú)論預(yù)訓(xùn)練、微調(diào)還是在推理階段，核心都是next token prediction，也就是以自回歸的方式...

2023-09-19 標(biāo)簽：語(yǔ)言模型LLM 4.4k 0

【比特熊充電?！繉?shí)戰(zhàn)演練構(gòu)建LLM對(duì)話(huà)引擎

大模型時(shí)代，安全問(wèn)題不容小覷。但如果把大模型比作孫悟空，那 NVIDIA NeMo Guardrails 就是“安全護(hù)欄”，可以輕松的為基于 LLM 的...

2023-09-19 標(biāo)簽：微軟NVIDIAOpenAI 1.8k 0

如何更好地繼續(xù)預(yù)訓(xùn)練（Continue PreTraining）

但，這種前提是「充分訓(xùn)練」，如果只看訓(xùn)練前期的話(huà)，使用更長(zhǎng)的預(yù)熱步數(shù)（黃色的線(xiàn)）。無(wú)論是「上游任務(wù)」還是「下游任務(wù)」，模型的 Loss 都要比其他預(yù)熱步...

2023-09-11 標(biāo)簽：模型數(shù)據(jù)集LLM 1.9k 0

檢索增強(qiáng)LLM的方案全面的介紹

OpenAI 研究科學(xué)家 Andrej Karpathy 前段時(shí)間在微軟 Build 2023 大會(huì)上做過(guò)一場(chǎng)關(guān)于 GPT 模型現(xiàn)狀的分享 State ...

2023-09-08 標(biāo)簽：檢索GitHubLLM 2.8k 0

RLAIF：一個(gè)不依賴(lài)人工的RLHF替代方案

如圖所示，在RLAIF中，首先使用LLM來(lái)評(píng)估給定的文本和2個(gè)候選回復(fù)，然后，這些由LLM生成的偏好數(shù)據(jù)被用來(lái)訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型，這個(gè)獎(jiǎng)勵(lì)模型用于強(qiáng)化學(xué)習(xí)...

2023-09-08 標(biāo)簽：模型強(qiáng)化學(xué)習(xí)LLM 3.2k 0

MLC-LLM的編譯部署流程

0x0. 前言 我的 ChatRWKV 學(xué)習(xí)筆記和使用指南 這篇文章是學(xué)習(xí)RWKV的第一步，然后學(xué)習(xí)了一下之后決定自己應(yīng)該做一些什么。所以就在RWKV社...

2023-09-04 標(biāo)簽：模型編譯LLM 4.5k 0

LLaMa量化部署

使用 GPTQ 量化的模型具有很大的速度優(yōu)勢(shì)，與 LLM.int8() 不同，GPTQ 要求對(duì)模型進(jìn)行 post-training quantizati...

2023-08-28 標(biāo)簽：cpu模型LLM 2.7k 0

深入理解Llama模型的源碼案例

目前大部分開(kāi)源LLM模型都是基于transformers庫(kù)來(lái)做的，它們的結(jié)構(gòu)大部分都和Llama大同小異。

2023-08-23 標(biāo)簽：解碼器源碼位置編碼器 5k 0

語(yǔ)言大模型內(nèi)部究竟是如何工作的？

當(dāng)ChatGPT在去年秋天推出時(shí)，在科技行業(yè)乃至世界范圍內(nèi)引起了轟動(dòng)。當(dāng)時(shí)，機(jī)器學(xué)習(xí)研究人員嘗試研發(fā)了多年的語(yǔ)言大模型（LLM），但普通大眾并未十分關(guān)注...

2023-08-23 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)GPT 1.5k 0

LLM大模型訓(xùn)練Trick系列之拒絕采樣

這個(gè)方法之所以有效，是因?yàn)榫鶆蚍植紟椭覀儗q(x)提供的“封包”縮放到p(x)的概率密度函數(shù)。另一種看法是，我們?nèi)狱c(diǎn)x0的概率。這與從g中取樣x0...

2023-08-21 標(biāo)簽：算法大模型LLM 5.2k 0

什么是向量數(shù)據(jù)庫(kù)？關(guān)系數(shù)據(jù)庫(kù)和向量數(shù)據(jù)庫(kù)之間的區(qū)別是什么？

向量數(shù)據(jù)庫(kù)是一種以向量嵌入（高維向量）方式存儲(chǔ)和管理非結(jié)構(gòu)化數(shù)據(jù)（如文本、圖像或音頻）的數(shù)據(jù)庫(kù)，以便于快速查找和檢索類(lèi)似對(duì)象。

2023-08-16 標(biāo)簽：存儲(chǔ)器向量機(jī)機(jī)器學(xué)習(xí) 4k 0

GPT-4沒(méi)有推理能力嗎？

今年三月，OpenAI 重磅發(fā)布了 GPT-4 大模型，帶來(lái)了比 ChatGPT 背后 GPT-3.5 更強(qiáng)的推理、計(jì)算、邏輯能力，也引發(fā)了全民使用的熱...

2023-08-11 標(biāo)簽：機(jī)器學(xué)習(xí)GPTOpenAI 1.7k 0

更適合機(jī)械寶寶體質(zhì)的操作系統(tǒng)，竟然內(nèi)置LLM！

工程師們一直在試圖搭建更智能、可靠的機(jī)器人，比如之前火爆全網(wǎng)、來(lái)自波士頓動(dòng)力公司的機(jī)器狗Spot。它可以輕松上下樓梯、搬運(yùn)重物、巡查街道，等等。

2023-08-03 標(biāo)簽：人機(jī)交互機(jī)器人編解碼器 856 0

BigCode背后的大規(guī)模數(shù)據(jù)去重方法有哪些？

本文面向?qū)Υ笠?guī)模文檔去重感興趣，且對(duì)散列 (hashing) 、圖 (graph) 及文本處理有一定了解的讀者。

2023-08-02 標(biāo)簽：存儲(chǔ)器URLpython 2.4k 0