大模型學(xué)習(xí)筆記

Apple最近發(fā)表了一篇文章，可以在iphone, MAC 上運(yùn)行大模型：【LLM in a flash: Efficient Large Langua...

2024-01-08 標(biāo)簽：DRAMMac大模型 1.3k 0

基于LLM的表格數(shù)據(jù)的大模型推理綜述

面向表格數(shù)據(jù)的推理任務(wù)，在計(jì)算機(jī)領(lǐng)域，特別是自然語言處理（Natural Language Processing，NLP）領(lǐng)域的研究中扮演著重要角色[1...

2024-01-08 標(biāo)簽：SQL語言模型大模型 2.6k 0

什么是LlamaIndex？LlamaIndex數(shù)據(jù)框架的特點(diǎn)和功能

LlamaIndex是一個(gè)數(shù)據(jù)框架，用于讓基于LLM的應(yīng)用程序攝取、結(jié)構(gòu)化和訪問私有或領(lǐng)域特定的數(shù)據(jù)。它提供Python和Typescript版本。

2024-01-05 標(biāo)簽：接口SQL數(shù)據(jù)庫 1.2萬 0

如何在不微調(diào)的情況下提高RAG的準(zhǔn)確性？

數(shù)據(jù)科學(xué)家、AI 工程師、MLOps 工程師和 IT 基礎(chǔ)設(shè)施專業(yè)人員在設(shè)計(jì)和部署檢索增強(qiáng)生成（RAG）工作流時(shí)，必須考慮各項(xiàng)因素，比如大語言模型（LL...

2024-01-05 標(biāo)簽：機(jī)器人SQLLLM 2k 0

模型與人類的注意力視角下參數(shù)規(guī)模擴(kuò)大與指令微調(diào)對(duì)模型語言理解的作用

近期的大語言模型（LLM）在自然語言理解和生成上展現(xiàn)出了接近人類的強(qiáng)大能力，遠(yuǎn)遠(yuǎn)優(yōu)于先前的BERT等預(yù)訓(xùn)練模型（PLM）。

2024-01-04 標(biāo)簽：PLM語言模型LLM 1.4k 0

OneLLM：對(duì)齊所有模態(tài)的框架！

OneLLM 是第一個(gè)在單個(gè)模型中集成八種不同模態(tài)的MLLM。通過統(tǒng)一的框架和漸進(jìn)式多模態(tài)對(duì)齊pipelines，可以很容易地?cái)U(kuò)展OneLLM以包含更多...

2024-01-04 標(biāo)簽：編碼器路由器大模型 2k 0

高級(jí)檢索增強(qiáng)生成技術(shù)(RAG)全面指南

ChatGPT、Midjourney等生成式人工智能（GenAI）在文本生成、文本到圖像生成等任務(wù)中表現(xiàn)出令人印象深刻的性能。

2023-12-25 標(biāo)簽：轉(zhuǎn)換器人工智能RAG算法 7.1k 0

一文詳解LLM模型基本架構(gòu)

LLM 中非常重要的一個(gè)概念是 Token，我們輸入給 LLM 和它輸出的都是 Token。Token 在這里可以看做語言的基本單位，中文一般是詞或字（...

2023-12-25 標(biāo)簽：gpurust語言LLM 4.9k 0

聊聊AI研發(fā)的七大支柱

通過豐富數(shù)據(jù)，生成式 AI 應(yīng)用程序可以提供上下文感知交互。 LLM 驅(qū)動(dòng)的功能通常依賴于特定的專有數(shù)據(jù)。簡(jiǎn)化從多個(gè)來源引入數(shù)據(jù)對(duì)于創(chuàng)建平滑有效的模型至...

2023-12-21 標(biāo)簽：AI數(shù)據(jù)連接器大模型 973 0

拆解大語言模型RLHF中的PPO算法

由于本文以大語言模型 RLHF 的 PPO 算法為主，所以希望你在閱讀前先弄明白大語言模型 RLHF 的前兩步，即 SFT Model 和 Reward...

2023-12-11 標(biāo)簽：算法深度學(xué)習(xí)ChatGPT 4k 0

低比特量化技術(shù)如何幫助LLM提升性能

針對(duì)大語言模型 (LLM) 在部署過程中的性能需求，低比特量化技術(shù)一直是優(yōu)化效果最佳的方案之一，本文將探討低比特量化技術(shù)如何幫助 LLM 提升性能，以及...

2023-12-08 標(biāo)簽：輕量化技術(shù)大模型LLM 2.4k 0

使用Huggingface創(chuàng)建大語言模型RLHF訓(xùn)練流程

ChatGPT已經(jīng)成為家喻戶曉的名字，而大語言模型在ChatGPT刺激下也得到了快速發(fā)展，這使得我們可以基于這些技術(shù)來改進(jìn)我們的業(yè)務(wù)。

2023-12-06 標(biāo)簽：機(jī)器學(xué)習(xí)SFTDPO 2.6k 0

全面解析大語言模型（LLM）

internal feedback：使用LLM去預(yù)測(cè)生成的plan取得成功的概率、Tree of Thought去對(duì)比不同的plan（有點(diǎn)類似Alpha...

2023-12-05 標(biāo)簽：GPTOpenAI大模型 4.8k 0

理解KV cache的作用及優(yōu)化方法

MQA (Multi Query Attention，多查詢注意力) 是多頭注意力的一種變體。其主要區(qū)別在于，在 MQA 中不同的注意力頭共享一個(gè)K和V...

2023-12-04 標(biāo)簽：gpuGPTLLM 1.1萬 0

開源LLM在各種基準(zhǔn)上的代理能力

采用ChatGPT的企業(yè)可能會(huì)擔(dān)心API調(diào)用的巨大成本、服務(wù)中斷、數(shù)據(jù)所有權(quán)和隱私問題，以及其他不可預(yù)測(cè)的事件，如最近關(guān)于董事會(huì)解雇CEO Sam Al...

2023-12-04 標(biāo)簽：人工智能OpenAIChatGPT 1.9k 0

聚焦于用LLMs模擬國際沖突的研究

本實(shí)驗(yàn)旨在驗(yàn)證LLM在模擬復(fù)雜歷史事件方面的有效性。實(shí)驗(yàn)選用了OpenAI開發(fā)的GPT-4作為后端模型，討論以下問題。

2023-12-04 標(biāo)簽：OpenAILLM 995 0

大模型對(duì)話系統(tǒng)的內(nèi)功與外功

Zero-shot Setting：在 O-Cue 中，由于單步指令較復(fù)雜（不要要進(jìn)行推理還要進(jìn)行回復(fù)生成，以及生成的格式要求），單步生成內(nèi)容過多，導(dǎo)致...

2023-12-01 標(biāo)簽：數(shù)據(jù)集大模型LLM 1.3k 0

怎樣使用Accelerate庫在多GPU上進(jìn)行LLM推理呢？

大型語言模型(llm)已經(jīng)徹底改變了自然語言處理領(lǐng)域。隨著這些模型在規(guī)模和復(fù)雜性上的增長(zhǎng)，推理的計(jì)算需求也顯著增加。

2023-12-01 標(biāo)簽：GPU芯片自然語言處理LLM 2.5k 0

Long-Context下LLM模型架構(gòu)全面介紹

隨著ChatGPT的快速發(fā)展，基于Transformer的大型語言模型(LLM)為人工通用智能(AGI)鋪平了一條革命性的道路，并已應(yīng)用于知識(shí)庫、人機(jī)界...

2023-11-27 標(biāo)簽：模型深度學(xué)習(xí)ChatGPT 4.1k 0

為什么Agent落地這么難？AI最大賽道Agent機(jī)遇全解析

“如果一篇論文提出了某種不同的訓(xùn)練方法，OpenAI內(nèi)部會(huì)嗤之以鼻，認(rèn)為都是我們玩剩下的。但是當(dāng)新的AI Agent論文出來時(shí)，我們會(huì)十分認(rèn)真且興奮地討...

2023-11-25 標(biāo)簽：SQLGPTOpenAI 3.1k 0