大型語言模型有哪些用途？大型語言模型如何運作呢？

大型語言模型能識別、總結(jié)、翻譯、預(yù)測和生成文本及其他內(nèi)容。

2023-03-08 標(biāo)簽：語言模型GPTChatGPT 9.5k 0

從ChatGPT看知識管理及知識圖譜的發(fā)展

知識管理涉及到用于在組織中捕獲、存儲和共享知識的流程和技術(shù)。在聊天機器人設(shè)計的背景下，知識管理可以幫助確保聊天機器人能夠訪問廣泛的相關(guān)信息，并可以為用戶...

2023-03-03 標(biāo)簽：語言模型知識管理聊天機器人 2.6k 0

使用BLIP-2 零樣本“圖生文”

現(xiàn)代計算機視覺和自然語言模型在能力越來越強大的同時，模型尺寸也隨之顯著增大。由于當(dāng)前進行一次單模態(tài)模型的預(yù)訓(xùn)練既耗費資源又昂貴，因此端到端視覺語言預(yù)訓(xùn)練...

2023-03-03 標(biāo)簽：編碼器計算機視覺語言模型 2.7k 0

SimANS：簡單有效的困惑負樣本采樣方法

為訓(xùn)練該稠密檢索模型，已有方法通常基于一對比學(xué)習(xí)訓(xùn)練目標(biāo)，即拉近語義一致的Query和Document的表示（Positive），并推遠語義無關(guān)的Doc...

2023-03-03 標(biāo)簽：參數(shù)語言模型數(shù)據(jù)集 2.2k 0

LLaMA論文研讀：小參數(shù)+大數(shù)據(jù)的開放、高效基礎(chǔ)語言模型閱讀筆記

這些努力都是基于這樣的假設(shè)：更多的參數(shù)會帶來更好的性能。然而，Hoffmann等人（2022）最近的工作表明，在給定的計算預(yù)算下，最好的性能不是由最大的...

2023-03-03 標(biāo)簽：語言模型數(shù)據(jù)集大數(shù)據(jù) 2.9k 0

理解什么是NLP Subword算法

Subword算法如今已經(jīng)成為了一個重要的NLP模型性能提升方法。自從2018年BERT橫空出世橫掃NLP界各大排行榜之后，各路預(yù)訓(xùn)練語言模型如同雨后春...

2023-02-22 標(biāo)簽：語言模型nlp 1.1k 0

解讀ChatGPT背后的技術(shù)重點：RLHF、IFT、CoT、紅藍對抗

我們先來看看基于語言模型的會話代理的全景。ChatGPT 并非首創(chuàng)，事實上很多組織在 OpenAI 之前就發(fā)布了自己的語言模型對話代理 (dialog ...

2023-02-09 標(biāo)簽：語言模型OpenAIChatGPT 3k 0

英偉達耗費64個A100訓(xùn)練StyleGAN-T！

有趣的是，2014 年，由 Goodfellow 等人提出的生成對抗網(wǎng)絡(luò)（GAN），在生成任務(wù)中并沒有大放異彩，正當(dāng)大家以為 GAN 在生成方面已經(jīng)不行...

2023-02-07 標(biāo)簽：編碼器語言模型英偉達 1.5k 0

有了Fine-tune-CoT方法，小模型也能做推理，完美逆襲大模型

如果給語言模型生成一些 prompting，它還向人們展示了其解決復(fù)雜任務(wù)的能力。標(biāo)準(zhǔn) prompting 方法，即為使用少樣本的問答對或零樣本的指令的...

2023-02-02 標(biāo)簽：模型語言模型大模型 1.7k 0

基于預(yù)訓(xùn)練語言模型的行業(yè)搜索的應(yīng)用和研究

sparse retrieval：傳統(tǒng)的基于字或基于詞去建立倒排索引，同時基于此去構(gòu)建很多查詢理解的一系列的能力，包括一些文本相關(guān)性排序等；

2023-02-01 標(biāo)簽：語言模型自然語言知識圖譜 3k 0

摘要模型理解或捕獲輸入文本的要點

Abstract Intro ? 盡管基于預(yù)訓(xùn)練的語言模型的摘要取得了成功，但一個尚未解決的問題是生成的摘要并不總是忠實于輸入文檔。造成不忠實問題的原因...

2022-11-01 標(biāo)簽：編碼器語言模型數(shù)據(jù)集 1.7k 0

一種基于prompt和對比學(xué)習(xí)的句子表征學(xué)習(xí)模型

我們發(fā)現(xiàn)prompt，再給定不同的template時可以生成不同方面的positive pair，且避免embedding bias。

2022-10-25 標(biāo)簽：語言模型 1.5k 0

文本噪聲標(biāo)簽在預(yù)訓(xùn)練語言模型（PLMs）上的特性

數(shù)據(jù)的標(biāo)簽錯誤隨處可見，如何在噪聲數(shù)據(jù)集上學(xué)習(xí)到一個好的分類器，是很多研究者探索的話題。在 Learning With Noisy Labels 這個大...

2022-10-12 標(biāo)簽：噪聲語言模型數(shù)據(jù)集 1.7k 0

基于訓(xùn)練階段使用知識庫+KNN檢索相關(guān)信息輔助學(xué)習(xí)方法

上面收的引入知識庫+KNN的方法，緩解了模型參數(shù)需要強記憶訓(xùn)練樣本的問題。此外，文中還通過KNN檢索結(jié)果來指導(dǎo)模型的學(xué)習(xí)過程。

2022-10-09 標(biāo)簽：數(shù)據(jù)KNN語言模型 2.5k 0