91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

部署基于 LLM 的私有知識庫系統(tǒng) AnythingLLM

jf_94205927 ? 來源:jf_94205927 ? 作者:jf_94205927 ? 2024-12-27 13:44 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

一、Flexus 云服務器 X 實例介紹

云服務器,如同虛擬的超級計算機,是云計算技術(shù)的核心組成部分。它通過網(wǎng)絡提供計算資源,包括處理器、內(nèi)存、存儲和操作系統(tǒng)等,用戶可以根據(jù)需求靈活配置和擴展。云服務器具備高可用性、彈性伸縮和快速部署等特點,適用于各種規(guī)模的企業(yè)和開發(fā)者,無論是網(wǎng)站托管、數(shù)據(jù)分析還是應用開發(fā),都能提供穩(wěn)定、高效的支持。

華為云下一代云服務器 Flexus X 實例煥新上線,新產(chǎn)品搭配彈性伸縮服務 AS 及負載均衡服務 ELB,可以實現(xiàn)基于業(yè)務負載的快速彈縮,從容應對多變的市場業(yè)務壓力,覆蓋高科技、零售、金融、游戲等行業(yè)大多數(shù)通用工作負載場景。

wKgZO2duPsaAU8AeAAKFUe3KKt0777.png

Flexus X 實例通過和其他服務組合,具備計算、鏡像安裝、網(wǎng)絡、存儲、安全等能力,您可根據(jù)業(yè)務需要靈活配置各資源。

wKgZO2duPsyAYkywAAvyr-51fqA462.gif

本次測評使用的規(guī)格是:4 核 12G-100G-3M 規(guī)格的 Flexus X 實例基礎模式

wKgZO2duPs2AWVkiAAHXWmcDvoA232.png

二、Flexus 云服務器 X 實例配置

2.1 重置密碼

購買服務器的時候可以提前設置用戶名和密碼,因為我這里跳過了,所以購買完成后需要重置密碼,會短信或站內(nèi)消息通過你的云服務器信息,重點是公網(wǎng) IP 地址和用戶名,首先打開你的服務器控制臺,選擇重置密碼

wKgZPGduPs2AUB2iAAJxDfXk-p8031.png

勾選自動重啟,點擊確定即可

wKgZO2duPs2AbnJtAADmtG_r2Mc652.png

2.2 服務器連接

華為云服務器提供了多種鏈接方式,如使用控制臺提供的 VNC 方式登錄、使用 Linux/Mac OS 系統(tǒng)主機登錄 Linux 彈性云服務器(即 ssh root@192.168.48.78 命令)或者使用 Putty、Xshell 等工具登錄 Linux 彈性云服務器。

我個人習慣使用 MobaXterm這款軟件,添加 SSH 連接,輸出公網(wǎng) IP、用戶名和端口(默認 22),連接即可。

wKgZPGduPs6AOlcwAAB35aqd5VA036.png

2.3 安全組配置

安全組是一個邏輯上的分組,為同一個 VPC 內(nèi)的云服務器提供訪問策略。用戶可以在安全組中定義各種訪問規(guī)則,當云服務器加入該安全組后,即受到這些訪問規(guī)則的保護。

系統(tǒng)為每個網(wǎng)卡默認創(chuàng)建一個默認安全組,默認安全組的規(guī)則是對出方向上的數(shù)據(jù)報文全部放行,入方向訪問受限。您可以使用默認安全組,也可以根據(jù)需要創(chuàng)建自定義的安全組。

wKgZO2duPs6AX6b1AAJtUulR8LY910.png

主要需要填寫優(yōu)先級(默認填 1 即可)、協(xié)議端口(協(xié)議一般為 TCP 或 UDP,端口一般選擇你項目需要暴露的端口即可),描述(選填,一般會填寫此端口的用途以免忘記了),其他默認點擊確定即可。安全組配置主要是暴露端口可以給外網(wǎng)訪問。

wKgZPGduPs6ANv_BAAHf3yU1SGg476.png

如果還不清楚可以參考文檔:安全組配置示例

總結(jié)

AnythingLLM 是一款多功能人工智能應用,旨在為用戶提供一個統(tǒng)一的平臺來處理多種類型的文檔和模型。無論是在 Windows、MacOS,還是 Linux 系統(tǒng)上,用戶都可以通過簡單的“一鍵安裝”來獲取完整的工具套件。它支持包括 PDF、Word 文檔等多種格式的文件處理,并允許用戶連接各種自定義或開源的語言模型,如 GPT-4、Llama、Mistral 等,因此用戶不再受到單一模型的約束。此外,AnythingLLM 能夠完全在本地運行,只與用戶明確連接的服務進行交互,這大大增強了數(shù)據(jù)的隱私保護。此次使用的 Flexus X 實例配置還是很高的 4 核 12G-100G-3M 規(guī)格的基礎模式,盡管本地運行 ollama 模型,也能在推理過程中抗住壓力,穩(wěn)定輸出,盡管輸出緩慢,CPU 和內(nèi)存占用也沒有超過 60%,整體體驗很好。

喜歡用 Docker 部署有趣項目?華為云服務器助你輕松實現(xiàn)!高性能、高可靠,支持一鍵部署 Docker 環(huán)境,快速啟動你的創(chuàng)意項目?,F(xiàn)在華為云服務器正進行 828 B2B 企業(yè)節(jié),限時優(yōu)惠,立即搶購,讓你的項目飛速上線!

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 云服務器
    +關注

    關注

    0

    文章

    839

    瀏覽量

    14710
  • 華為云
    +關注

    關注

    3

    文章

    2833

    瀏覽量

    19290
  • LLM
    LLM
    +關注

    關注

    1

    文章

    348

    瀏覽量

    1347
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    HPM知識庫 | [EtherCAT] 從站運行過程中報錯(錯誤碼:0x1A\\0x1B\\0x2C)的代碼分析

    HPM知識庫先楫半導體官方公眾號全新上線「HPM知識庫」專欄。我們將在這里不定期更新技術(shù)文檔、開發(fā)指南與實戰(zhàn)教程,打造先楫MCU開發(fā)的“一站式技術(shù)參考指南”!了解更多,歡迎訪問https
    的頭像 發(fā)表于 03-13 08:34 ?79次閱讀
    HPM<b class='flag-5'>知識庫</b> | [EtherCAT] 從站運行過程中報錯(錯誤碼:0x1A\\0x1B\\0x2C)的代碼分析

    開發(fā)知識庫測試添加知識庫

    文檔類型的知識要等待數(shù)據(jù)校驗完成后才能上架 可以點擊知識名稱查看知識詳情 等待后端處理完成可以點擊知識列表的上架 在智能體中知識庫的位置點
    發(fā)表于 03-06 15:07

    鴻蒙智能體開發(fā)知識庫---創(chuàng)建知識庫

    在小藝智能體平臺頁面,通過【工作空間】-【知識庫】-【新建知識庫】,進入新建知識庫流程。 若勾選【授權(quán)知識庫用于知識問答,授權(quán)后該
    發(fā)表于 03-06 10:18

    設備維修總踩坑?故障知識庫 + AI 診斷,新手也能修復雜機

    設備維修的核心痛點,本質(zhì)是知識難沉淀、故障難預判。知識庫解決經(jīng)驗傳承問題,AI診斷實現(xiàn)精準高效,二者結(jié)合讓維修從“經(jīng)驗依賴”轉(zhuǎn)向“標準化+智能輔助”。
    的頭像 發(fā)表于 01-08 14:04 ?397次閱讀
    設備維修總踩坑?故障<b class='flag-5'>知識庫</b> + AI 診斷,新手也能修復雜機

    【CIE全國RISC-V創(chuàng)新應用大賽】+ 一種基于LLM的可通過圖像語音控制的元件管理工具

    ,在LLM階段后直接進行播報,用戶可直接進行語音確認。 2.出庫階段 ? 在用戶將bom表輸入系統(tǒng)后,系統(tǒng)進行數(shù)據(jù)預處理,自動查找數(shù)據(jù)進行出庫,如用戶啟用了ASR則可由用戶使用語言描
    發(fā)表于 11-12 19:32

    工業(yè)物聯(lián)網(wǎng)平臺適合私有本地部署還是云端部署?

    工業(yè)物聯(lián)網(wǎng)平臺的部署方式需根據(jù)企業(yè)核心需求選擇, 私有本地部署適合數(shù)據(jù)安全要求極高、需深度定制且具備技術(shù)實力的企業(yè);云端部署則更適合追求成本效益、靈活擴展及快速上線的中小型企業(yè)或?qū)崟r性
    的頭像 發(fā)表于 11-12 11:42 ?455次閱讀
    工業(yè)物聯(lián)網(wǎng)平臺適合<b class='flag-5'>私有</b>本地<b class='flag-5'>部署</b>還是云端<b class='flag-5'>部署</b>?

    RAG實踐:一文掌握大模型RAG過程

    依賴LLM訓練時的固有知識,而是在回答問題前,先從外部資料中"翻書"找資料,基于這些資料生成更準確的答案。
    的頭像 發(fā)表于 10-27 18:23 ?1601次閱讀
    RAG實踐:一文掌握大模型RAG過程

    NVIDIA TensorRT LLM 1.0推理框架正式上線

    ,TensorRT LLM 還承擔著推理領域新技術(shù)載體的角色,通過將前沿創(chuàng)新引入 LLM 推理生態(tài),持續(xù)提升整個生態(tài)系統(tǒng)合作伙伴的技術(shù)能力。
    的頭像 發(fā)表于 10-21 11:04 ?1217次閱讀

    DeepSeek模型如何在云服務器上部署?

    隨著大型語言模型(LLM)的應用日益普及,許多開發(fā)者和企業(yè)希望將像DeepSeek這樣的優(yōu)秀模型部署到自己的云服務器上,以實現(xiàn)私有化、定制化服務并保障數(shù)據(jù)安全。本文將詳細闡述部署Dee
    的頭像 發(fā)表于 10-13 16:52 ?980次閱讀

    本地部署openWebUI + ollama+DeepSeek 打造智能知識庫并實現(xiàn)遠程訪問

    。 DeepSeek 作為一個開源的大語言模型,我們可以通過 ZeroNews + openWebUI + ollama的方式,輕松的在本地私有部署 DeepSeek,不受網(wǎng)絡攻擊影響,滿足不同用戶的需求場景。 下面
    的頭像 發(fā)表于 09-10 16:41 ?5416次閱讀
    本地<b class='flag-5'>部署</b>openWebUI + ollama+DeepSeek 打造智能<b class='flag-5'>知識庫</b>并實現(xiàn)遠程訪問

    米爾RK3576部署端側(cè)多模態(tài)多輪對話,6TOPS算力驅(qū)動30億參數(shù)LLM

    話:基于歷史回答圖中女孩頭發(fā)和衣服分別是什么顏色 上一次我們詳細講解在RK3576上部署多模態(tài)模型的案例,這次將繼續(xù)講解多輪對話的部署流程。整體流程基于 rknn-llm 里的多輪對話案例[1
    發(fā)表于 09-05 17:25

    零基礎在智能硬件上克隆原神可莉?qū)崿F(xiàn)桌面陪伴(提供人設提示詞、知識庫、固件下載)

    方式后點擊保存,系統(tǒng)自動處理片刻后便可看到文件處于啟用狀態(tài)。 3、角色模板關聯(lián)人設知識庫回到角色模板,下拉至【角色知識庫】部分,點擊【關聯(lián)知識庫】,選擇我們創(chuàng)建的【原神可莉人設
    發(fā)表于 08-22 19:51

    如何在魔搭社區(qū)使用TensorRT-LLM加速優(yōu)化Qwen3系列模型推理部署

    TensorRT-LLM 作為 NVIDIA 專為 LLM 推理部署加速優(yōu)化的開源,可幫助開發(fā)者快速利用最新 LLM 完成應用原型驗證與產(chǎn)
    的頭像 發(fā)表于 07-04 14:38 ?2239次閱讀

    AI知識庫的搭建與應用:企業(yè)數(shù)字化轉(zhuǎn)型的關鍵步驟

    隨著數(shù)字化轉(zhuǎn)型的加速,AI技術(shù)已經(jīng)成為提升企業(yè)運營效率、優(yōu)化客戶體驗、推動業(yè)務創(chuàng)新的重要工具。而AI知識庫作為企業(yè)智能化的基礎,發(fā)揮著至關重要的作用。通過構(gòu)建高質(zhì)量的知識庫,企業(yè)能夠更好地組織、管理
    的頭像 發(fā)表于 03-27 15:18 ?1357次閱讀

    【幸狐Omni3576邊緣計算套件試用體驗】DeepSeek 部署及測試

    、RKLLM 、編譯和運行、效果演示等。 簡介 介紹了板端部署的 DeepSeek 模型及其部署方案。 DeepSeek DeepSeek 是由杭州深度求索公司自主研發(fā)的高性能大語言模型,以其開源、輕量化
    發(fā)表于 03-21 19:31