本文通過(guò) Flexus 云服務(wù)器 X 實(shí)例 部署 one-api。Flexus 云服務(wù)器 X 實(shí)例是新一代面向中小企業(yè)和開(kāi)發(fā)者打造的柔性算力云服務(wù)器，可智能感知業(yè)務(wù)負(fù)載，適用于電商直播、企業(yè)建站、開(kāi)發(fā)測(cè)試環(huán)境、游戲服務(wù)器、音視頻服務(wù)等中低負(fù)載場(chǎng)景。相較于 Flexus 應(yīng)用服務(wù)器 L 實(shí)例，F(xiàn)lexus 云服務(wù)器 X 實(shí)例的優(yōu)勢(shì)包含：提供豐富的公共鏡像、可靈活自定義 vCPU 內(nèi)存配比、智能感知業(yè)務(wù)動(dòng)態(tài)升降配，負(fù)載范圍更高等。

Flexus 云服務(wù)器 X 實(shí)例 能夠支持電商直播、企業(yè)建站、個(gè)人開(kāi)發(fā)測(cè)試、游戲服務(wù)器等。

一、one-api 介紹

one-api 是一個(gè) OpenAI 接口管理 &分發(fā)系統(tǒng)，目前支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智譜 ChatGLM、百度文心一言、訊飛星火認(rèn)知、阿里通義千問(wèn)、360 智腦以及騰訊混元，可用于二次分發(fā)管理 key，僅單可執(zhí)行文件，已打包好 Docker 鏡像，一鍵部署，開(kāi)箱即用。

one-api 特性：

（1）支持多種大模型；

（2）支持配置鏡像以及眾多第三方代理服務(wù)；

（3）支持通過(guò)負(fù)載均衡的方式訪問(wèn)多個(gè)渠道；

（4）支持 stream 模式，可以通過(guò)流式傳輸實(shí)現(xiàn)打字機(jī)效果；

（5）支持多機(jī)部署，支持令牌管理，設(shè)置令牌的過(guò)期時(shí)間、額度、允許的 IP 范圍以及允許的模型訪問(wèn)；

（6） 支持兌換碼管理，支持批量生成和導(dǎo)出兌換碼，可使用兌換碼為賬戶(hù)進(jìn)行充值；

（7）支持渠道管理，批量創(chuàng)建渠道。 支持用戶(hù)分組以及渠道分組，支持為不同分組設(shè)置不同的倍率；

（8） 支持渠道設(shè)置模型列表，支持查看額度明細(xì)。 支持用戶(hù)邀請(qǐng)獎(jiǎng)勵(lì)。 支持以美元為單位顯示額度等。

二、部署 one-api

2.1 拉取鏡像

首先，先從遠(yuǎn)程鏡像倉(cāng)庫(kù)中拉取 one-api 鏡像，執(zhí)行如下命令拉取。

root@flexusx-7305:~#dockerpull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api:v0.6.0

v0.6.0: Pulling from ddn-k8s/docker.io/justsong/one-api

4abcf2066143: Pull complete

c2f30ece0032: Pull complete

213fae9f6ab5: Pull complete

f2605c032589: Pull complete

Digest: sha256:416dc625c8c5a905e70db79b40bed5325fa0bc26aecf9cf9181e89b653595e14

Status: Downloaded newer image for swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api:v0.6.0

swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api:v0.6.0

one-api 鏡像拉取成功。

2.2 部署 one-api

拉取完 one-api 鏡像后，one-api 鏡像會(huì)存儲(chǔ)到本地，如下所示。

root@flexusx-7305:~# docker images

REPOSITORY TAG IMAGE ID CREATED SIZE

swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/gitea/gitea 1.22.1 b3de72970178 2 months ago 167MB

swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api v0.6.0 36bd98ce5a7c 6 months ago 48.4MB

daocloud.io/library/mysql 8 26d0ac143221 3 years ago 546MB

daocloud.io/library/mysql latest 8457e9155715 3 years ago 546MB

root@flexusx-7305:~#

復(fù)制鏡像名稱(chēng)，通過(guò) docker 部署 one-api，執(zhí)行如下命令。

root@flexusx-7305:~# docker run --name one-api -d --restart always -p 3002:3000 -e TZ=Asia/Shanghai -v /root/data/one-api:/data swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api:v0.6.0

89bb9f7a3dd119008c678243464bdf10df377dc4d482b123be3c077d7a675ac8

root@flexusx-7305:~# docker ps

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

89bb9f7a3dd1 swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api:v0.6.0 "/one-api" 2 seconds ago Up 2 seconds 0.0.0.0:3002->3000/tcp, [::]:3002->3000/tcp one-api

ef512af0c1c5 swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/gitea/gitea:1.22.1 "/usr/bin/entrypoint…" 2 days ago Up 2 days 0.0.0.0:3000->3000/tcp, :::3000->3000/tcp, 0.0.0.0:222->22/tcp, [::]:222->22/tcp gitea

65fe1c102df6 daocloud.io/library/mysql:8 "docker-entrypoint.s…" 2 days ago Up 2 days 3306/tcp, 33060/tcp root_db_1

root@flexusx-7305:~#

通過(guò) docker ps 可以查看正在運(yùn)行的容器，可以看到 one-api 已運(yùn)行，端口是 3002，對(duì)應(yīng)容器內(nèi)部端口 3000。

三、運(yùn)行 one-api

通過(guò)上面的步驟，one-api 已經(jīng)部署成功，下面就來(lái)詳細(xì)看下 one-api 的功能。

3.1 添加規(guī)則

one-api 對(duì)應(yīng)的端口是 3002，需要將 3002 端口加入到準(zhǔn)入規(guī)則中。

首先，在基本信息中，找到安全組，點(diǎn)擊進(jìn)入安全組，如下所示。

然后，點(diǎn)擊配置規(guī)則配置 3002 端口，如下所示。

設(shè)置優(yōu)先級(jí)，然后在協(xié)議端口中添加端口，點(diǎn)擊確定，如下所示。

可以看到 3002 端口已經(jīng)被加入到安全規(guī)則中，如下所示。

3.2 運(yùn)行 one-api

在瀏覽器中，訪問(wèn) http://服務(wù)器 IP 地址:3002，one-api 界面如下所示。

然后，點(diǎn)擊右上角登錄按鈕，默認(rèn)用戶(hù)名為 root，默認(rèn)密碼為 123456，登錄后可以修改密碼，如下所示。

四、添加大模型 API

4.1 添加大模型 API

添加大模型 API 是在渠道里面，如下所示。

點(diǎn)擊添加新渠道，如下所示。

加完成后可以點(diǎn)擊測(cè)試按鈕測(cè)試添加是否成功。

4.2 添加令牌

添加完大模型后，點(diǎn)擊令牌生成密鑰。

點(diǎn)擊添加新的令牌，輸入令牌名稱(chēng)，過(guò)期時(shí)間可以默認(rèn)，表示永不過(guò)期，如下所示。

添加完成后，點(diǎn)擊復(fù)制即可復(fù)制密鑰，用于通過(guò) one-api 連接大模型時(shí)填寫(xiě)密鑰。

五、總結(jié)

通過(guò) Flexus 云服務(wù)器 X 實(shí)例 上部署 one-api，能夠流暢支持多種大模型接入，方便了大模型的開(kāi)發(fā)工作。而且，F(xiàn)lexus 云服務(wù)器 X 實(shí)例提供了豐富的公共鏡像，可靈活自定義鏡像版本，支持智能感知業(yè)務(wù)動(dòng)態(tài)升降配，負(fù)載范圍更高，支持靈活自定義 vCPU、內(nèi)存實(shí)例規(guī)格，支持按需計(jì)費(fèi)更精細(xì)和靈活的定價(jià)模式，可基于實(shí)際負(fù)載畫(huà)像智能推薦規(guī)格。趕緊用起來(lái)吧！

審核編輯 黃宇