基于FastDFS的實現(xiàn)遠程訪問文件案例

FastDFS是一個開源的輕量級分布式文件系統(tǒng)，它對文件進行管理，功能包括：文件存儲、文件同步、文件訪問（文件上傳、文件下載）等，解決了大容量存儲和負載均衡的問題。特別適合以文件為載體的在線服務，如相冊網(wǎng)站、視頻網(wǎng)站等等。

FastDFS為互聯(lián)網(wǎng)量身定制，充分考慮了冗余備份、負載均衡、線性擴容等機制，并注重高可用、高性能等指標，使用FastDFS很容易搭建一套高性能的文件服務器集群提供文件上傳、下載等服務。

配備一臺公網(wǎng)服務器作為文件上傳下載,花費資源和開銷比較大,如果在本地搭建FastDFS服務,只把上傳后的文件通過cpolar內(nèi)網(wǎng)端口轉發(fā)工具將文件配置可通過互聯(lián)網(wǎng)訪問,極大了減少服務器費用及開銷,本文介紹詳細搭建FastDFS教程,并結合Nginx+cpolar工具實現(xiàn)遠程訪問文件。

1. 本地搭建FastDFS文件系統(tǒng)

1.1 環(huán)境安裝

由于fastDFS是由c語言編寫,所以我們需要安裝gcc

yum?-y?install?gcc-c++?

FastDFS依賴libevent庫，需要安裝。執(zhí)行如下命令：

yum?-y?install?libevent

1.2 安裝libfastcommon

進入local目錄

cd?/usr/local

libfastcommon是FastDFS官方提供的，libfastcommon包含了FastDFS運行所需要的一些基礎庫。點擊下面鏈接即可獲取:

https://github.com/happyfish100/libfastcommon/releases/tag/V1.0.7

獲取后，上傳到local目錄下

解壓libfastcommon

tar?-zxvf?libfastcommonV1.0.7.tar.gz

進入解壓文件夾

cd?libfastcommon-1.0.7/

編譯

./make.sh

安裝

./make.sh?install

libfastcommon安裝好后會自動將庫文件拷貝至/usr/lib64下，由于FastDFS程序引用usr/lib目錄所以需要將/usr/lib64下的庫文件拷貝至/usr/lib下。

cp?/usr/lib64/libfastcommon.so?/usr/lib/

1.3 安裝FastDFS

進入local目錄

cd?/usr/local

點擊下列地址，可獲取下載FastDFS_v5.05.tar.gz文件:

https://sourceforge.net/projects/fastdfs/

下載文件后，上傳FastDFS_v5.05.tar.gz到/usr/local/

解壓文件

tar?-zxvf?FastDFS_v5.05.tar.gz?

進入解壓文件夾

cd?FastDFS

編譯

./make.sh?

安裝

./make.sh?install

安裝成功后，將安裝目錄下的conf下的文件拷貝到/etc/fdfs/下

cd?conf/

拷貝

cp?*?/etc/fdfs/

1.4 配置Tracker

接下來進行配置,安裝成功后進入/etc/fdfs目錄

cd?/etc/fdfs/

修改tracker.conf

vim?tracker.conf

把base_path=/home/yuqing/fastdfs改為base_path=/home/fastdfs

編輯后保存退出,然后創(chuàng)建一個對應的fastdfs文件夾

mkdir?/home/fastdfs

然后啟動

/usr/bin/fdfs_trackerd?/etc/fdfs/tracker.conf?restart

設置開機啟動

vim?/etc/rc.d/rc.local

將運行命令行添加進文件

/usr/bin/fdfs_trackerd?/etc/fdfs/tracker.conf?restart

1.5 配置Storage

進入/etc/fdfs目錄

cd?/etc/fdfs

修改storage.conf

vim?storage.conf

把base_path=/home/yuqing/fastdfs改為base_path=/home/fastdfs

把 store_path0=/home/yuqing/fastdfs 改為store_path0=/home/fastdfs/fdfs_storage

繼續(xù)修改,設置tracker服務器:IP,tracker_server=Linux局域網(wǎng)ip:22122 ,設置好后保存退出

創(chuàng)建對應fdfs_storage文件夾

mkdir?/home/fastdfs/fdfs_storage

然后啟動

/usr/bin/fdfs_storaged?/etc/fdfs/storage.conf?restart

設置開機自動啟動

vim?/etc/rc.d/rc.local

將運行命令行添加到文件,然后保存

/usr/bin/fdfs_storaged?/etc/fdfs/storage.conf?restart

1.6 測試上傳下載

FastDFS安裝成功可通過/usr/bin/fdfs_test命令測試上傳、下載等操作。

修改/etc/fdfs/client.conf

vim?/etc/fdfs/client.conf

修改如下內(nèi)容,然后保存：

base_path=/home/fastdfs

tracker_server=Linux局域網(wǎng)ip:22122

接下來測試上傳文件,這里上傳了一張圖片到/usr/local目錄下,作為測試使用

FastDFS上傳文件使用格式：

/usr/bin/fdfs_test /etc/fdfs/client.conf upload+ 上傳文件的路徑

然后按照格式,測試將test23.png圖片上傳到FastDFS中

/usr/bin/fdfs_test /etc/fdfs/client.conf upload /usr/local/test23.png

執(zhí)行后,我們可以看到返回地址信息,表示成功,但是目前還訪問不了,需要結合Nginx做訪問下載

1.7 與Nginx整合

點擊下載下面鏈接下載fastdfs-nginx-module_v1.16:

https://sourceforge.net/projects/fastdfs/files/FastDFS Nginx Module Source Code/fastdfs-nginx-module_v1.16.tar.gz/download

進入 /usr/local/文件夾下

cd?/usr/local/

上傳fastdfs-nginx-module_v1.16.tar.gz

解壓fastdfs-nginx-module_v1.16.tar.gz

tar?-zxvf?fastdfs-nginx-module_v1.16.tar.gz

進入src,然后編輯配置文件

cd?fastdfs-nginx-module/src/

修改config文件

vim?config

修改這三個位置,將里面原本是/usr/local/的路徑改為/usr/,然后保存退出

然后將FastDFS-nginx-module/src下的mod_FastDFS.conf拷貝至/etc/fdfs/下

cp?mod_fastdfs.conf?/etc/fdfs/

修改mod_FastDFS.conf的內(nèi)容：

vim?/etc/fdfs/mod_fastdfs.conf

修改內(nèi)容如下：

base_path=/home/fastdfs

tracker_server=Linux局域網(wǎng)ip地址:22122

url_have_group_name=true?#url中包含group名稱

store_path0=/home/fastdfs/fdfs_storage?#指定文件存儲路徑

接下來將libfdfsclient.so拷貝至/usr/lib下

cp?/usr/lib64/libfdfsclient.so?/usr/lib/

創(chuàng)建nginx/client目錄即可

mkdir?-p?/var/temp/nginx/client

1.8 安裝Nginx

首先安裝系列環(huán)境

yum?-y?install?pcre?pcre-devel??

yum?-y?install?zlib?zlib-devel??

yum?-y?install?openssl?openssl-devel

然后點擊下載Nginx包:

http://nginx.org/en/download.html

上傳到root目錄下

解壓，并進入解壓文件夾

tar?-zxvf?nginx-1.16.1.tar.gz?&&?cd?nginx-1.16.

添加FastDFS-nginx-module模塊,執(zhí)行以下命令:

./configure?
--prefix=/usr/local/nginx?
--pid-path=/var/run/nginx/nginx.pid?
--lock-path=/var/lock/nginx.lock?
--error-log-path=/var/log/nginx/error.log?
--http-log-path=/var/log/nginx/access.log?
--with-http_gzip_static_module?
--http-client-body-temp-path=/var/temp/nginx/client?
--http-proxy-temp-path=/var/temp/nginx/proxy?
--http-fastcgi-temp-path=/var/temp/nginx/fastcgi?
--http-uwsgi-temp-path=/var/temp/nginx/uwsgi?
--http-scgi-temp-path=/var/temp/nginx/scgi?
--add-module=/usr/local/fastdfs-nginx-module/src

然后編譯

make

安裝

make?install

1.9 配置Nginx

修改Nginx配置文件

vim?/usr/local/nginx/conf/nginx.conf

添加server,添加后保存退出:

server?{
???listen???????8089;#為了防止80端口,我們改成8089
???server_name??192.168.59.133;#這里需要使用你本機的局域網(wǎng)ip

???location?/group1/M00/{
???????????ngx_fastdfs_module;
???}
}

啟動Nginx

/usr/local/nginx/sbin/nginx?

如果啟動nginx出現(xiàn)以下錯誤：

nginx: [emerg] open() “/var/run/nginx/nginx.pid” failed (2: No such file or directory)

可以執(zhí)行如下命令,然后再次啟動：

mkdir?/var/run/nginx

設置開機自動啟動。

vim?/etc/rc.d/rc.local

將運行命令行添加進文件,然后保存退出：

/usr/local/nginx/sbin/nginx

關閉防火墻

service?iptables?stop

設置防火墻不自動啟動

chkconfig?iptables?off

2. 局域網(wǎng)測試訪問FastDFS

然后按照格式,測試將上面我們上傳的test23.png圖片上傳到FastDFS中

/usr/bin/fdfs_test?/etc/fdfs/client.conf?upload?/usr/local/test23.png

執(zhí)行后,我們可以看到返回地址信息,表示成功

然后使用上面的地址,在瀏覽器訪問,即可看到我們上傳的圖片,fastDFS搭建完成

3. 安裝cpolar內(nèi)網(wǎng)穿透

上面我們在本地Linux虛擬機安裝了fastDFS分布式文件服務,下面我們安裝cpolar內(nèi)網(wǎng)穿透工具,通過cpolar的http公網(wǎng)地址,我們可以很容易遠程也可以訪問fastDFS里面上傳的文件,而無需自己注冊域名購買云服務器.下面是安裝cpolar內(nèi)網(wǎng)穿透步驟

cpolar官網(wǎng)：https://www.cpolar.com/

使用一鍵腳本安裝命令

curl?-L?https://www.cpolar.com/static/downloads/install-release-cpolar.sh?|?sudo?bash

token認證

登錄cpolar官網(wǎng)后臺，點擊左側的驗證，查看自己的認證token，之后將token貼在命令行里:

cpolar?authtoken?xxxxxxx