go-fastdfs
go-fastdfs
进入go-fastdfs学习之路
linux安装
先安装vim命令 yum install vim(centos编辑器)
安装wget命令 yum install wget(centos中下载)
firewall-cmd —state ##查看防火墙状态，是否是running
firewall-cmd —reload ##重新载入配置，比如添加规则之后，需要执行此命令
firewall-cmd —add-port=8080/tcp —permanent ##永久添加8080端口
ps -ef|grep fileserver 查看go-fastdfs服务状态
tail -f catalina.out 这样是看实时日志
安装支持ZIP的工具 yum install -y unzip zip
解压zip文件 unzip 文件名.zip
压缩一个zip文件 zip 文件名.zip 文件夹名称或文件名称
后台运行linux中nohup ./fileserver &
使用单机版,项目初次启动过后会在当前目录下生成配置文件和数据文件等等
- windows下直接运行fileserver.exe
- linux下需要下载压缩包,解压后进入目录下执行./xxxxx.sh start
- 管理后台下载地址 https://github.com/perfree/go-fastdfs-web/releases
- 将管理后台和启动文件放在用一台服务器即可,后台访问地址http://yourserver ip:8088
配置上传需要验证token
“认证url”: “当url不为空时生效”,
“auth_url”: “http://192.168.1.168:8080/emr/api/upload/checkAuthToken”
上传调用ip:端口/upload需要多传一个参数,如果叫authToken然后你在上面填写的认证url接口中取到这个参数,可以去数据库查或者本地验证配置秘钥如果通过在接口返回"ok"字符串即可上传,否则会报authfail
“文件是否去重”: “默认去重,不利于删除”,改为false
“enable_distinct_file”: false, - 配置文件
{
“绑定端号”: “端口”,
“addr”: “:8080”,
“PeerID”: “集群内唯一,请使用0-9的单字符，默认自动生成”,
“peer_id”: “6”,
“本主机地址”: “本机http地址,默认自动生成(注意端口必须与addr中的端口一致），必段为内网，自动生成不为内网请自行修改，
下同”,
“host”: “http://192.168.1.168:8080”,
“集群”: “集群列表,注意为了高可用，IP必须不能是同一个,同一不会自动备份，且不能为127.0.0.1,且必须为内网IP，默认自动
生成”,
“peers”: [“http://192.168.1.168:8080”],
“组号”: “用于区别不同的集群(上传或下载)与support_group_upload配合使用,带在下载路径中”,
“group”: “group1”,
“是否合并小文件”: “默认不合并,合并可以解决inode不够用的情况（当前对于小于1M文件）进行合并”,
“enable_merge_small_file”: false,
“重试同步失败文件的时间”: “单位秒”,
“refresh_interval”: 1800,
“是否自动重命名”: “默认不自动重命名,使用原文件名”,
“rename_file”: false,
“是否支持web上传,方便调试”: “默认支持web上传”,
“enable_web_upload”: true,
“是否支持非日期路径”: “默认支持非日期路径,也即支持自定义路径,需要上传文件时指定path”,
“enable_custom_path”: true,
“下载域名”: “用于外网下载文件的域名,不包含http://”,
“download_domain”: “”,
“场景列表”: "当设定后，用户指的场景必项在列表中，默认不做限制(注意：如果想开启场景认功能，格式如下：‘场
景名:googleauth_secret’ 如 default:N7IET373HB2C5M6D “,
“scenes”: [],
“默认场景”: “默认default”,
“default_scene”: “default”,
“是否显示目录”: “默认显示,方便调试用,上线时请关闭”,
“show_dir”: true,
“邮件配置”: “”,
“mail”: {
“user”: "[email protected]”,
“password”: “abc”,
“host”: “smtp.163.com:25”
},
“告警接收邮件列表”: “接收人数组”,
“alram_receivers”: [],
“告警接收URL”: “方法post,参数:subjet,message”,
“alarm_url”: “”,
“下载是否需带token”: “真假”,
“download_use_token”: false,
“下载token过期时间”: “单位秒”,
“download_token_expire”: 600,
“是否自动修复”: “在超过1亿文件时出现性能问题，取消此选项，请手动按天同步，请查看FAQ”,
“auto_repair”: true,
“文件去重算法md5可能存在冲突，默认md5”: “sha1|md5”,
“file_sum_arithmetic”: “md5”,
“是否支持按组（集群）管理,主要用途是Nginx支持多集群”: “默认不支持,不支持时路径为http://10.1.5.4:8080/action,
支持时为http://10.1.5.4:8080/group(配置中的group参数)/action,action为动作名，如status,delete,sync等”,
“support_group_manage”: false,
“管理ip列表”: “用于管理集的ip白名单,”,
“admin_ips”: [“127.0.0.1”],
“是否启用迁移”: “默认不启用”,
“enable_migrate”: false,
“文件是否去重”: “默认去重”,
“enable_distinct_file”: true,
“是否开启跨站访问”: “默认开启”,
“enable_cross_origin”: true,
“是否开启Google认证，实现安全的上传、下载”: “默认不开启”,
“enable_google_auth”: false,
“认证url”: “当url不为空时生效”,
“auth_url”: “”,
“下载是否认证”: “默认不认证(注意此选项是在auth_url不为空的情况下生效)”,
“enable_download_auth”: false,
“默认是否下载”: “默认下载”,
“default_download”: false,
“本机是否只读”: “默认可读可写”,
“read_only”: false
}
1个group配置多台服务器
如果是用虚拟机配置linux可直接克隆单机的配置但是应该注意以下几点:
主要确认peer_id,peers,host,support_group_manage,default_download”
配置文件第一台
{
“绑定端号”: “端口”,
“addr”: “:8080”,
“PeerID”: “集群内唯一,请使用0-9的单字符，默认自动生成”,
“peer_id”: “1”,
“本主机地址”: “本机http地址,默认自动生成(注意端口必须与addr中的端口一致），必段为内网，自动生成不为内网请自行修改，
下同”,
“host”: “http://192.168.88.100:8080”,
“集群”: “集群列表,注意为了高可用，IP必须不能是同一个,同一不会自动备份，且不能为127.0.0.1,且必须为内网IP，默认自动
生成”,
“peers”: [“http://192.168.88.100:8080”,“http://192.168.88.101:8080”],
“组号”: “用于区别不同的集群(上传或下载)与support_group_upload配合使用,带在下载路径中”,
“group”: “group1”,
“是否合并小文件”: “默认不合并,合并可以解决inode不够用的情况（当前对于小于1M文件）进行合并”,
“enable_merge_small_file”: false,
“重试同步失败文件的时间”: “单位秒”,
“refresh_interval”: 1800,
“是否自动重命名”: “默认不自动重命名,使用原文件名”,
“rename_file”: false,
“是否支持web上传,方便调试”: “默认支持web上传”,
“enable_web_upload”: true,
“是否支持非日期路径”: “默认支持非日期路径,也即支持自定义路径,需要上传文件时指定path”,
“enable_custom_path”: true,
“下载域名”: “用于外网下载文件的域名,不包含http://”,
“download_domain”: “”,
“场景列表”: "当设定后，用户指的场景必项在列表中，默认不做限制(注意：如果想开启场景认功能，格式如下：‘场
景名:googleauth_secret’ 如 default:N7IET373HB2C5M6D “,
“scenes”: [],
“默认场景”: “默认default”,
“default_scene”: “default”,
“是否显示目录”: “默认显示,方便调试用,上线时请关闭”,
“show_dir”: true,
“邮件配置”: “”,
“mail”: {
“user”: "[email protected]”,
“password”: “abc”,
“host”: “smtp.163.com:25”
},
“告警接收邮件列表”: “接收人数组”,
“alram_receivers”: [],
“告警接收URL”: “方法post,参数:subjet,message”,
“alarm_url”: “”,
“下载是否需带token”: “真假”,
“download_use_token”: false,
“下载token过期时间”: “单位秒”,
“download_token_expire”: 600,
“是否自动修复”: “在超过1亿文件时出现性能问题，取消此选项，请手动按天同步，请查看FAQ”,
“auto_repair”: true,
“文件去重算法md5可能存在冲突，默认md5”: “sha1|md5”,
“file_sum_arithmetic”: “md5”,
“是否支持按组（集群）管理,主要用途是Nginx支持多集群”: “默认不支持,不支持时路径为http://10.1.5.4:8080/action,
支持时为http://10.1.5.4:8080/group(配置中的group参数)/action,action为动作名，如status,delete,sync等”,
“support_group_manage”: true,
“管理ip列表”: “用于管理集的ip白名单,”,
“admin_ips”: [“127.0.0.1”],
“是否启用迁移”: “默认不启用”,
“enable_migrate”: false,
“文件是否去重”: “默认去重”,
“enable_distinct_file”: true,
“是否开启跨站访问”: “默认开启”,
“enable_cross_origin”: true,
“是否开启Google认证，实现安全的上传、下载”: “默认不开启”,
“enable_google_auth”: false,
“认证url”: “当url不为空时生效”,
“auth_url”: “”,
“下载是否认证”: “默认不认证(注意此选项是在auth_url不为空的情况下生效)”,
“enable_download_auth”: false,
“默认是否下载”: “默认下载”,
“default_download”: false,
“本机是否只读”: “默认可读可写”,
“read_only”: false
}
配置文件第二台
{
“绑定端号”: “端口”,
“addr”: “:8080”,
“PeerID”: “集群内唯一,请使用0-9的单字符，默认自动生成”,
“peer_id”: “2”,
“本主机地址”: “本机http地址,默认自动生成(注意端口必须与addr中的端口一致），必段为内网，自动生成不为内网请自行修改，
下同”,
“host”: “http://192.168.88.101:8080”,
“集群”: “集群列表,注意为了高可用，IP必须不能是同一个,同一不会自动备份，且不能为127.0.0.1,且必须为内网IP，默认自动
生成”,
“peers”: [“http://192.168.88.100:8080”,“http://192.168.88.101:8080”],
“组号”: “用于区别不同的集群(上传或下载)与support_group_upload配合使用,带在下载路径中”,
“group”: “group1”,
“是否合并小文件”: “默认不合并,合并可以解决inode不够用的情况（当前对于小于1M文件）进行合并”,
“enable_merge_small_file”: false,
“重试同步失败文件的时间”: “单位秒”,
“refresh_interval”: 1800,
“是否自动重命名”: “默认不自动重命名,使用原文件名”,
“rename_file”: false,
“是否支持web上传,方便调试”: “默认支持web上传”,
“enable_web_upload”: true,
“是否支持非日期路径”: “默认支持非日期路径,也即支持自定义路径,需要上传文件时指定path”,
“enable_custom_path”: true,
“下载域名”: “用于外网下载文件的域名,不包含http://”,
“download_domain”: “”,
“场景列表”: "当设定后，用户指的场景必项在列表中，默认不做限制(注意：如果想开启场景认功能，格式如下：‘场
景名:googleauth_secret’ 如 default:N7IET373HB2C5M6D “,
“scenes”: [],
“默认场景”: “默认default”,
“default_scene”: “default”,
“是否显示目录”: “默认显示,方便调试用,上线时请关闭”,
“show_dir”: true,
“邮件配置”: “”,
“mail”: {
“user”: "[email protected]”,
“password”: “abc”,
“host”: “smtp.163.com:25”
},
“告警接收邮件列表”: “接收人数组”,
“alram_receivers”: [],
“告警接收URL”: “方法post,参数:subjet,message”,
“alarm_url”: “”,
“下载是否需带token”: “真假”,
“download_use_token”: false,
“下载token过期时间”: “单位秒”,
“download_token_expire”: 600,
“是否自动修复”: “在超过1亿文件时出现性能问题，取消此选项，请手动按天同步，请查看FAQ”,
“auto_repair”: true,
“文件去重算法md5可能存在冲突，默认md5”: “sha1|md5”,
“file_sum_arithmetic”: “md5”,
“是否支持按组（集群）管理,主要用途是Nginx支持多集群”: “默认不支持,不支持时路径为http://10.1.5.4:8080/action,
支持时为http://10.1.5.4:8080/group(配置中的group参数)/action,action为动作名，如status,delete,sync等”,
“support_group_manage”: true,
“管理ip列表”: “用于管理集的ip白名单,”,
“admin_ips”: [“127.0.0.1”],
“是否启用迁移”: “默认不启用”,
“enable_migrate”: false,
“文件是否去重”: “默认去重”,
“enable_distinct_file”: true,
“是否开启跨站访问”: “默认开启”,
“enable_cross_origin”: true,
“是否开启Google认证，实现安全的上传、下载”: “默认不开启”,
“enable_google_auth”: false,
“认证url”: “当url不为空时生效”,
“auth_url”: “”,
“下载是否认证”: “默认不认证(注意此选项是在auth_url不为空的情况下生效)”,
“enable_download_auth”: false,
“默认是否下载”: “默认下载”,
“default_download”: false,
“本机是否只读”: “默认可读可写”,
“read_only”: false
}
nginx配合搭建集群扩容
从官网下载最新nginx，下载地址为：http://nginx.org/en/download.html
1.windows上安装nginx
下载完成后解压进入目录
注意不要直接双击nginx.exe，这样会导致修改配置后重启、停止nginx无效，需要手动关闭任务管理器内的所有nginx进程
在nginx.exe目录，打开命令行工具，用命令 启动/关闭/重启nginx
start nginx : 启动nginx
nginx -s reload ：修改配置后重新加载生效
nginx -s reopen ：重新打开日志文件
nginx -t -c /path/to/nginx.conf 测试nginx配置文件是否正确
关闭nginx：
nginx -s stop :快速停止nginx
nginx -s quit ：完整有序的停止nginx
进入nginx的conf目录下修改nginx.conf文件
配置监听域名
upstream wgf.com{
server 192.168.1.98; #真实服务器A(sxwgf-PC)
server 192.168.1.99; #真实服务器B(hzdk-vpc)
}
location / {
root html;
index index.html index.htm;
增加命中结果
proxy_pass http://wgf.com;
proxy_redirect default;
}
2. linux上安装nginx
安装c和c++的编译环境
yum install gcc gcc-c++ -y
由于我们在期间还需要进行初始化配置这一步，所以还需要安装pcre和zlib这两个包：
yum install -y pcre-devel
yum install -y zlib-devel
二、安装
安装过程非常简单我们需要把下载的tar.gz包上传到服务器上，我们默认上传到了/opt 目录，然后使用tar命令进行解压缩：
tar -xvzf nginx-1.14.0.tar.gz
解压完成是这个样子的。然后我们进入解压完成的目录：
cd nginx-1.14.0
然后执行配置的命令：
./configure --prefix=/opt/nginx
其中，prefix后面跟的路径是你想吧代码编译之后放置的位置，默认为/usr/local/nginx，这里我修改了在opt目录下
如果没有装准备过程中的两个插件的话会出现以下错误，导致配置写入失败：
这个是没有安装pcre的库
这个是缺少zlib的库
安装完即可成功配置。
然后我们进行代码的编译，还是在解压缩之后的这个nginx目录：
make && make install
然后我们会在opt目录下发现新的文件夹：
这样我们就安装成功了，现在只要进入sbin目录启动，我们的nginx就可以启动了：
cd nginx/sbin
./nginx
三、配置反向代理
有两个服务器，都配置了tomcat，分别是192.168.65.136:8080 和 192.168.65.135:8080 这两个地址，我们首先进入nginx配置文件：
vi /opt/nginx/conf/nginx.conf
然后再http的第一个server块上面写入以下代码：
upstream tomcat_pool {
#server tomcat地址:端口号 weight表示权值，权值越大，被分配的几率越大;
server 192.168.65.136:8080 weight=1;
server 192.168.65.135:8080 weight=1;
}
这样我们的负载均衡后台服务就配置好了，然后我们需要在server中配置一个location进行监听访问，并转发到我们配置的stream上：
location / {
proxy_pass http://tomcat_pool; #转向tomcat处理
proxy_redirect off;#是否跳转
proxy_set_header Host $host; #请求要转发的host
proxy_set_header X-Real-IP $remote_addr;#请求的远程地址 这些在浏览器的header都可看，不一一解释
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504;
proxy_max_temp_file_size 0;
proxy_connect_timeout 90; #连接前面的服务器超时时间
proxy_send_timeout 90;#请求转发数据报文的超时时间
proxy_read_timeout 90;#读取超时时间
proxy_buffer_size 4k; # 缓冲区的大小
proxy_buffers 4 32k; #
proxy_busy_buffers_size 64k; # #proxy_buffers缓冲区，网页平均在32k以下的
proxy_temp_file_write_size 64k; ##高负荷下缓冲大小（proxy_buffers*2）
}
然后输入英文 :wq就可以了.
这个时候我们去sbin目录下进行重新启动：
cd /opt/nginx/sbin
./nginx -s reload
就可以看到效果了。
四、nginx配置服务和开机自启
nginx的官网提供了这个配置服务的脚本了，在这个地址：
https://www.nginx.com/resources/wiki/start/topics/examples/redhatnginxinit/
这里我直接粘过来：
#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig: - 85 15
# description: NGINX is an HTTP(S) server, HTTP(S) reverse \
# proxy and IMAP/POP3 proxy server
# processname: nginx
# config: /etc/nginx/nginx.conf
# config: /etc/sysconfig/nginx
# pidfile: /var/run/nginx.pid
# Source function library.
. /etc/rc.d/init.d/functions
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
nginx="/usr/sbin/nginx"
prog=$(basename $nginx)
NGINX_CONF_FILE="/etc/nginx/nginx.conf"
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
lockfile=/var/lock/subsys/nginx
make_dirs() {
# make required directories
user=`$nginx -V 2>&1 | grep "configure arguments:.*--user=" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
if [ -n "$user" ]; then
if [ -z "`grep $user /etc/passwd`" ]; then
useradd -M -s /bin/nologin $user
fi
options=`$nginx -V 2>&1 | grep 'configure arguments:'`
for opt in $options; do
if [ `echo $opt | grep '.*-temp-path'` ]; then
value=`echo $opt | cut -d "=" -f 2`
if [ ! -d "$value" ]; then
# echo "creating" $value
mkdir -p $value && chown -R $user $value
fi
fi
done
fi
}
start() {
[ -x $nginx ] || exit 5
[ -f $NGINX_CONF_FILE ] || exit 6
make_dirs
echo -n $"Starting $prog: "
daemon $nginx -c $NGINX_CONF_FILE
retval=$?
echo
[ $retval -eq 0 ] && touch $lockfile
return $retval
}
stop() {
echo -n $"Stopping $prog: "
killproc $prog -QUIT
retval=$?
echo
[ $retval -eq 0 ] && rm -f $lockfile
return $retval
}
restart() {
configtest || return $?
stop
sleep 1
start
}
reload() {
configtest || return $?
echo -n $"Reloading $prog: "
killproc $nginx -HUP
RETVAL=$?
echo
}
force_reload() {
restart
}
configtest() {
$nginx -t -c $NGINX_CONF_FILE
}
rh_status() {
status $prog
}
rh_status_q() {
rh_status >/dev/null 2>&1
}
case "$1" in
start)
rh_status_q && exit 0
$1
;;
stop)
rh_status_q || exit 0
$1
;;
restart|configtest)
$1
;;
reload)
rh_status_q || exit 7
$1
;;
force-reload)
force_reload
;;
status)
rh_status
;;
condrestart|try-restart)
rh_status_q || exit 0
;;
*)
echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-
reload|configtest}"
exit 2
esac
我们把这个保存到 /etc/init.d/nginx 文件中
然后需要修改文件中的：
nginx=”/opt/nginx/sbin/nginx” 修改成nginx执行程序的路径。
NGINX_CONF_FILE=”/opt/nginx/conf/nginx.conf” 修改成配置文件的路径。
然后需要把这个文件变为可执行文件：
chmod 775 /etc/init.d/nginx
这样这个文件就是可执行文件了，这个时候我们需要把这个文件加入chkconfig进行管理：
chkconfig --add /etc/init.d/nginx
这个时候我们就可以用service 命令进行nginx的操作了。
最后我们需要让chkconfig配置nginx为开机自动启动模式：
chkconfig --level 3 nginx on
这样就搞定了。