什么是IPFS(Inter-Planetary File System)
IPFS是一个对等的分布式文件系统,它尝试为所有计算设备连接同一个文件系统。在某些方面,IPFS类似于万维网,也可以被视作一个独立的BitTorrent群、在同一个Git仓库中交换对象。 换种说法,IPFS提供了一个高吞吐量、按内容寻址的块存储模型,及与内容相关超链接。这形成了一个广义的Merkle有向无环图(DAG)。IPFS结合了分布式散列表、鼓励块交换和一个自我认证的名字空间。IPFS没有单点故障,并且节点不需要相互信任。分布式内容传递可以节约带宽,和防止HTTP方案可能遇到的DDoS攻击。
该文件系统可以通过多种方式访问,包括FUSE与HTTP。将本地文件添加到IPFS文件系统可使其面向全世界可用。文件表示基于其哈希,因此有利于缓存。文件的分发采用一个基于BitTorrent的协议。其他查看内容的用户也有助于将内容提供给网络上的其他人。
IPFS有一个称为IPNS的名称服务,它是一个基于PKI的全局名字空间,用于构筑信任链,这与其他NS兼容,并可以映射DNS、.onion、.bit等到IPNS。
以上就是维基百科对其下的定义,其实星际文件系统IPFS是一个面向全球的、点对点的分布式版本文件系统,目标是为了补充(甚至是取代)目前统治互联网的超文本传输协议(HTTP),将所有具有相同文件系统的计算设备连接在一起。原理用基于内容的地址替代基于域名的地址,也就是用户寻找的不是某个地址而是储存在某个地方的内容,不需要验证发送者的身份,而只需要验证内容的哈希,通过底层协议,可以让存储在IPFS系统上的文件,在全世界任何一个地方快速提取,不受到防火墙的影响,让用户访问数据的速度更快,更加安全,并且更加开放。
IPFS是一种分布式存储系统,保存在IPFS系统里的文件具有以下特点:
- 不可删除也不可修改
- 理论上会永久储存
- 历史记录会永久保存 (这是由前两个特点自然得出的)
- 如果一份文件十分冷门,这个文件可能会从IPFS消失。
IPFS自身并不储存文件,上传至IPFS的文件实际上是被分块保存在节点上。刚上传时,文 件会被分块保存在当前节点上(也就是运行IPFS进程的主机),当有其他节点请求并下载 这个文件后,这个文件会被这些节点缓存。如果一份文件十分冷门,导致所有节点缓存的 数据块拼在一起也无法重建完整文件时,这个文件也就从IPFS系统里消失了。
以下我就以centos 7 系统来介绍部署步骤:
1. 安装IPFS
我一般都是习惯使用docker来部署,安装docker教程可以看以前的文章。
首先新建一个ipfs
的文件夹,然后在文件夹里面新建docker-compose.yml
version: "3"
services:
ipfs:
image: ipfs/go-ipfs:master-2021-08-10-9398d80
container_name: ipfs
restart: always
volumes:
- ./data:/data/ipfs # IPFS的数据信息
- ./export_data:/export # 映射一个文件夹,方便我们传入传出文件
ports:
- "8080:8080"
- "4001:4001"
- "5001:5001"
logging:
driver: "json-file"
options:
max-size: "500m"
然后使用docker-compose up
命令启动起来,这里说明一下,容器内的8080
端口是IPFS用来预览文件的端口,4001
是与其他IPFS节点通讯端口,5001
是IPFS管理节点。
IPFS的公共网关是: https://ipfs.io
这是维基百科的IPFS地址:
https://ipfs.io/ipfs/bafybeierrdxblmthjga6wap3tpk53icgzb7owstz5gbd6qxcy3kspktymm 这个是从国外的节点获取数据,会比较慢,可能还需要科学上网才能访问。
当你启动起来IPFS之后,就能通过你自己的节点网关访问了http://127.0.0.1:8080/ipfs/bafybeierrdxblmthjga6wap3tpk53icgzb7owstz5gbd6qxcy3kspktymm 这个就会快很多。
http://127.0.0.1:5001/webui 是管理节点,你能看到一些IPFS相关的统计信息
上传文件到IPFS
由于我们是用docker部署,所以我们需要进入容器中执行相关命令。首先我们把要上传的文件或者文件夹复制到宿主机的 ipfs/export_data
目录下,这样我们进入容器里面的时候就能到export
目录找到他们。
# 进入容器
docker exec -it ipfs sh
# 添加文件IPFS
ipfs add index.html
# 添加文件夹到IPFS
ipfs add -r demo
我执行的是添加文件夹,正常情况下,会返回如下结果:
added QmdkhSD52QnqyFpJX8DkLmGgcGhj4Uym79XfjYQMdZcCNB demo/assets/sass
added QmW6txppXe6CwtSYSZrvm6UG4WabBbz9yWzadu9rjj7P92 demo/assets/webfonts
added QmNXQvPCkdwSs4cd2eHgbMEvDmezPhCHxLsMs2CQayULcv demo/assets
added QmPtqKJtEAj6Zoht1yas7jDSKJzTfbFxgtRkMDYBAxMqui demo/images
added QmXz4Xmc5fF6zAQoaiFrF8mTv47Zcna1X4omxkxU6f7Bfa demo
其中最下面的QmXz4Xmc5fF6zAQoaiFrF8mTv47Zcna1X4omxkxU6f7Bfa
就是文件夹的CID了
这时候就已经能通过任意的IPFS的网关访问了:
https://ipfs.io/ipfs/QmXz4Xmc5fF6zAQoaiFrF8mTv47Zcna1X4omxkxU6f7Bfa
使用IPNS访问文件
使用上面的方式,只要你的源文件有变动,每次执行ipfs add
命令后都会返回不同的CID
,这样的话每次都得换访问路径,肯定不现实。为了解决这个问题IPFS提供了IPNS服务,可以将一个唯一ID绑定到IPFS的Hash上。通过这个唯一ID访问IPFS文件/文件夹。
具体操作就是ipfs name publish
命令进行绑定操作:
ipfs name publish QmXz4Xmc5fF6zAQoaiFrF8mTv47Zcna1X4omxkxU6f7Bfa
这个命令比较慢,成功之后会得到如下的输出:
Published to k2k4r8jhq3u1vmns1yjp77kl886ks525ckxrrmplcu6cuz1s6ja8pjqm: /ipfs/QmXz4Xmc5fF6zAQoaiFrF8mTv47Zcna1X4omxkxU6f7Bfa
其中的QmXz4Xmc5fF6zAQoaiFrF8mTv47Zcna1X4omxkxU6f7Bfa
就是上传目录时返回的Hash值。返回的k2k4r8jhq3u1vmns1yjp77kl886ks525ckxrrmplcu6cuz1s6ja8pjqm
就是IPNS ID,对于同一个节点来说默认情况下是相同的。我们就可以使用下面的连接访问了:
https://ipfs.io/ipns/k2k4r8jhq3u1vmns1yjp77kl886ks525ckxrrmplcu6cuz1s6ja8pjqm
绑定域名
ok,CID
经常变的问题算是解决了,但是要用户记住这么长的地址也太不友好了。
解决办法:我们在域名解析中,添加一条TXT记录,名称为demo,值为dnslink=/ipns/k2k4r8jhq3u1vmns1yjp77kl886ks525ckxrrmplcu6cuz1s6ja8pjqm。 然后就可以通过https://ipfs.io/ipns/demo.xxx.com/访问刚上传的文件了。
如果我们想绑定自己的域名呢,还可以添加一条CNAME
记录,名称为demo
,值为ipfs.io
,这样就能直接使用 http://demo.xxx.com 访问了。
但是ipfs.io这个公共网关很慢,我们可以将CNAME记录指向自己的IPFS节点,用nginx代理一下,这样就能加速访问了,并且还能支持https协议。
server {
listen 443 ssl;
server_name demo.xxx.ccom;
ssl_certificate cert/xxx.com.cer;
ssl_certificate_key cert/xxx.com.key;
ssl_session_timeout 5m;
ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
ssl_protocols TLSv1.2;
ssl_prefer_server_ciphers on;
location / {
gzip on;
gzip_http_version 1.0;
gzip_comp_level 5;
gzip_min_length 1k;
gzip_buffers 4 16k;
gzip_types text/plain application/javascript application/x-javascript text/css application/xml text/javascript application/x-httpd-php image/jpeg image/gif image/png;
proxy_pass http://127.0.0.1:8080;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header HTTP_X_FORWARDED_FOR $remote_addr;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_redirect default;
}
}
绑定其它IPNS ID
如果有很多文件夹都需要绑定到IPNS,不想共用一个,可以单独新建,发布的时候指定即可。
ipfs key gen --type=rsa --size=2048 new-key-name
ipfs name publish --key=new-key-name QmXz4Xmc5fF6zAQoaiFrF8mTv47Zcna1X4omxkxU6f7Bfa