aiwokache
aiwokache

分布式文件存储系统Minio，tuling，fox

MinIO | 高性能，对Kubernetes友好的对象存储

MinIO High Performance Object Storage — MinIO Object Storage for Linux

一 分布式文件系统应用场景

  1. fastDFS
    1. 缺点：
      1. 部署麻烦。
      2. 因为文件名是自动生成的，所以如果要处理文件的话，还要经过额外的编码。
  2. Minio介绍
    1. 应用场景
      1. 互联网海量非结构化数据的存储需求，如
                    电商网站：海量商品图片
                    视频网站：海量视频文件
                    网盘 : 海量文件
                    社交网站：海量图片
      2. 对于中小型企业，如果不选择存储上云，那么 Minio 是个不错的选择，麻雀虽小，五脏俱全。当然 Minio 除了直接作为对象存储使用，还可以作为云上对象存储服务的网关层，无缝对接到 Amazon S3、 MicroSoft Azure。
      3. 非结构化数据与结构化数据
        1. 非结构化数据：文件、音频、视频、图片
        2. 结构化数据：如常见的关系型数据库（mysql、oracle、sqlserver）用表存储某个网站的会员信息。
    2. minio是什么？
      1. MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。
        1. 对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高可靠的云存储服 务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成 本。
      2. Minio是使用go语言编写的，天然支持跨平台。
    3. minio的优点
      1. 部署简单: 一个single二进制文件即是一切，还可支持各种平台。
      2. minio支持海量存储，可按zone扩展(原zone不受任何影响)，支持单个对象最大5TB;
      3. 兼容Amazon S3接口，充分考虑开发人员的需求和体验;
      4. 低冗余且磁盘损坏高容忍，标准且最高的数据冗余系数为2(即存储一个1M的数据对象，实际占用 磁盘空间为2M)。但在任意n/2块disk损坏的情况下依然可以读出数据(n为一个纠删码集合(Erasure Coding Set)中的disk数量)。并且这种损坏恢复是基于单个对象的，而不是基于整个存储卷的。
      5. 读写性能优异
  3. MinIO的基础概念
    1. Object：一个文件 / 视频 / 音频 / 字节流 / Anything......
    2. Bucket：翻译过来是桶，可理解为一个顶层的目录（文件夹）。Bucket是用来装Object的。
    3. Drive：即存储数据的磁盘。
    4. Set ：分布式集群场景或多磁盘场景下。一组Drive的集合。
    5. 备注：
      1. 当MinIO集群服务启动以后，表明已经把Drive配置好了（当然，我们需要去指定Drive的位置、存储目录）。
      2. Object和Bucket是我们真正去操作、控制的2个东西，比如想把文件存储到哪个Bucket下面，我们要上传哪些Object。
  4. 纠删码EC（Erasure Code）： 备份与恢复
    1. 定义、流原：
      1. 纠删码是一种恢复丢失和损坏数据的数学算法， Minio采用Reed-Solomon code将 （ps：用户上传的每一个对象） 对象拆分成N/2 数据和N/2 奇偶校验块。 这就意味着如果是12块盘，一个对象会被分成6个数据块、6个奇偶校验块，你可以丢失任意6块盘（不管其是存放的数据块还是奇偶校验块），你仍可以从剩下的盘中的数据进行恢复。 分布式文件存储系统Minio，tuling，fox_第1张图片

        1. BLOCK：块。在minio中，一个block大概是10M。
        2. DATA BLOCK：数据块。
        3. PARITY BLOCK：校验块。 

    2. 作用：
      1. EC机制是用来保证MinIO高可靠性。
        1. 第一步：EC机制是用来校验数据是否损坏（如本身磁盘（硬件）就损坏了，如单单数据的损坏）。
          1. 校验原理（Bit Rot Protection）：直接对MinIO中的文件进行一个hash。因为hash码是唯一的，所以如果hash码不变说明文件没有损坏，反之说明文件已经损坏了。
        2. 第二步：EC机制是用来做数据冗余和恢复的
          1. 官网纠删码的作用描述：Minio使用纠删码 erasure code 和校验和 checksum 来保护数据免受硬件故障和无声数据损坏。 即便您丢失一半数量（N/2）的硬盘，您仍然可以恢复数据。
          2. 如果数据损坏，可以校验是否是源文件数据损坏了，并且可以使用EC机制highwayhash来处理数据损坏（Bit Rot Protection）。
          3. minIO纠删码还原，是依赖于EC盘的数量去做处理的。
            1. 规则1：所有的盘都是可读的。
            2. 规则2：坏死盘数量不能大于n/2+1，大于的话就恢复不了数据。
            3. 规则3：如果是坏死盘，MinIO是不允许我们再上传新的文件到坏死盘上面去的。
            4. 规则4：如果坏死的磁盘大于等于N/2，那么minio是不允许上传文件的。只能坏死的磁盘不超过一半（n/2）时，minio才允许上传文件的。
            5. 规则5：必须要有大于等于N/2+1的盘是可读的正常状态的，，才能保证有EC盘数据的存在，也才能有可能通过EC机制来恢复数据。
    3. 案例1：EC机制下的数据冗余与恢复
      1. 有6块盘（因为EC机制生效最少需要4块盘）。
      2. 其中4块盘用于存储用户的数据，比如1.jpg。
      3. 其中2块盘用于存储对它EC机制编号后生成的1.jpg。
      4. 如果丢失1份数据，可以是4块盘中之一的1.jpg，也可以是2块盘之一EC后的1.jpg。那么，根据一定的算法可以恢复和还原。
      5. 如果丢失2份数据，而且是2块盘EC后的1.jpg都丢失了，那么不是还有4个盘的1.jpg嘛。
      6. 如果丢失3份数据，4块盘中之一和2块盘EC后的1.jpg都丢失了，那么就无法去恢复和还原了。
    4. 案例2：为了保证数据的冗余和恢复MinIO推荐使用方式
      1. MinIO推荐平均去分配
        1. 8个盘。
        2. 4个盘存源数据，4个盘存EC数据。
        3. 意味着，不管在什么情况下，如果丢失的数据<=4个盘，数据仍可以恢复。
  5. 存储形式
    1. 开启EC模式下的存储形式：分布式文件存储系统Minio，tuling，fox_第2张图片 
  6. 存储方案
    1. MinIO集群的存储方案：分布式文件存储系统Minio，tuling，fox_第3张图片
      1. 第一步：搭建MinIO集群
      2. 第二步：MinIO集群提供操作的API接口，默认端口9000，可以读写集群中的文件。
      3. 第三步：MinIO集群提供的控制台，端口随便定义，比如50000 

二 Minio环境搭建

  1. 概述：3种模式分布式文件存储系统Minio，tuling，fox_第4张图片
  2. 方式1：单机部署 - 无纠删码
    1. 不使用docker
      1. linux：systemctl stop firewalld（关闭防火墙）
        1. 优化前的启动
          1. 第一步：下载： wget https://dl.min.io/server/minio/release/linux-amd64/minio
          2. 第二步：chmod +x minio，把它变成可执行文件。
          3. 第三步：./minio server /data，指定磁盘位置（数据保存在哪）并运行。这里没有用后台启动，想跟大家一起去看看日志。

          4. 第四步：查看日志

            分布式文件存储系统Minio，tuling，fox_第5张图片
          5. 第五步：验证：登录控制台，操作一下文件的上传、下载
        2. 优化后的启动
          1. 第一步：下载： wget https://dl.min.io/server/minio/release/linux-amd64/minio
          2. 第二步：chmod +x minio，把它变成可执行文件。
          3. 第三步：指定登录控制台使用的用户名和密码：
            export MINIO_ROOT_USER=admin
            export MINIO_ROOT_PASSWORD=12345678
          4. 第四步：使用自定义的配置文件所在的路径：
            ./minio server --config-dir /usr/local/minioInstall/config /usr/local/minioInstall/data
            1. --config-dir /usr/local/minioInstall/config：自定义配置文件所在的路
            2. /usr/local/minioInstall/data：上传下载的文件所在的路径
          5. 第五步：指定登录控制台监听的端口为5000：
            ./minio server --console-address ":50000" /usr/local/minioInstall/data
            1. --console-address ":50000"：指定登录控制台监听的端口为5000
          6. 第六步：验证：登录控制台，操作一下文件的上传、下载
        3. 总结
          1. 特点1：这就是我们通过单机的，没有纠删码的部署模式。为什么没有纠删码呢？因为我们这里只分配了1块磁盘呀，纠删码部署模式下是要求有4块磁盘以上的吧。
          2. 特点2：在没有纠删码部署模式下，/usr/local/minioInstall/data保存的文件是源文件，而并非经过加密后的文件：分布式文件存储系统Minio，tuling，fox_第6张图片
      2. window
        1. 第一步：下载：http://dl.minio.org.cn/server/minio/release/windows-amd64/minio.exe
        2. 第二步：minio.exe server D:\，指定磁盘位置并运行
    2. 使用docker
      1. linux：中文官网文档更新慢（配置中没有暴露控制台的访问端口），一定要去参考英文官网的英文文档
        1. docker run -d -p 9000:9000 -p 50000:50000 --name minio \
          -e "MINIO_ROOT_USER=admin" \
          -e "MINIO_ROOT_PASSWORD=12345678" \
          -v /usr/loca/minioInstall/data:/data \
          -v /mnt/config:/root/.minio \
          minio/minio server --console-address ":50000" /data
          1. docker run -d： 表明是后台启动
          2. -e "MINIO_ROOT_USER=admin" \：指定控制台用户名
          3. -e "MINIO_ROOT_PASSWORD=12345678" \：指定控制台密码
          4. -v /usr/loca/minioInstall/data:/data \：指定挂载的目录，文件（上传下载）所在的挂载目录
            1. :/data：变量，对应下面的/data
          5. -v /mnt/config:/root/.minio \：指定自定义配置文件所在目录
          6. --console-address ":50000"：暴露的控制台端口5000。
          7. /data：指定文件（上传下载）的磁盘，这里/data只是一个变量，真正的值使用的是上面的/usr/loca/minioInstall/data。
      2. window
  3. 方式2：单机部署 - 有纠删码，即要至少挂载4个磁盘（disk1，disk2，disk3，disk4......）
    1. 不使用docker
      1. linux
      2. windows
    2. 使用docker
      1. linux
        1. 第一步：启动
          docker run -d -p 9000:9000 -p 50000:50000 --name minio \
          -v /mnt/data1:/data1 \
          -v /mnt/data2:/data2 \
          -v /mnt/data3:/data3 \
          -v /mnt/data4:/data4 \
          -v /mnt/data5:/data5 \
          -v /mnt/data6:/data6 \
          -v /mnt/data7:/data7 \
          -v /mnt/data8:/data8 \
          minio/minio server /data{1...8} --console-address ":50000"
          1. docker run -d：后台跑
          2. 9000:9000：向宿主机暴露API端口9000
          3. 50000:50000：向宿主机暴露控制台端口50000
          4. --console-address ":50000"：向宿主机暴露控制台端口50000
          5. -v /mnt/data1:/data1 \
            -v /mnt/data2:/data2 \
            -v /mnt/data3:/data3 \
            -v /mnt/data4:/data4 \
            -v /mnt/data5:/data5 \
            -v /mnt/data6:/data6 \
            -v /mnt/data7:/data7 \
            -v /mnt/data8:/data8 \
            把你这个目录呀，去挂载到，外面的磁盘上面去，即宿主机的磁盘上面去。
            上面表明启用了8块盘。
        2. 第二步：验证
          1. 第一步：登录控制台
          2. 第二步：简单完成文件上传与下载
          3. 第三步：进到文件所在目录，看见有8个盘：

          4. 第四步：tree命令查看到，之前上传的文件每个目录都会有：分布式文件存储系统Minio，tuling，fox_第7张图片

        3. 第三步：总结：这就是纠删码模式，纠删码模式下会对你的磁盘进行平均分盘。如果有8个盘，那么就会有4个去存我们的数据，有4个去存我们的校验码。

           

      2. windows
  4. 方式3：分布式纠删码集群部署：高可用的部署方式
    1. 基础知识
      1. 分布式存储可靠性常用方法
        1. 冗余
          1. minio如何去实现冗余呢？即使用的我们纠删码（EC码）。
        2. 校验
          1. minio如何去实现校验呢？校验我们的Rot Bit，通过hash的方式去判断文件是否损坏了，如果你不是源文件那么hashcode肯定不一样嘛，不一样就表明出问题了。
    2. 业务需求：
      1. 单机纠删码模式下的缺点：虽然也可以恢复数据，但是会有单点故障。
    3. 案例：
      1. 例如，一个16节点的Minio集群，每个节点16块硬盘，就算8台服務器宕机，这个集群仍然是可读的，不过你需要9台服務器才能写数据。
    4. 原理：
      1. 更好的方式是，把我们的磁盘均匀地分布到不同的机器上。比如，我们的多个磁盘，它是一个set。比如，有很多个节点，节点上面会分别挂载多个磁盘。集群给我们分了很多组set，我们一个对象存在一个Set中，这样一来就可以进行一个容错处理：分布式文件存储系统Minio，tuling，fox_第8张图片
    5. 分布式集群部署方案图：分布式文件存储系统Minio，tuling，fox_第9张图片
      1. 发布的话也很方便：minio server http://host{1...n}/export{1...m}
        1. http://host{1...n}：节点（ip+port），即指定host列表
        2. export{1...m}：文件存储的目录，比如data1、data2、data3、data4、data5、data6。
          1. export是什么？export就是我们的目录。
      2. 发布的话，我们前面还可以加多一个loadbalance（负载均衡器），让文件均衡地落在哪个节点的哪个磁盘上面去，其实就是这么去找的呀。
    6. 详细的分布式纠删码集群部署步骤：
      1. 详细步骤1：基本实现

        1. 第一步：编写启动分布式Minio实例脚本

          1. 案例1：启动分布式Minio实例，8个节点（不同的ip port表明是1个节点），每节点1块盘（export1...8），需要在8个节点上都运行下面的命令：分布式文件存储系统Minio，tuling，fox_第10张图片

            1. export MINIO_ROOT_USER = admin
              export MINIO_ROOT_PASSWORD = 12345678
              minio server http://192.168.1.11/export1 http://192.168.1.12/export2 \
              http://192.168.1.13/export3 http://192.168.1.14/export4 \
              http://192.168.1.15/export5 http://192.168.1.16/export6 \
              http://192.168.1.17/export7 http://192.168.1.18/export8
            2. 注：以上的命令不全，因为都没有暴露端口的命令在里面。
          2. 案例2：启动分布式Minio实例，4节点，每节点4块盘，需要在4个节点上都运行下面的命令：分布式文件存储系统Minio，tuling，fox_第11张图片
            export MINIO_ROOT_USER = admin
            export MINIO_ROOT_PASSWORD = 12345678
            minio server http://192.168.1.11/export1 http://192.168.1.11/export2 \
            http://192.168.1.11/export3 http://192.168.1.11/export4 \
            http://192.168.1.12/export1 http://192.168.1.12/export2 \
            http://192.168.1.12/export3 http://192.168.1.12/export4 \
            http://192.168.1.13/export1 http://192.168.1.13/export2 \
            http://192.168.1.13/export3 http://192.168.1.13/export4 \
            http://192.168.1.14/export1 http://192.168.1.14/export2 \
            http://192.168.1.14/export3 http://192.168.1.14/export4  
            1. 注：同一个ip port，后面挂载3个export嘛。
          3. 为了方便，我这里写了一个脚本来启动：vim minio-cluster.sh： 分布式文件存储系统Minio，tuling，fox_第12张图片
        2. 第二步：停掉docker：
          1. docker ps，获取id
          2. docker stop xxxxxx
        3. 第三步：执行脚本：./minio -cluster.sh
        4. 第四步：验证
          1. 第1步：ps -ef|grep minio查看效果：分布式文件存储系统Minio，tuling，fox_第13张图片
            1. 从上图可以看出，我们启动了4节点（9001~9004），控制台端口（50001~50004）。
          2. 第2步：浏览器访问4个控制台（5001~5004）
          3. 第3步：简单操作文件上传与下载
          4. 第4步：tree命令查询效果
        5. 第五步：基于nginx实现loadbalancer。需求：这样一来的话，我们真正去使用的话肯定要有一个入口嘛。即如果是这种分布式纠删码部署模式下，我们肯定是要有入口的，要有一个统一的入口啊。那统一的入口的话，怎么做呀？是不是要有一个负载均衡器（loadbalance）。
          1. 第1步：配置nginx 
            upstream minio {
    server 192.168.3.14:9001;
    server 192.168.3.14:9002;
    server 192.168.3.14:9003;
    server 192.168.3.14:9004;
}
upstream console {
    ip_hash;
    server 192.168.3.14:50001;
    server 192.168.3.14:50002;
    server 192.168.3.14:50003;
    server 192.168.3.14:50004;
}
server {
    listen 9000;
    listen [::]:9000;
    server_name localhost;

    # To allow special characters in headers
    ignore_invalid_headers off;
    # Allow any size file to be uploaded.
    # Set to a value such as 1000m; to restrict file size to a specific value
    client_max_body_size 0;
    # To disable buffering
    proxy_buffering off;
    location / {
        proxy_set_header Host $http_host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;

        proxy_connect_timeout 300;
        # Default is HTTP/1, keepalive is only enabled in HTTP/1.1
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        chunked_transfer_encoding off;
        proxy_pass http://minio;
    }
}
server {
    listen 50000;
    listen [::]:50000;
    server_name localhost;
    # To allow special characters in headers
    ignore_invalid_headers off;
    # Allow any size file to be uploaded.
    # Set to a value such as 1000m; to restrict file size to a specific value
    client_max_body_size 0;
    # To disable buffering
    proxy_buffering off;
    location / {
        proxy_set_header Host $http_host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;

        proxy_set_header X-NginX-Proxy true;
        proxy_connect_timeout 300;
        # Default is HTTP/1, keepalive is only enabled in HTTP/1.1
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        chunked_transfer_encoding off;
        proxy_pass http://console;
}
}
            第a步：配置一个upstream，9001~9004。
            第b步：proxy_pass http://minio;，我们通用proxy_pass访问这个minio。
            第c步：listen 9000;，我把我的这个端口变成9000，是不是就可以了第d步：listen 50000，同样地，我们把控制台的端口变成50000
            第e步：我们通过ip_hash的方式，进行一个路由。

          2. 第2步：通过指定的配置文件启动nginx：sbin nginx

          3. 第3步：验证nginx启动：ps ef|grep nginx

        6. 第六步：测试

          1. http://192.168.3.14:50001/dashboard，并完成简单的上传与下载文件

      2. 详细步骤2：使用docker compost部署分布式集群的minio

        1. 第一步：请下载docker-compose.yaml和nginx.conf到你当前的工作目录。docker-compose.yaml是通过docker-compose pull直接一下子把它拉下来的。nginx.conf是它提供的一个配置文件，里面有nginx的配置：

          1. 第1步：docker-compose pull：直接一下子把它拉下来：

            分布式文件存储系统Minio，tuling，fox_第14张图片
          2. 第2步：打开它提供的配置文件，查看nginx配置。

        2. 第二步：docker-compose up

      3. 详细步骤3：扩展：磁盘不够了加磁盘，加节点都很多方便。

        1. 比如我之前只部署了32个节点，部署了32个磁盘。现在，我要把它扩充到64个。怎么做？即原来的32个节点上，再加上新的32个节点即可。

    7. 分布式纠删码集群部署注意事项（官网翻译）：
      1. 分布式Minio里所有的节点需要有同样的access秘钥和secret秘钥，这样这些节点才能建立联接。 为了实现这个，你需要在执行minio server命令之前，先将access秘钥和secret秘钥export成环境变量。新版本使用MINIO_ROOT_USER&MINIO_ROOT_PASSWORD。
        1. ps：集群部署模式下，要配置权限认证、用户名、密码，即这些的话每台机器上都要跑一遍。
      2. 分布式Minio使用的磁盘里必须是干净的，里面没有数据。
      3. 下面示例里的IP仅供示例参考，你需要改成你真实用到的IP和文件夹路径。
        1. ps：换成物理的真实的IP地址，充分保证了各个节点之间要可以通信。比如，下面那些可能都是你局域网的IP PORT，保证了各个节点之间要可以通信。
      4. 分布式Minio里的节点时间差不能超过3秒，你可以使用NTP来保证时间一致。
        1. ps：重要，高亮标注。
      5. 在Windows下运行分布式Minio处于实验阶段，请悠着点使用。
  5. 总结：
    1. ps：大家注意啊，如果你们自己玩的话，机器也不是怎么好的话（4G 8G内存而已），你们可以搞个单机模式嘛。纠删码呀，都可以，纠删码无非就是加几块磁盘嘛。集群模式的话，大家可以在虚拟机中docker容器里面去玩啊。其实，部署还是非常方便的，这也是minio能够普及的一个原因。

三 mc admin使用（用户CRUD、文件的权限控制(只读、可写))

  1. 概述
    1. MinIO Client（mc）提供了“ admin”子命令来对您的MinIO部署执行管理任务：
      1. service 服务重启并停止所有MinIO服务器
      2. update 更新更新所有MinIO服务器
      3. info 信息显示MinIO服务器信息
      4. user 用户管理用户
      5. group 小组管理小组
      6. policy MinIO服务器中定义的策略管理策略
      7. config 配置管理MinIO服务器配置
      8. heal 修复MinIO服务器上的磁盘，存储桶和对象
      9. profile 概要文件生成概要文件数据以进行调试
      10. top 顶部提供MinIO的顶部统计信息
      11. trace 跟踪显示MinIO服务器的http跟踪
      12. console 控制台显示MinIO服务器的控制台日志
      13. prometheus Prometheus管理Prometheus配置
      14. kms kms执行KMS管理操作
  2. 比较常用的命令
    1. 服务器信息显示
      1. info：信息显示MinIO服务器信息
      2. trace：跟踪显示MinIO服务器的http跟踪
      3. console：控制台显示MinIO服务器的控制台日志
    2. 服务器管理
      1. service：服务重启并停止所有MinIO服务器
      2. policy MinIO：服务器中定义的策略管理策略
        1. 文件及文件夹（桶）的权限控制（只读（桶的下载）、可写（桶的上传））
      3. config：配置管理MinIO服务器配置，如服务器地址
    3. 用户及小组crud
      1. user：用户管理用户
      2. group：小组管理小组
  3. 案例1：用户管理
    #命令列表
    mc admin 
    #命令列表
    mc admin user --help
    # 新建用户， 此时用户没有任何权限（甚至登录控制台的权限都没有），此时要做权限管理（策略管理）
    mc admin user add minio-server fox
    mc admin user add minio-server fox02 12345678
    # 查看用户
    mc admin user list minio-server
    # 禁用用户
    mc admin user disable minio-server fox02
    # 启用用户
    mc admin user enable minio-server fox02
    # 查看用户信息
    mc admin user info minio-server fox
    # 删除用户
    mc admin user remove minio-server fox02
    #查看用户的文件及文件夹（桶）权限控制
    mc admin user policy minio-server fox02 分布式文件存储系统Minio，tuling，fox_第15张图片
  4. 案例2：策略管理
    1. policy命令，用于添加，删除，列出策略，获取有关策略的信息并为MinIO服务器上的用户设置策略。
      #命令列表
      mc admin policy --help
      #列出MinIO上的所有固定策略（
        即所有的操作权限：
              diagnostics：用于我们管控的，用于监测的
              readonly：只读
              readwrite：读写
              writeonly：只写
              consoleAdmin：控制台登录权限 
      ）
      mc admin policy list minio-server
      # 查看 plicy 信息。查看读写权限的信息。
      mc admin policy info minio-server readwrite 分布式文件存储系统Minio，tuling，fox_第16张图片

    2. 添加新的策略：

      1. 第一步：编写策略文件（权限脚本）：/root/tulingmall.json 》vim tulingmall.json 》粘贴下面代码 》wq

        {
           "Version" : "2012-10-17" ,
           "Statement" : [
            {
              "Effect" : "Allow" , #允许
              "Action" : [
                  "s3:GetBucketLocation" ,  #获取桶的路径的权限
                  "s3:GetObject"  #获取具体对象（下载）的权限
               ],
              "Resource" : [
                  "arn:aws:s3:::tulingmall"  #只针对tulingmall这个桶
               ]
            },{
              "Effect" : "Allow" , #允许
              "Action" : [
                  "s3:*"  #所有的行为都被允许
               ],
              "Resource" : [
                  "arn:aws:s3:::tulingmall/*" #只针对tulingmall这个桶和此桶的所有子桶
               ]
            }
        ]
        }

      2. 第二步：将tulingmall.json添加到策略数据库
        # 添加新的策略
        # 这里定义一个“tulingmall-admin”角色，并指定采用的策略
        mc admin policy add minio-server tulingmall-admin /root/tulingmall.json
        # 查看策略信息时，会多出一个策略
        mc admin policy list minio-server          
        分布式文件存储系统Minio，tuling，fox_第17张图片
      3. 第三步： 给新建的用户添加绑定新的策略（添加某些权限）
        mc admin user add minio-server fox03 12345678
        # 设置用户的访问策略
        mc admin policy set minio-server tulingmall-admin user = fox03 分布式文件存储系统Minio，tuling，fox_第18张图片
      4. 第四步：验证
        1. 测试： fox03/12345678 登录 minio 控制台 http://192.168.3.14:50000/ ，只能操作（上传文件、下载文件等等） tulingmall 的 bucket（桶，即文件夹）
      5. 附：行为列表
        "Action": [
           "s3:GetBucketLocation",
           "s3:ListBucket",
           "s3:GetObject",
           "s3:PutObject",
           "s3:DeleteObject"
        ]

四 Minio客户端（minio client）使用

  1. 概述
    1. minio client提供了一套的类似于linux的命令，非常方便，如mc ls、mc mb等：
      ls 列出文件和文件夹（桶）。
      mb 创建一个存储桶或一个文件夹。
      cat 显示文件和对象内容。
      pipe 将一个 STDIN 重定向到一个对象或者文件或者 STDOUT 。
      share 生成用于共享的 URL 。
      cp 拷贝文件和对象。
      mirror 给存储桶和文件夹做镜像。
      find 基于参数查找文件。
      diff 对两个文件夹或者存储桶比较差异。
      rm 删除具体的一个文件和对象。
      events 管理对象通知。
      watch 监视文件和对象的事件。
      policy 管理访问策略。
      config 管理 mc 配置文件。客户端与服务端通信，客户端得指定服务器(minio server）所在的IP+端口吧。
      update 检查软件更新。
      version 输出版本信息。
  2. 业务
    1. Minio客户端（MC）怎么去操作Minio呢?
  3. 详细步骤：英文官网文档：MINIO CLIENT目录下
    1. 第一步：查看Minio客户端的命令：linux 》cmd 》mc：分布式文件存储系统Minio，tuling，fox_第19张图片
      1. 通过cp、ls、mb等等这些命令，完成：使用Minio客户端创建一个桶、删除一个桶等等的minio操作。
    2. 第二步：部署客户端
      wget http://dl.minio.org.cn/client/mc/release/linux-amd64/mc
      chmod + x mc
      ./mc --help
      mv mc /usr/local/sbin/
      注：为了方便使用mc+...命令，不用每次都要到mc所在的目录，我们可以把下载下来的可执行文件复制到sbin目录下。同理，windows的话把可把下载下来可执行文件（mc.exe）复制到system32下。
    3. 第三步：配置mc
      mc 将所有的配置信息都存储在 ~/.mc/config.json 文件中：
      # 查询mc host配置（mc config可用命令参数列表）
      mc config host ls
      # 添加 minio 服务，即给MC连接一哪台minio server上
      mc config host add minio-server http://192.168.32.133:9000 admin 12345678
      # 删除host， “minio-server”为服务器的名称
      mc config host remove minio-server
    4. 第四步：mc命令使用 分布式文件存储系统Minio，tuling，fox_第20张图片

      1. mc coinfig

      2. mc config host ls 分布式文件存储系统Minio，tuling，fox_第21张图片
      3. 连接某个minio服务器，查看里面的某些目录的文件信息：
        1. ls tuling-minio：带上host（minio server的名称）
        2. ls tuling-minio/springcloud：查看tuling-minio服务器中springcloud的文件信息
      4. 查看某个minio服务器的桶（目录）信息：
        1. 添加minio server到mc中，并取一个名称
        2. mc ls 服务器名称
    5. 第五步：演示上传、下载 ，并在控制台验证
      1. 第1步：添加minio server到mc中（mc连接上minio server），并取一个名称
      2. 第2步：
        # linux/windows minion server：查询minio 服务上的所有 buckets( 文件和文件夹 )
        mc ls minio-server
         
        # linux minion server：下载文件到本地（linux本地文件夹）
        mc cp minio-server/tulingmall/fox/fox.jpg /tmp/
        # windows minion server：下载文件到本地（windows本地文件夹）
        mc cp minio-server/tulingmall/fox/fox.jpg D:/tmp/
         
        # 删除minio server中的文件
        mc rm minio-server/tulingmall/fox/fox.jpg
         
        #linux minion server：linux的本地的文件，上传到minio server ，其中tulingmall是桶（文件夹）
        mc cp zookeeper.out minio-server/tulingmall/
        #windows minion server：windows的本地的文件，上传到minio server，其中tulingmall是桶（文件夹）
        mc cp zookeeper.out minio-server/tulingmall/
        分布式文件存储系统Minio，tuling，fox_第22张图片
    6. 第六步：演示Bucket管理，并在控制台验证
      # 创建 bucket
      mc mb minio-server/bucket01
      # 删除 bucket
      mc rb minio-server/bucket02
      # bucket 不为空，可以强制删除 慎用
      mc rb --force minio-server/bucket01 分布式文件存储系统Minio，tuling，fox_第23张图片
      # 查询bucket03磁盘使用情况
      mc du minio-server                 查看总共用了多少
      mc du minio-server/bucket03 查看bucket03用了多少  分布式文件存储系统Minio，tuling，fox_第24张图片

五 Minio Java Client使用：查官网案例和api使用手册

  1. 概述
    1. MinIO Java Client（客户端） SDK 提供简单的 API 来访问minio服务端
    2. 官方 demo: https://github.com/minio/minio-java 分布式文件存储系统Minio，tuling，fox_第25张图片 
    3. 官方文档： https://docs.min.io/docs/java-client-api-reference.html
      英文官网 》MINIO SDKS 》Java Client Quickstart Guide（对java的支持）/ Java Client API Reference（API的具体用法（操作））
  2. 文件上传
    1. 第一步：引入依赖
               io.minio
               minio
      8.3.0
              
               me.tongfei
               progressbar 用于通信的依赖
               0.5.3
               com.squareup.okhttp3
               okhttp 用于通信的依赖
               4.8.1
    2. 第二步：连接上Minio Server（服务器），上传文件到具体的桶（文件夹）中分布式文件存储系统Minio，tuling，fox_第26张图片
      package com.atguigu.pojo;

import io.minio.BucketExistsArgs;
import io.minio.MakeBucketArgs;
import io.minio.MinioClient;
import io.minio.UploadObjectArgs;
import io.minio.errors.MinioException;
import java.io.IOException;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;

public class FileUploader {
    public static void main(String[] args)
            throws IOException, NoSuchAlgorithmException, InvalidKeyException {
        try {
             // Create a minioClient with the MinIO server playground, its access key and secret key.
             // 获取Minio Java client（客户端）对象
             MinioClient minioClient =
                     MinioClient.builder() //建造者模式
                                .endpoint("http://192.168.32.133:9000") //绑定地址
                                .credentials("admin", "12345678") //绑定用户名和密码
                                .build(); //建造
            // 创建bucket
            String bucketName = "tulingmall";
            boolean exists =
                    minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucketName).build());
            if (!exists) {
                // 判断bucket是否存在。如果不存在，创建一个bucket。
                minioClient.makeBucket(MakeBucketArgs.builder().bucket(bucketName).build());
            }
            // 上传一个对象（一个文件）
            minioClient.uploadObject(
                    UploadObjectArgs.builder()
                            .bucket(bucketName)
                            .object("tuling-mall-master.zip")//自定义对象的名称
                            .filename("F:\\mall\\tuling-mall-master.zip") //本地磁盘上，上传的对象（文件）路径+名称
                            .build());
            System.out.println("上传文件成功");
        } catch (MinioException e) {
            System.out.println("Error occurred: " + e);
            System.out.println("HTTP trace: " + e.httpTrace());
        }
    }
}
    3. 第三步：登录控制台，找到桶，查看文件
  3. 文件下载
    1. 第一步：引入依赖
    2. 第二步：连接上Minio Server（服务器），从具体的桶（文件夹）中下载对象（文件） 
      package com.atguigu.pojo;

import io.minio.DownloadObjectArgs;
import io.minio.MinioClient;

public class DownLoadDemo {
    public static void main(String[] args) {
        // Create a minioClient with the MinIO server playground, its access key and secret key.
        // 获取Minio Java client（客户端）对象
        MinioClient minioClient =
        MinioClient.builder()
                .endpoint("http://192.168.3.14:9000")
                .credentials("admin", "12345678")
                .build();
        // Download object given the bucket, object name and output file name
        try {
            minioClient.downloadObject(
                    DownloadObjectArgs.builder()
                            .bucket("tulingmall")  //桶的名称
                            .object("fox/fox.jpg") //桶（tulingmall） 》 子桶（fox） 》 对象（fox.jpg）
                            .filename("fox.jpg")   //下载到本地磁盘的路径与名称（可自定义对象名称）
                            .build());
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}
    3. 第三步：看到下载的文件
  4. Spring boot整合minio
    1. 业务需求：
      1. 上面例子的问题：我们都是通过api去操作的，而真正开发过程中我们创建的肯定是一个springboot的应用。而要想在springboot中去操作minio Server，关键点在于把“ 获取Minio Java client（客户端）对象 ”的这部分代码变成一个可重用的。最好的方法是，把“ Minio Java client（客户端）对象 ”交给spring容器去管理，后续我们可以直接使用它去调用api完成对服务端的操作。
      2. 可以对官网代码进一步封装，写出自己的一个Uitl.java工具类
      3. 官方并没有提供minio server和spingboot的整合包，需要我们自己去实现整合
    2. 原理
      1. 把MinioClient对象交给spring容器去管理：
        1. 方案1：自己写一个XxxConfigure.java的配置类。
        2. 方案2：可以自己写一个springboot-minio-starter的启动类（起步依赖），其中自己去实现一个自动配置类。自动配置类中配置minio的XxxFactory.java，XxxFactory.java生产的是自动配置类的实例。
      2. 备注：springboot无非就是对spring做进一步的封装，利用了自动配置类简化了许多的配置。
    3. 方案1：自己写一个XxxConfigure.java的配置类，用于构建MinioClient对象，并交给spring管理。
      1. 第一步：依赖 
        

    4.0.0
    
        org.springframework.boot
        spring-boot-starter-parent
        2.6.3
         
    
    com.atguigu
    mybatisplus_demo01
    0.0.1-SNAPSHOT
    mybatisplus_demo01
    Demo project for Spring Boot
    
        8
    
    
        
            org.springframework.boot
            spring-boot-starter
        
        
            io.minio
            minio
            8.3.0
        
        
            me.tongfei
            progressbar
            0.5.3
        
        
            com.squareup.okhttp3
            okhttp
            4.8.1
        
        
            org.springframework.boot
            spring-boot-starter-test
            test
        
        
            com.baomidou
            mybatis-plus-boot-starter
            3.5.1
        
        
            org.projectlombok
            lombok
            true
        
        
            mysql
            mysql-connector-java
            runtime
        
        
            org.springframework.boot
            spring-boot-starter-web
        
        
            commons-io
            commons-io
            2.6
        
        
            com.alibaba
            fastjson
            LATEST
        
        
            com.squareup.okhttp3
            okhttp
            4.8.1
        
    

    
        
            
                org.springframework.boot
                spring-boot-maven-plugin
            
            
            
                org.apache.maven.plugins
                maven-resources-plugin
                3.1.0
      2. 第二步：.yml：配置创建minio对象所需的3个参数： 
        minio:
  endpoint: http://192.168.32.133:9000
  accesskey: admin
  secretKey: 12345678
  bucketName: bucker03
      3. 第三步：MinioProperties.java：属性配置类 
        import lombok.Data;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.stereotype.Component;

@Data
@Component
@ConfigurationProperties(prefix = "minio")  //定义前缀
public class MinioProperties {
    private String endpoint;    //端点
    private String accessKey;   //用户名
    private String secretKey;   //密码
}
      4. 第四步：MinioConfig.java：minio配置类 
        package com.atguigu.springboot;

import io.minio.MinioClient;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class MinioConfig {
    @Autowired
    private MinioProperties minioProperties;
    @Bean
    public MinioClient minioClient(){
        //  构建MinioClient对象需要3个参数：
        //      第1步：这3个参数可以通过yml的方式配置在配置文件中。
        //      第2步：并且通过1个属性配置类来封装便于获取。
        MinioClient minioClient = MinioClient.builder()
                        .endpoint(minioProperties.getEndpoint())
                        .credentials(minioProperties.getAccessKey(), minioProperties.getSecretKey())
                        .build();
        return minioClient;
    }
}
      5. 第五步：MinioController.java：开放restful接口 
        package com.atguigu.springboot;
import com.alibaba.fastjson.JSON;
import io.minio.*;
import io.minio.messages.Item;
import lombok.extern.slf4j.Slf4j;
import org.apache.tomcat.util.http.fileupload.IOUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.*;
import org.springframework.web.multipart.MultipartFile;
import javax.servlet.http.HttpServletResponse;
import java.io.IOException;
import java.io.InputStream;
import java.net.URLEncoder;
import java.text.DecimalFormat;
import java.util.*;

@RestController
@Slf4j
public class MinioController {
    @Autowired
    private MinioClient minioClient;
    //  .yml（目录、文件夹）。因为中配置桶用户去做上传下载操作时，要把要操作的具体的桶传过来。
    @Value("${minio.bucketName}")
    private String bucketName;
    @GetMapping("/list")
    public void list() throws Exception {
        //获取bucket列表
        Iterable> myObjects = minioClient.listObjects(ListObjectsArgs.builder().bucket(bucketName).build());
        Iterator> iterator = myObjects.iterator();
        List items = new ArrayList<>();
        String format = "{'fileName':'%s','fileSize':'%s'}";//自定义输出格式
        //遍历所有的bucket
        while (iterator.hasNext()) {
            Item item = iterator.next().get();
            items.add(JSON.parse(String.format(format, item.objectName(), formatFileSize(item.size()))));
        }
        //return items;
        System.out.println(items.size());
    }
    @PostMapping("/upload")
    public void upload(@RequestParam(name = "file", required = false) MultipartFile[] file) {
        if (file == null || file.length == 0) {
            /*return Res.error("上传文件不能为空");*/
            System.out.println("上传文件不能为空");
        }else {
            //上传多个文件
            List orgfileNameList = new ArrayList<>(file.length);
            for (MultipartFile multipartFile : file) {
                String orgfileName = multipartFile.getOriginalFilename();
                orgfileNameList.add(orgfileName);
                try {
                    //文件上传
                    InputStream in = multipartFile.getInputStream();
                    minioClient.putObject(
                            PutObjectArgs.builder().bucket(bucketName).object(orgfileName).stream(
                                    in, multipartFile.getSize(), -1)
                                    .contentType(multipartFile.getContentType())
                                    .build());
                    in.close();
                } catch (Exception e) {
                    log.error(e.getMessage());
                    System.out.println("上传失败");
                    //return Res.error("上传失败");
                }
            }
            Map data = new HashMap();
            data.put("bucketName", bucketName);
            data.put("fileName", orgfileNameList);
            //return Res.ok("上传成功",data);
            System.out.println("上传成功");
        }
    }
    @RequestMapping("/download/{fileName}")
    public void download(HttpServletResponse response, @PathVariable("fileName") String fileName) {
        InputStream in = null;
        try {
            // 获取对象信息
            StatObjectResponse stat = minioClient.statObject(StatObjectArgs.builder().bucket(bucketName).object(fileName).build());
            response.setContentType(stat.contentType());
            response.setHeader("Content-Disposition", "attachment;filename=" + URLEncoder.encode(fileName, "UTF-8"));
            //文件下载
            //因为这里响应的是浏览器，所以返回的是一个流
            in = minioClient.getObject(
                    GetObjectArgs.builder()
                            .bucket(bucketName)
                            .object(fileName)
                            .build());
            IOUtils.copy(in, response.getOutputStream());
        } catch (Exception e) {
            log.error(e.getMessage());
        } finally {
            if (in != null) {
                try {
                    in.close();
                } catch (IOException e) {
                    log.error(e.getMessage());
                }
            }
        }
    }
    @DeleteMapping("/delete/{fileName}")
    public void delete(@PathVariable("fileName") String fileName) {
        try {
            minioClient.removeObject(RemoveObjectArgs.builder().bucket(bucketName).object(fileName).build());
        } catch (Exception e) {
            log.error(e.getMessage());
            //return Res.error("删除失败");
            System.out.println("删除失败");
        }
        //return Res.ok("删除成功",null);
        System.out.println("删除成功");
    }
    private static String formatFileSize(long fileS) {
        DecimalFormat df = new DecimalFormat("#.00");
        String fileSizeString = "";
        String wrongSize = "0B";
        if (fileS == 0) {
            return wrongSize;
        }
        if (fileS < 1024) {
            fileSizeString = df.format((double) fileS) + " B";
        } else if (fileS < 1048576) {
            fileSizeString = df.format((double) fileS / 1024) + " KB";
        } else if (fileS < 1073741824) {
            fileSizeString = df.format((double) fileS / 1048576) + " MB";
        } else {
            fileSizeString = df.format((double) fileS / 1073741824) + " GB";
        }
        return fileSizeString;
    }
}
  
         
      6. 第六步：测试 
          
           
           
        1. 列表
          2.  
           
        2. 上传
          3.  
           
        3. 下载
          4.  
           
        4. 删除
          5.  
          
        7.  
         
       
     
    
        六 Minio控制台使用详解（对应mc命令）
         
    
        分布式文件存储系统Minio，tuling，fox_第27张图片
         
    
         
    
   
  

                            
                        
                    
                    
                    
        
                    
                    
                    
        
                
                
        
                    
                
        
            
        
    
    
        
        
        你可能感兴趣的:(#,06,微服务架构,分布式,数据库)
        
        
        
            
        
                
          
                    
        • 微服务下功能权限与数据权限的设计与实现
                        nbsaas-boot
微服务java架构
                        
          在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
          
                    
          • 
                    
        • 腾讯云技术深度探索：构建高效云原生微服务架构
                        我的运维人生
云原生架构腾讯云运维开发技术共享
                        
          腾讯云技术深度探索：构建高效云原生微服务架构在当今快速发展的技术环境中，云原生技术已成为企业数字化转型的关键驱动力。腾讯云作为行业领先的云服务提供商，不断推出创新的产品和技术，助力企业构建高效、可扩展的云原生微服务架构。本文将深入探讨腾讯云在微服务领域的最新进展，并通过一个实际案例展示如何在腾讯云平台上构建云原生应用。腾讯云微服务架构概览腾讯云微服务架构基于云原生理念，旨在帮助企业快速实现应用的容
          
                    
          • 
                    
        • Google earth studio 简介
                        陟彼高冈yu
旅游
                        
          GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
          
                    
          • 
                    
        • 关于提高复杂业务逻辑代码可读性的思考
                        编程经验分享
开发经验java数据库开发语言
                        
          目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
          
                    
          • 
                    
        • SQL Server_查询某一数据库中的所有表的内容
                        qq_42772833
SQLServer数据库sqlserver
                        
          1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
          
                    
          • 
                    
        • 深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具
                        nseejrukjhad
数据库python
                        
          深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
          
                    
          • 
                    
        • GitHub上克隆项目
                        bigbig猩猩
github
                        
          从GitHub上克隆项目是一个简单且直接的过程，它允许你将远程仓库中的项目复制到你的本地计算机上，以便进行进一步的开发、测试或学习。以下是一个详细的步骤指南，帮助你从GitHub上克隆项目。一、准备工作1.安装Git在克隆GitHub项目之前，你需要在你的计算机上安装Git工具。Git是一个开源的分布式版本控制系统，用于跟踪和管理代码变更。你可以从Git的官方网站（https://git-scm.
          
                    
          • 
                    
        • MongoDB Oplog 窗口
                        喝醉酒的小白
MongoDB运维
                        
          在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
          
                    
          • 
                    
        • python os 环境变量
                        CV矿工
python开发语言numpy
                        
          环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
          
                    
          • 
                    
        • 01-Git初识
                        Meereen
Gitgit
                        
          01-Git初识概念：一个免费开源，分布式的代码版本控制系统，帮助开发团队维护代码作用：记录代码内容。切换代码版本，多人开发时高效合并代码内容如何学：个人本机使用：Git基础命令和概念多人共享使用：团队开发同一个项目的代码版本管理Git配置用户信息配置：用户名和邮箱，应用在每次提交代码版本时表明自己的身份命令：查看git版本号git-v配置用户名gitconfig--globaluser.name
          
                    
          • 
                    
        • 【PG】常见数据库、表属性设置
                        江无羡
数据库
                        
          PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
          
                    
          • 
                    
        • nosql数据库技术与应用知识点
                        皆过客，揽星河
NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
                        
          Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
          
                    
          • 
                    
        • insert into select 主键自增_mybatis拦截器实现主键自动生成
                        weixin_39521651
insertintoselect主键自增mybatisdelete返回值mybatisinsert返回主键mybatisinsert返回对象mybatisplusinsert返回主键mybatisplus插入生成id
                        
          前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
          
                    
          • 
                    
        • 2018-12-07
                        旅一06丁琪琪

                        
          旅管一班6组学号链接06丁琪琪16家国鑫26孟令慧30王思宁36温红丽46朱赵筱楠
          
                    
          • 
                    
        • #开始记日记#1235 胃口不好吃饺子
                        董克平日记

                        
          2020/06/24星期三北京吃个醋拌茄子消暑珠珠送了一个父亲节礼物，要我陪她一起去体检。这些年身上多了许多毛病，血压、血脂、血糖都需要吃药维持了，上一次体检知道血糖已经到了临界点，可是也没有予以重视，继续大吃大喝少锻炼，结果可想而知，现在是每一餐都离不开二甲双胍了。不过我还是不愿意去体检，总觉得体检没什么用，身体有毛病就去看医生，体检又不治病。我对体检的看法是“小病不用治，大病治不了”，通过体检
          
                    
          • 
                    
        • 关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解
                        秋刀prince
mysqlmysql数据库
                        
          提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
          
                    
          • 
                    
        • Kafka是如何保证数据的安全性、可靠性和分区的
                        喜欢猪猪
kafka分布式
                        
          Kafka作为一个高性能、可扩展的分布式流处理平台，通过多种机制来确保数据的安全性、可靠性和分区的有效管理。以下是关于Kafka如何保证数据安全性、可靠性和分区的详细解析：一、数据安全性SSL/TLS加密：Kafka支持SSL/TLS协议，通过配置SSL证书和密钥来加密数据传输，确保数据在传输过程中不会被窃取或篡改。这一机制有效防止了中间人攻击，保护了数据的安全性。SASL认证：Kafka支持多种
          
                    
          • 
                    
        • Java爬虫框架（一）--架构设计
                        狼图腾-狼之传说
java框架java任务html解析器存储电子商务
                        
          一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
          
                    
          • 
                    
        • MongoDB知识概括
                        GeorgeLin98
持久层mongodb
                        
          MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
          
                    
          • 
                    
        • 2023-06-19【感恩日记】第246篇
                        o泡沫o

                        
          思想日记：坚持下去，相信自己一定可以的【感恩日记】第246篇1.我真是太幸福啦！感恩孩子早起阅读，放学到学生之家完成作业，平安度过美好的一天。感恩！感恩！感恩！❤️2.我真是太幸福啦！感恩自己早起给孩子煮早餐，完成计划的工作，晚上学习。感恩！感恩！感恩！❤️3.我真是太幸福啦！感恩为我设计效果图的老师。感恩！感恩！感恩！❤️4.我真是太幸福啦！感恩父母养育了我，有妈的孩子真幸福。感恩！感恩！感恩！
          
                    
          • 
                    
        • Mongodb Error: queryTxt ETIMEOUT xxxx.wwwdz.mongodb.net
                        佛一脚
errorreactmongodb数据库
                        
          背景每天都能遇到奇怪的问题，做个记录，以便有缘人能得到帮助！换了一台电脑开发nextjs程序。需要连接mongodb数据，对数据进行增删改查。上一台电脑好好的程序，新电脑死活连不上mongodb数据库。同一套代码，没任何修改，搞得我怀疑人生了，打开浏览器进入mongodb官网毫无问题，也能进入线上系统查看数据，网络应该是没问题。于是我尝试了一下手机热点，这次代码能正常跑起来，连接数据库了！！！是不
          
                    
          • 
                    
        • 06选课支付模块之基于消息队列发送支付通知消息
                        echo 云清
学成在线javarabbitmq消息队列支付通知学成在线
                        
          消息队列发送支付通知消息需求分析订单服务作为通用服务，在订单支付成功后需要将支付结果异步通知给其他对接的微服务，微服务收到支付结果根据订单的类型去更新自己的业务数据技术方案使用消息队列进行异步通知需要保证消息的可靠性即生产端将消息成功通知到服务端：消息发送到交换机-->由交换机发送到队列-->消费者监听队列，收到消息进行处理，参考文章02-使用Docker安装RabbitMQ-CSDN博客生产者确
          
                    
          • 
                    
        • 淘陶居老袁藏品
                        东海堂

                        
          【造像艺术】文化遗产•汉地木造像的区域特征、古代精品造像欣赏。。。。。。（来源：蠢牛/颜旭茂）原创2016-06-12作者：作者：蠢牛（颜旭茂）木造像的地位一直挺尴尬的。国外大型博物馆的木造像基本都是宋元以前的，明代只藏极品。国内也就故宫、国博和上博有能力弄几尊宋木，山西省博貌似只有一尊顶级的明代菩萨能拿得出手，其他木雕大省的博物馆再怎么也应当展示些明清木雕吧，总比同时代那什么坛坛罐罐更有艺术性。
          
                    
          • 
                    
        • 入门MySQL——查询语法练习
                        K_un

                        
          前言：前面几篇文章为大家介绍了DML以及DDL语句的使用方法，本篇文章将主要讲述常用的查询语法。其实MySQL官网给出了多个示例数据库供大家实用查询，下面我们以最常用的员工示例数据库为准，详细介绍各自常用的查询语法。1.员工示例数据库导入官方文档员工示例数据库介绍及下载链接：https://dev.mysql.com/doc/employee/en/employees-installation.h
          
                    
          • 
                    
        • WebMagic：强大的Java爬虫框架解析与实战
                        Aaron_945
Javajava爬虫开发语言
                        
          文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
          
                    
          • 
                    
        • 博客网站制作教程
                        2401_85194651
javamaven
                        
          首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
          
                    
          • 
                    
        • ubuntu安装wordpress
                        lissettecarlr

                        
          1安装nginx网上安装方式很多，这就就直接用apt-get了apt-getinstallnginx不用启动啥，然后直接在浏览器里面输入IP:80就能看到nginx的主页了。如果修改了一些配置可以使用下列命令重启一下systemctlrestartnginx.service2安装mysql输入安装前也可以更新一下软件源，在安装过程中将会让你输入数据库的密码。sudoapt-getinstallmy
          
                    
          • 
                    
        • 深入浅出 -- 系统架构之负载均衡Nginx的性能优化
                        xiaoli8748_软件开发
系统架构系统架构负载均衡nginx
                        
          一、Nginx性能优化到这里文章的篇幅较长了，最后再来聊一下关于Nginx的性能优化，主要就简单说说收益最高的几个优化项，在这块就不再展开叙述了，毕竟影响性能都有多方面原因导致的，比如网络、服务器硬件、操作系统、后端服务、程序自身、数据库服务等，对于性能调优比较感兴趣的可以参考之前《JVM性能调优》中的调优思想。优化一：打开长连接配置通常Nginx作为代理服务，负责分发客户端的请求，那么建议开启H
          
                    
          • 
                    
        • 【RabbitMQ 项目】服务端：数据管理模块之绑定管理
                        月夜星辉雪
rabbitmq分布式
                        
          文章目录一.编写思路二.代码实践一.编写思路定义绑定信息类交换机名称队列名称绑定关键字：交换机的路由交换算法中会用到没有是否持久化的标志，因为绑定是否持久化取决于交换机和队列是否持久化，只有它们都持久化时绑定才需要持久化。绑定就好像一根绳子，两端连接着交换机和队列，当一方不存在，它就没有存在的必要了定义绑定持久化类构造函数：如果数据库文件不存在则创建，打开数据库，创建binding_table插入
          
                    
          • 
                    
        • 今天是总结
                        薛帅

                        
          今天来个最后一天的总结。为什么要学习写作技巧呢？就如同建房子，如果想要住的安全、舒服，我们要先打地基，建房子的框架，这样才能随意的装修。那么我们要怎么建好才能建好写作的地基呢？1走直路，少弯路01利他：能够给别人带来价值。02吸引：吸住读者的眼球。03打动：打动人心，引起共鸣。04说服：用数据说话。05刻意：通过有意识的训练。06修改：好的文章至上修改10遍。07模仿：10万+的文章必有成功的道理
          
                    
          • 
                                
        • mongodb3.03开启认证
                                    21jhf
mongodb
                                    
          下载了最新mongodb3.03版本，当使用--auth 参数命令行开启mongodb用户认证时遇到很多问题，现总结如下： 
（百度上搜到的基本都是老版本的，看到db.addUser的就是，请忽略） 
Windows下我做了一个bat文件，用来启动mongodb，命令行如下： 
mongod --dbpath db\data --port 27017 --directoryperdb --logp
          
                                
          • 
                                
        • 【Spark103】Task not serializable
                                    bit1129
Serializable
                                    
          Task not serializable是Spark开发过程最令人头疼的问题之一，这里记录下出现这个问题的两个实例，一个是自己遇到的，另一个是stackoverflow上看到。等有时间了再仔细探究出现Task not serialiazable的各种原因以及出现问题后如何快速定位问题的所在，至少目前阶段碰到此类问题，没有什么章法 
1. 
  
package spark.exampl
          
                                
          • 
                                
        • 你所熟知的 LRU(最近最少使用)
                                    dalan_123
java
                                    
          关于LRU这个名词在很多地方或听说，或使用，接下来看下lru缓存回收的实现 
1、大体的想法 
    a、查询出最近最晚使用的项 
    b、给最近的使用的项做标记 
通过使用链表就可以完成这两个操作，关于最近最少使用的项只需要返回链表的尾部；标记最近使用的项，只需要将该项移除并放置到头部，那么难点就出现 你如何能够快速在链表定位对应的该项？ 
这时候多
          
                                
          • 
                                
        • Javascript 跨域
                                    周凡杨
JavaScriptjsonp跨域cross-domain
                                    
            
                                 
          
                                
          • 
                                
        • linux下安装apache服务器
                                    g21121
apache
                                    
          安装apache  
下载windows版本apache，下载地址：http://httpd.apache.org/download.cgi 
   1.windows下安装apache   
Windows下安装apache比较简单，注意选择路径和端口即可，这里就不再赘述了。  2.linux下安装apache：  
下载之后上传到linux的相关目录，这里指定为/home/apach
          
                                
          • 
                                
        • FineReport的JS编辑框和URL地址栏语法简介
                                    老A不折腾
finereportweb报表报表软件语法总结
                                    
            JS编辑框： 
1.FineReport的js。 
作为一款BS产品，browser端的JavaScript是必不可少的。 
FineReport中的js是已经调用了finereport.js的。 
大家知道，预览报表时，报表servlet会将cpt模板转为html，在这个html的head头部中会引入FineReport的js，这个finereport.js中包含了许多内置的fun
          
                                
          • 
                                
        • 根据STATUS信息对MySQL进行优化
                                    墙头上一根草
status
                                    
          mysql  查看当前正在执行的操作，即正在执行的sql语句的方法为: 
     show processlist 命令 
  
mysql> show global status;可以列出MySQL服务器运行各种状态值，我个人较喜欢的用法是show status like '查询值%';一、慢查询mysql> show variab
          
                                
          • 
                                
        • 我的spring学习笔记7-Spring的Bean配置文件给Bean定义别名
                                    aijuans
Spring 3
                                    
          本文介绍如何给Spring的Bean配置文件的Bean定义别名？ 
 
原始的 
 
 
<bean id="business" class="onlyfun.caterpillar.device.Business">
    <property name="writer">
        <ref b
          
                                
          • 
                                
        • 高性能mysql 之 性能剖析
                                    annan211
性能mysqlmysql 性能剖析剖析
                                    
          

1 定义性能优化
  mysql服务器性能，此处定义为 响应时间。
  在解释性能优化之前，先来消除一个误解，很多人认为，性能优化就是降低cpu的利用率或者减少对资源的使用。
  这是一个陷阱。
  资源时用来消耗并用来工作的，所以有时候消耗更多的资源能够加快查询速度，保持cpu忙绿，这是必要的。很多时候发现
  编译进了新版本的InnoDB之后，cpu利用率上升的很厉害，这并不
          
                                
          • 
                                
        • 主外键和索引唯一性约束
                                    百合不是茶
索引唯一性约束主外键约束联机删除
                                    
          目标;第一步;创建两张表 用户表和文章表 
        第二步;发表文章 
  
  
  1,建表; 
    ---用户表 BlogUsers
    --userID唯一的
    --userName
    --pwd
    --sex
        

    create 
          
                                
          • 
                                
        • 线程的调度
                                    bijian1013
java多线程thread线程的调度java多线程
                                    
          1.       Java提供一个线程调度程序来监控程序中启动后进入可运行状态的所有线程。线程调度程序按照线程的优先级决定应调度哪些线程来执行。 
  
2.       多数线程的调度是抢占式的（即我想中断程序运行就中断，不需要和将被中断的程序协商） 
a) 
          
                                
          • 
                                
        • 查看日志常用命令
                                    bijian1013
linux命令unix
                                    
          一.日志查找方法，可以用通配符查某台主机上的所有服务器grep "关键字" /wls/applogs/custom-*/error.log 
  
二.查看日志常用命令1.grep '关键字' error.log：在error.log中搜索'关键字'2.grep -C10 '关键字' error.log：显示关键字前后10行记录3.grep '关键字' error.l
          
                                
          • 
                                
        • 【持久化框架MyBatis3一】MyBatis版HelloWorld
                                    bit1129
helloworld
                                    
          MyBatis这个系列的文章，主要参考《Java Persistence with MyBatis 3》。 
  样例数据 
本文以MySQL数据库为例，建立一个STUDENTS表，插入两条数据，然后进行单表的增删改查 
  
  
CREATE TABLE STUDENTS
(
stud_id int(11) NOT NULL AUTO_INCREMENT,

          
                                
          • 
                                
        • 【Hadoop十五】Hadoop Counter
                                    bit1129
hadoop
                                    
            
 1. 只有Map任务的Map Reduce Job  
	File System Counters
		FILE: Number of bytes read=3629530
		FILE: Number of bytes written=98312
		FILE: Number of read operations=0
		FILE: Number of lar
          
                                
          • 
                                
        • 解决Tomcat数据连接池无法释放
                                    ronin47
tomcat 连接池　优化
                                    
           
 近段时间，公司的检测中心报表系统(SMC)的开发人员时不时找到我，说用户老是出现无法登录的情况。前些日子因为手头上 有Jboss集群的测试工作，发现用户不能登录时，都是在Tomcat中将这个项目Reload一下就好了，不过只是治标而已，因为大概几个小时之后又会 再次出现无法登录的情况。 
  
今天上午，开发人员小毛又找到我，要我协助将这个问题根治一下，拖太久用户难保不投诉。 
简单分析了一
          
                                
          • 
                                
        • java-75-二叉树两结点的最低共同父结点
                                    bylijinnan
java
                                    
          
import java.util.LinkedList;
import java.util.List;

import ljn.help.*;
public class BTreeLowestParentOfTwoNodes {

	public static void main(String[] args) {
		/*
		 * node data is stored in
          
                                
          • 
                                
        • 行业垂直搜索引擎网页抓取项目
                                    carlwu
LuceneNutchHeritrixSolr
                                    
          公司有一个搜索引擎项目，希望各路高人有空来帮忙指导，谢谢！ 
这是详细需求： 
（1） 通过提供的网站地址(大概100-200个网站)，网页抓取程序能不断抓取网页和其它类型的文件（如Excel、PDF、Word、ppt及zip类型），并且程序能够根据事先提供的规则，过滤掉不相干的下载内容。 
（2） 程序能够搜索这些抓取的内容，并能对这些抓取文件按照油田名进行分类，然后放到服务器不同的目录中。 

          
                                
          • 
                                
        • [通讯与服务]在总带宽资源没有大幅增加之前,不适宜大幅度降低资费
                                    comsci
资源
                                    
           
 
      降低通讯服务资费，就意味着有更多的用户进入，就意味着通讯服务提供商要接待和服务更多的用户，在总体运维成本没有由于技术升级而大幅下降的情况下，这种降低资费的行为将导致每个用户的平均带宽不断下降，而享受到的服务质量也在下降，这对用户和服务商都是不利的。。。。。。。。 
 
 
    &nbs
          
                                
          • 
                                
        • Java时区转换及时间格式
                                    Cwind
java
                                    
          本文介绍Java API 中 Date, Calendar, TimeZone和DateFormat的使用，以及不同时区时间相互转化的方法和原理。 
  
问题描述： 
向处于不同时区的服务器发请求时需要考虑时区转换的问题。譬如，服务器位于东八区（北京时间，GMT+8:00），而身处东四区的用户想要查询当天的销售记录。则需把东四区的“今天”这个时间范围转换为服务器所在时区的时间范围。 

          
                                
          • 
                                
        • readonly,只读，不可用
                                    dashuaifu
jsjspdisablereadOnlyreadOnly
                                    
          readOnly 和 readonly 不同，在做js开发时一定要注意函数大小写和jsp黄线的警告！！！我就经历过这么一件事： 
使用readOnly在某些浏览器或同一浏览器不同版本有的可以实现“只读”功能，有的就不行，而且函数readOnly有黄线警告！！！就这样被折磨了不短时间！！！（期间使用过disable函数，但是发现disable函数之后后台接收不到前台的的数据！！！） 
  
          
                                
          • 
                                
        • LABjs、RequireJS、SeaJS 介绍
                                    dcj3sjt126com
jsWeb
                                    
          LABjs 的核心是 LAB（Loading and Blocking）：Loading 指异步并行加载，Blocking 是指同步等待执行。LABjs 通过优雅的语法（script 和 wait）实现了这两大特性，核心价值是性能优化。LABjs 是一个文件加载器。RequireJS 和 SeaJS 则是模块加载器，倡导的是一种模块化开发理念，核心价值是让 JavaScript 的模块化开发变得更
          
                                
          • 
                                
        • [应用结构]入口脚本
                                    dcj3sjt126com
PHPyii2
                                    
          入口脚本 
入口脚本是应用启动流程中的第一环，一个应用（不管是网页应用还是控制台应用）只有一个入口脚本。终端用户的请求通过入口脚本实例化应用并将将请求转发到应用。 
Web 应用的入口脚本必须放在终端用户能够访问的目录下，通常命名为 index.php，也可以使用 Web 服务器能定位到的其他名称。 
控制台应用的入口脚本一般在应用根目录下命名为 yii（后缀为.php），该文
          
                                
          • 
                                
        • haoop shell命令
                                    eksliang
hadoophadoop shell
                                    
           
 cat 
 chgrp 
 chmod 
 chown 
 copyFromLocal 
 copyToLocal 
 cp 
 du 
 dus 
 expunge 
 get 
 getmerge 
 ls 
 lsr 
 mkdir 
 movefromLocal 
 mv 
 put 
 rm 
 rmr 
 setrep 
 stat 
 tail 
 test 
 text 
 
          
                                
          • 
                                
        • MultiStateView不同的状态下显示不同的界面
                                    gundumw100
android
                                    
          只要将指定的view放在该控件里面，可以该view在不同的状态下显示不同的界面，这对ListView很有用，比如加载界面，空白界面，错误界面。而且这些见面由你指定布局，非常灵活。 
 
PS：ListView虽然可以设置一个EmptyView，但使用起来不方便，不灵活，有点累赘。 
 
 

<com.kennyc.view.MultiStateView xmlns:android=&qu
          
                                
          • 
                                
        • jQuery实现页面内锚点平滑跳转
                                    ini
JavaScripthtmljqueryhtml5css
                                    
          平时我们做导航滚动到内容都是通过锚点来做，刷的一下就直接跳到内容了，没有一丝的滚动效果，而且 url 链接最后会有“小尾巴”，就像#keleyi，今天我就介绍一款 jquery 做的滚动的特效，既可以设置滚动速度，又可以在 url 链接上没有“小尾巴”。 
  
效果体验：http://keleyi.com/keleyi/phtml/jqtexiao/37.htmHTML文件代码： 
&
          
                                
          • 
                                
        • kafka offset迁移
                                    kane_xie
kafka
                                    
          在早前的kafka版本中（0.8.0），offset是被存储在zookeeper中的。 
  
到当前版本（0.8.2）为止，kafka同时支持offset存储在zookeeper和offset manager（broker）中。 
  
从官方的说明来看，未来offset的zookeeper存储将会被弃用。因此现有的基于kafka的项目如果今后计划保持更新的话，可以考虑在合适
          
                                
          • 
                                
        • android > 搭建 cordova 环境
                                    mft8899
android
                                    
            
1 , 安装 node.js   
     http://nodejs.org 
     
node -v   查看版本 
  
2, 安装 npm 
  
可以先从  https://github.com/isaacs/npm/tags  下载 源码 解压到
          
                                
          • 
                                
        • java封装的比较器，比较是否全相同，获取不同字段名字
                                    qifeifei

                                    
           非常实用的java比较器，贴上代码： 
import java.util.HashSet;
import java.util.List;
import java.util.Set;

import net.sf.json.JSONArray;
import net.sf.json.JSONObject;
import net.sf.json.JsonConfig;

i
          
                                
          • 
                                
        • 记录一些函数用法
                                    .Aky.
位运算PHP数据库函数IP
                                    
          高手们照旧忽略。 
想弄个全天朝IP段数据库，找了个今天最新更新的国内所有运营商IP段，copy到文件，用文件函数，字符串函数把玩下。分割出startIp和endIp这样格式写入.txt文件，直接用phpmyadmin导入.csv文件的形式导入。（生命在于折腾，也许你们觉得我傻X，直接下载人家弄好的导入不就可以，做自己的菜鸟，让别人去说吧） 
 
当然用到了ip2long()函数把字符串转为整型数
          
                                
          • 
                                
        • sublime text 3 rust
                                    wudixiaotie
Sublime Text
                                    
          1.sublime text 3 => install package => Rust 
2.cd ~/.config/sublime-text-3/Packages 
3.mkdir rust 
4.git clone https://github.com/sp0/rust-style 
5.cd rust-style 
6.cargo build --release 
7.ctrl
          
                                
          •