成_7b38
成_7b38

Greenplum部署

Greenplum部署

【说明】：

此次部署，没有添加Standby节点，且环境为CentOS7,

主要安装部署内容为：

greenplum-db  版本   6.11.2-rhel7；

greenplum-cc-web 版本 6.3.1-gp6-rhel7-x86_64；

gpcopy  版本 2.3.1；

服务器一共有四台：

一台master，三台segment；

Ⅰ、禁用 SELinux 和防火墙软件

注意：四台服务器均要禁用

1.以root用户，查看SElinux的状态：

    #  sestatus

如果没有禁用，编辑源文件：/etc/selinux/config，添加SELINUX=disabled。

如果系统中安装有安全服务 Daemon （SSSD），就编辑SSSD配置文件，防止SElinux禁用也会出现于SELinux相关的SSH身份验证拒绝。在此文件中/etc/sssd/sssd.conf，添加selinux_provider=none。

重启系统，使之配置生效。

Ⅱ、以root用户，禁止防火墙

注意：四台服务器均要禁用

Ⅲ、配置hosts文件   /etc/hosts

注意：四台服务器均要配置

在hosts文件中配置主机名称：

        #001定为master节点

        10.x.x.xxx      master

        #002定为segment节点1

        10.x.x.xxx      segment1

        #003定为segment节点2

        10.x.x.xxx      segment2

        #003定为segment节点3

        10.x.x.xxx      segment3

Ⅳ、配置系统控制文件sysctl.conf  /etc/sysctl.conf

注意：四台服务器均要配置

1.kernel.shmall：表示可用共享内存的总量.公式kernel.shmall=(_PHYS_PAGES/2);

# echo $(expr $(getconf _PHYS_PAGES) / 2)

2.kernel.shmmax：表示单个共享内存段的最大值。公式kernel.shmmax = ( _PHYS_PAGES / 2) * PAGE_SIZE

# echo $(expr $(getconf _PHYS_PAGES) / 2 \* $(getconf PAGE_SIZE))

3.kernel.shmmni:表示单个共享内存段的最小值，一般为4kB，即4096bit，也可适当调大，一般为4096的2-3倍，默认4096。

       kernel.shmmni = 4096

4.kernel.sem:该文件用于控制内核信号量,信号量是System VIPC用于进程间通讯的方法。（第一列）*（第四列）=（第二列）

                #500：第一列,表示每个信号集中的最大信号量数目。

                #2048000：第二列,表示系统范围内的最大信号量总数目。

                #200：第三列,表示每个信号发生时的最大系统操作数目。

                #4096：第四列,表示系统范围内的最大信号集总数目。

        kernel.sem = 500 2048000 200 4096

5.kernel.sysrq:内核系统请求调试功能控制,0表示禁用,1表示启用

        kernel.sysrq = 1

6.kernel.core_uses_pid:多线程调试,0表示禁用,1表示启用

        kernel.core_uses_pid = 1

7.kernel.msgmnb:该文件指定一个消息队列的最大长度（bytes）。缺省设置：16384

        kernel.msgmnb = 65536

8.kernel.msgmax:文件指定了从一个进程发送到另一个进程的消息的最大长度bytes.进程间的消息传递是在内核的内存中进行的,不会交换到磁盘上,所以如果增加该值,则将增加操作系统所使用的内存数量.缺省设置：8192

        kernel.msgmax = 65536

9.kernel.msgmni:该文件指定消息队列标识的最大数目，即系统范围内最大多少个消息队列

        kernel.msgmni = 2048

10.net.ipv4.ip_local_port_range:禁用 numa, 或者在vmlinux中禁止，指定端口范围的一个配置,默认是32768 61000，可调整为1025 65535或40000 65535。使用集群配置文件初始化 Greenplum 时，不要指定该范围内的格林普卢姆数据库端口对于带有格林普卢姆数据库的 Azure 部署，避免使用端口 65330

        net.ipv4.ip_local_port_range = 10000 65535

11.net.ipv4.tcp_syncookies:表示开启SYN Cookies,当SYN等待队列溢出时,启用cookies来处理,可以防范少量的SYN攻击,默认为0,表示关闭。1表示启用

        net.ipv4.tcp_syncookies = 1

12.net.ipv4.conf.default.accept_source_route:是否允许源地址经过路由。0:禁止 1:打开 缺省设置:0

        net.ipv4.conf.default.accept_source_route = 0

13.net.ipv4.tcp_max_syn_backlog:增加TCP SYN队列长度，使系统可以处理更多的并发连接。一般为4096，可以调大，必须是4096的倍数，建议是2-3倍

        net.ipv4.tcp_max_syn_backlog = 4096

14.net.ipv4.conf.all.arp_filter:表示控制具体应该由哪块网卡来回应arp包,缺省设置0, 建议设置为1

        net.ipv4.conf.all.arp_filter = 1

15.net.core.netdev_max_backlog:进入包的最大设备队列.默认是1000,对重负载服务器而言,该值太低,可调整到16384/32768/65535

        net.core.netdev_max_backlog = 10000

16.net.core.rmem_max:最大socket读buffer,可参考的优化值:1746400/3492800/6985600

        net.core.rmem_max = 2097152

17.net.core.wmem_max:最大socket写buffer,可参考的优化值:1746400/3492800/6985600

        net.core.wmem_max = 2097152

18.vm.overcommit_memory:三种策略0:启发式，1:任何overcommit都会被接受。2:当系统分配的内存超过swap+N%*物理RAM(N%由vm.overcommit_ratio决定)时，会拒绝commit，一般设置为2

        vm.overcommit_memory = 2

19.vm.overcommit_ratio:当overcommit_memory=2,可以过载内存的百分比,通过以下公式来计算系统整体可用内存.系统可分配内存=交换空间+物理内存*overcommit_ratio/100 缺省设置：50（%）。要计算基于资源队列的资源管理处于活动状态时的安全值，首先使用此公式确定 Greenplum 数据库进程可用的总内存:gp_vmem_rq = ((SWAP + RAM) – (7.5GB + 0.05 * RAM)) / 1.7。主机上的交换空间位于GB中的位置，并且主机上安装的 GB RAM 数。当基于资源队列的资源管理处于活动状态时，请使用此公式计算值:vm.overcommit_ratio = (RAM - 0.026 * gp_vmem_rq) / RAM

     #select (60 - 0.026*(((0 + 60) - (7.5 + 0.05 * 60)) / 1.7))/60 = 0.9873823529411764705

      vm.overcommit_ratio = 95

【注：此处我的服务器计算出来的值是98，也可以按照95配置】

20.vm.swappiness:控制换出运行时内存的相对权重，值越大，表示越积极使用swap分区，越小表示越积极使用物理内存。默认值swappiness=60，表示内存使用率超过100-60=40%时开始使用交换分区。swappiness=0的时候表示最大限度使用物理内存，然后才是 swap空间；swappiness＝100的时候表示积极使用swap分区，并把内存上的数据及时搬运到swap空间。

      vm.swappiness = 10

21.vm.zone_reclaim_mode:

        #echo 0 > /proc/sys/vm/zone_reclaim_mode：意味着关闭zone_reclaim模式，可以从其他zone或NUMA节点回收内存。

        #echo 1 > /proc/sys/vm/zone_reclaim_mode：表示打开zone_reclaim模式，这样内存回收只会发生在本地节点内。

         #echo 2 > /proc/sys/vm/zone_reclaim_mode：在本地回收内存时，可以将cache中的脏数据写回硬盘，以回收内存。

         #echo 4 > /proc/sys/vm/zone_reclaim_mode：可以用swap方式回收内存。

      vm.zone_reclaim_mode = 0

22.vm.dirty_expire_centisecs:系统脏页到达这个值，系统后台刷脏页调度进程 pdflush（或其他） 自动将(dirty_expire_centisecs/100）秒前的脏页刷到磁盘

       vm.dirty_expire_centisecs = 500

23.vm.dirty_writeback_centisecs:有效防止用户进程刷脏页，在单机多实例，并且使用CGROUP限制单实例IOPS的情况下非常有效。

      vm.dirty_writeback_centisecs = 100

24.#/****************************脏数据参数配置****************************/

   1.此次的主机内存小于64GB，因此按照官方文档部署时，建议删除vm.dirty_background_bytes;vm.dirty_bytes;设置vm.dirty_background_ratio;vm.dirty_ratio参数即可。

    2.vm.dirty_background_ratio:这个参数指定了当文件系统缓存脏页数量达到系统内存百分之多少时（如5%）就会触发pdflush/flush/kdmflush等后台回写进程运行，将一定缓存的脏页异步地刷入外存；

      vm.dirty_background_ratio = 3 

    3.vm.dirty_ratio是绝对的脏数据限制，内存里的脏数据百分比不能超过这个值。如果脏数据超过这个数量，新的IO请求将会被阻挡，直到脏数据被写进磁盘。这是造成IO卡顿的重要原因，但这也是保证内存中不会存在过量脏数据的保护机制.

      vm.dirty_ratio = 10

    4.vm.dirty_background_bytes和vm.dirty_bytes是指定这些参数的另一种方法。如果设置_bytes版本，则_ratio版本将变为0，反之亦然。

    #vm.dirty_background_bytes = 1610612736

    #vm.dirty_bytes = 4294967296

     vm.min_free_kbytes = 1911695

#/****************************脏数据参数配置****************************/

【注】：以上参数都需要在sysctl.conf文件中配置。

#/***安装GP新增***/

kernel.shmall = 7965395

kernel.shmmax = 32626257920

kernel.shmmni = 4096

vm.overcommit_memory = 2

vm.overcommit_ratio = 95

net.ipv4.ip_local_port_range = 10000 65535

kernel.sem = 500 2048000 200 4096

kernel.sysrq = 1

kernel.core_uses_pid = 1

kernel.msgmnb = 65536

kernel.msgmax = 65536

kernel.msgmni = 2048

net.ipv4.tcp_syncookies = 1

net.ipv4.conf.default.accept_source_route = 0

net.ipv4.tcp_max_syn_backlog = 4096

net.ipv4.conf.all.arp_filter = 1

net.core.netdev_max_backlog = 10000

net.core.rmem_max = 2097152

net.core.wmem_max = 2097152

vm.swappiness = 10

vm.zone_reclaim_mode = 0

vm.dirty_expire_centisecs = 500

vm.dirty_writeback_centisecs = 100

vm.dirty_background_ratio = 3

vm.dirty_ratio = 10

vm.min_free_kbytes = 1911695

配置完成之后，刷新一下配置文件，使之生效。

# sysctl -p

Ⅴ、系统物理内存设置

注意：四台服务器均要配置

1.增加vm.min_free_kbytes 以确保PF_MEMALLOC 网络和存储驱动程序的要求很容易得到满足。这对具有大量系统内存的系统尤其重要。在这些系统上，默认值通常太低。使用此awk命令设置为系统物理内存的推荐3%：

# awk 'BEGIN {OFMT = "%.0f";} /MemTotal/ {print "vm.min_free_kbytes =", $2 * .03;}' /proc/meminfo >> /etc/sysctl.conf

Ⅵ、系统资源限制

注意：四台服务器均要配置

1.在文件中设置以下参数：/etc/security/limits.conf

#soft 指的是当前系统生效的设置值（警告）；hard 表明系统中所能设定的最大值（错误）

#soft nofile：当前系统一个进程最多能打开的的文件数

    * soft nofile 524288

#hard nofile：系统中所能设定的一个进程最多能打开的的文件数

    * hard nofile 524288

#soft nproc：当前系统一个用户最多能创建的进程数

    * soft nproc 131072

#hard nproc：系统中所能设定的一个用户最多能创建的进程数

    * hard nproc 131072

Ⅶ、磁盘 I/O 设置

注意：四台服务器均要配置

#.blockdev:磁盘设备超值，需要设定磁盘超值为16383

       1.执行/sbin/blockdev --getra /dev/vda1，检查当前磁盘的超值：8192 ，其中vda1是本主机磁盘

        2.执行/sbin/blockdev --setra 16384 /dev/vda1,设定当前磁盘超值为 16384

        3.可以/sbin/blockdev --setra 16384 /dev/vda1直接把此命令添加在文件 /etc/rc.d/rc.local中，且需要赋于执行权限给rc.local文件         

  # /sbin/blockdev --setra 16384 /dev/vda1

#.elevator

      1.用于磁盘访问的 Linux 磁盘 I/O 调度器支持不同的策略,建议使用调度器选项。要指定调度器，直到下一个系统重新启动，运行以下：deadline

       2.echo deadline > /sys/block/vda/queue/scheduler

       3.在启动时间设置 I/O 调度器策略的一种方法是内核参数。将参数添加到文件中的内核命令（GRUB 引导加载器配置文件）中

# grubby --update-kernel=ALL --args="elevator=deadline"

/******************对比配置参数前后变化***********************/

[root@nicetuan-bigdata-gp-test-001 queue]# grubby --info=ALL

        index=0

        kernel=/boot/vmlinuz-3.10.0-862.14.4.el7.x86_64

        args="ro crashkernel=auto  noibrs  idle=halt net.ifnames=0 console=tty0 console=ttyS0,115200n8"

        root=UUID=b98386f1-e6a8-44e3-9ce1-a50e59d9a170

        initrd=/boot/initramfs-3.10.0-862.14.4.el7.x86_64.img

        title=CentOS Linux (3.10.0-862.14.4.el7.x86_64) 7 (Core)

        index=1

        kernel=/boot/vmlinuz-3.10.0-862.el7.x86_64

        args="ro crashkernel=auto  noibrs  idle=halt net.ifnames=0 console=tty0 console=ttyS0,115200n8"

        root=UUID=b98386f1-e6a8-44e3-9ce1-a50e59d9a170

        initrd=/boot/initramfs-3.10.0-862.el7.x86_64.img

        title=CentOS Linux (3.10.0-862.el7.x86_64) 7 (Core)

        index=2

        kernel=/boot/vmlinuz-0-rescue-20181129113200424400422638950048

        args="ro crashkernel=auto  noibrs  idle=halt net.ifnames=0 console=tty0 console=ttyS0,115200n8"

        root=UUID=b98386f1-e6a8-44e3-9ce1-a50e59d9a170

        initrd=/boot/initramfs-0-rescue-20181129113200424400422638950048.img

        title=CentOS Linux (0-rescue-20181129113200424400422638950048) 7 (Core)

        index=3

        non linux entry

    [root@nicetuan-bigdata-gp-test-001 queue]# ^C

--之后

    [root@nicetuan-bigdata-gp-test-001 queue]# grubby --info=ALL

        index=0

        kernel=/boot/vmlinuz-3.10.0-862.14.4.el7.x86_64

        args="ro crashkernel=auto  noibrs  idle=halt net.ifnames=0 console=tty0 console=ttyS0,115200n8 elevator=deadline"

        root=UUID=b98386f1-e6a8-44e3-9ce1-a50e59d9a170

        initrd=/boot/initramfs-3.10.0-862.14.4.el7.x86_64.img

        title=CentOS Linux (3.10.0-862.14.4.el7.x86_64) 7 (Core)

        index=1

        kernel=/boot/vmlinuz-3.10.0-862.el7.x86_64

        args="ro crashkernel=auto  noibrs  idle=halt net.ifnames=0 console=tty0 console=ttyS0,115200n8 elevator=deadline"

        root=UUID=b98386f1-e6a8-44e3-9ce1-a50e59d9a170

        initrd=/boot/initramfs-3.10.0-862.el7.x86_64.img

        title=CentOS Linux (3.10.0-862.el7.x86_64) 7 (Core)

        index=2

        kernel=/boot/vmlinuz-0-rescue-20181129113200424400422638950048

        args="ro crashkernel=auto  noibrs  idle=halt net.ifnames=0 console=tty0 console=ttyS0,115200n8 elevator=deadline"

        root=UUID=b98386f1-e6a8-44e3-9ce1-a50e59d9a170

        initrd=/boot/initramfs-0-rescue-20181129113200424400422638950048.img

        title=CentOS Linux (0-rescue-20181129113200424400422638950048) 7 (Core)

        index=3

        non linux entry

    [root@nicetuan-bigdata-gp-test-001 queue]# ^C

Ⅷ、透明大页面 （THP）

注意：四台服务器均要配置

    1.禁用透明大页面 （THP），因为它会降低格林普卢姆数据库的性能。

     2.RHEL 6.0 或更高，默认情况下支持 THP。在 RHEL 6.x 上禁用 THP 的一种方法是将参数添加到文件中的内核命令（GRUB 引导加载器配置文件）中。

     3.在使用 RHEL 7.x 或 CentOS 7.x 等系统时，使用系统实用程序。此命令在以根运行时添加参数。

# grubby --update-kernel=ALL --args="transparent_hugepage=never"

/******************对比配置参数前后变化***********************/

[root@nicetuan-bigdata-gp-test-001 queue]# grubby --info=ALL

        index=0

        kernel=/boot/vmlinuz-3.10.0-862.14.4.el7.x86_64

        args="ro crashkernel=auto  noibrs  idle=halt net.ifnames=0 console=tty0 console=ttyS0,115200n8"

        root=UUID=b98386f1-e6a8-44e3-9ce1-a50e59d9a170

        initrd=/boot/initramfs-3.10.0-862.14.4.el7.x86_64.img

        title=CentOS Linux (3.10.0-862.14.4.el7.x86_64) 7 (Core)

        index=1

        kernel=/boot/vmlinuz-3.10.0-862.el7.x86_64

        args="ro crashkernel=auto  noibrs  idle=halt net.ifnames=0 console=tty0 console=ttyS0,115200n8"

        root=UUID=b98386f1-e6a8-44e3-9ce1-a50e59d9a170

        initrd=/boot/initramfs-3.10.0-862.el7.x86_64.img

        title=CentOS Linux (3.10.0-862.el7.x86_64) 7 (Core)

        index=2

        kernel=/boot/vmlinuz-0-rescue-20181129113200424400422638950048

        args="ro crashkernel=auto  noibrs  idle=halt net.ifnames=0 console=tty0 console=ttyS0,115200n8"

        root=UUID=b98386f1-e6a8-44e3-9ce1-a50e59d9a170

        initrd=/boot/initramfs-0-rescue-20181129113200424400422638950048.img

        title=CentOS Linux (0-rescue-20181129113200424400422638950048) 7 (Core)

        index=3

        non linux entry

    [root@nicetuan-bigdata-gp-test-001 queue]# ^C

--之后

    [root@nicetuan-bigdata-gp-test-001 queue]# grubby --info=ALL

        index=0

        kernel=/boot/vmlinuz-3.10.0-862.14.4.el7.x86_64

        args="ro crashkernel=auto  noibrs  idle=halt net.ifnames=0 console=tty0 console=ttyS0,115200n8 transparent_hugepage=never"

        root=UUID=b98386f1-e6a8-44e3-9ce1-a50e59d9a170

        initrd=/boot/initramfs-3.10.0-862.14.4.el7.x86_64.img

        title=CentOS Linux (3.10.0-862.14.4.el7.x86_64) 7 (Core)

        index=1

        kernel=/boot/vmlinuz-3.10.0-862.el7.x86_64

        args="ro crashkernel=auto  noibrs  idle=halt net.ifnames=0 console=tty0 console=ttyS0,115200n8 transparent_hugepage=never"

        root=UUID=b98386f1-e6a8-44e3-9ce1-a50e59d9a170

        initrd=/boot/initramfs-3.10.0-862.el7.x86_64.img

        title=CentOS Linux (3.10.0-862.el7.x86_64) 7 (Core)

        index=2

        kernel=/boot/vmlinuz-0-rescue-20181129113200424400422638950048

        args="ro crashkernel=auto  noibrs  idle=halt net.ifnames=0 console=tty0 console=ttyS0,115200n8 transparent_hugepage=never"

        root=UUID=b98386f1-e6a8-44e3-9ce1-a50e59d9a170

        initrd=/boot/initramfs-0-rescue-20181129113200424400422638950048.img

        title=CentOS Linux (0-rescue-20181129113200424400422638950048) 7 (Core)

        index=3

        non linux entry

    [root@nicetuan-bigdata-gp-test-001 queue]# ^C

4、查看是否禁用

# cat /sys/kernel/mm/transparent_hugepage/enabled

Ⅸ、IPC对象删除

注意：四台服务器均要配置

1.RHEL 7.2 或 CentOS 7.2 或乌本图的禁用 IPC 对象去除。当非系统用户帐户注销时，默认设置会删除 IPC 连接。

2.这会导致格林普卢姆数据库实用程序因信号错误而失败。执行以下一项以避免此问题。默认值是RemoveIPC=yes

3..找到配置文件 /etc/systemd/logind.conf 并关闭RemoveIPC

     RemoveIPC=no

4.重启使其生效

   #  service systemd-logind restart

Ⅹ、SSH连接阈值

注意：四台服务器均要配置

    1.增加Greenplum数据库系统的此连接阈值 /etc/ssh/sshd_config

      MaxStartups 200

      MaxSessions 200

     刷新配置，使之生效

      # service sshd restart

如果命令不更新 RHEL 7.x 或 CentOS 7.x 系统内核，则可以手动更新系统上的所有内核。例如，将参数添加到系统上的所有内核。

以root运行命令以更新内核。grub2-mkconfig

    # grub2-mkconfig -o /boot/grub2/grub.cfg

运行结果如下：

[root@nicetuan-bigdata-gp-test-001 default]# grub2-mkconfig -o /boot/grub2/grub.cfg

  Generating grub configuration file ...

  Found linux image: /boot/vmlinuz-3.10.0-862.14.4.el7.x86_64

  Found initrd image: /boot/initramfs-3.10.0-862.14.4.el7.x86_64.img

  Found linux image: /boot/vmlinuz-3.10.0-862.el7.x86_64

  Found initrd image: /boot/initramfs-3.10.0-862.el7.x86_64.img

  Found linux image: /boot/vmlinuz-0-rescue-20181129113200424400422638950048

  Found initrd image: /boot/initramfs-0-rescue-20181129113200424400422638950048.img

  done

[root@nicetuan-bigdata-gp-test-001 default]#

  /******************对比配置参数前后变化***********************/

    #之前

    [root@nicetuan-bigdata-gp-test-001 default]# cat grub

    GRUB_TIMEOUT=1

    GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"

    GRUB_DEFAULT=saved

    GRUB_DISABLE_SUBMENU=true

    GRUB_TERMINAL_OUTPUT="console"

    GRUB_CMDLINE_LINUX="crashkernel=auto  noibrs idle=halt net.ifnames=0 console=tty0 console=ttyS0,115200n8"

    GRUB_DISABLE_RECOVERY="true"

[root@nicetuan-bigdata-gp-test-001 default]#

#之后

GRUB_TIMEOUT=5

    GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"

    GRUB_DEFAULT=saved

    GRUB_DISABLE_SUBMENU=true

    GRUB_TERMINAL_OUTPUT="console"

    GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=cl/root rd.lvm.lv=cl/swap rhgb quiet transparent_hugepage=never"

    GRUB_DISABLE_RECOVERY="true"

XI、创建GP用户

注意：四台服务器上均要创建

在每个节点上都会创建一个专用的操作系统账户，以及运行管理账户，一般默认创建管理员账户为：【gpadmin】。此用户有运行，安装，的所有服务和目录的权限。

1.创建组和用户：gpadmin

# groupadd gpadmin

# useradd gpadmin -r -m -g gpadmin

# passwd gpadmin

New password:

Retype new password:

2.切换root与用户之间免密配置 /etc/sudoers

gpadmin ALL=(ALL) NOPASSWD: ALL

【注：为方便执行gp的一些命令，在切换用户时可以免密执行】

3.授予gpadmin数控权限

  确保取消注释包含 NOPASSWD 关键字的行。使用此命令将 gpadmin 用户添加到 wheel 组中。

# usermod -aG wheel gpadmin

4.SSH公钥密码验证开启

 root用户下，修改配置文件 /etc/ssh/sshd_config

PubkeyAuthentication yes

PasswordAuthentication yes

每个 Greenplum 主机上的用户必须安装 SSH 密钥对，并且能够在不输入密码或密码短语（称为"无密码 SSH"）的情况下，从集群中的任何主机到集群中的任何其他主机进行 SSH。如果启用无密码 SSH 从主主机到集群中的其他主机（"1-n 无密码 SSH"），再使无密码 SSH 从每个主机到其他主机（"n - n无密码 SSH"）

①、切换用户至gpadmin

# su gpadmin

②、在master主机上生成ssh密钥

$ ssh-keygen -t rsa -b 4096

XII、安装greenplum-db

注意：四台服务器上均要安装

官网下载地址：Download VMware Tanzu™ Greenplum® — VMware Tanzu Network

1.下载上传安装包到目录 

   此目录自己定义：本次部署放在/home/appsoft/下

2.在gpadmin用户下使用 sudo（或直接用root用户）下安装GP

$ sudo yum install /home/appsoft/greenplum-db-6.11.2-rhel7-x86_64.rpm

3.将已安装文件的所有者和组更改为：gpadmin

$ sudo chown -R gpadmin:gpadmin /usr/local/greenplum*

$ sudo chgrp -R gpadmin /usr/local/greenplum*

4.环境变量配置

   在gpadmin用户配置环境变量

①、~/.bash_profile中添加greenplum_path.sh

source /usr/local/greenplum-db/greenplum_path.sh

②、~/.bashrc中添加访问gp参数

source /usr/local/greenplum-db/greenplum_path.sh

export MASTER_DATA_DIRECTORY=/data/master/gpseg-1

export PGPORT=5432

export PGUSER=gpadmin

export PGDATABASE=default_login_database_name

#使用 RHEL 7 或 CentOS 7，请将以下行添加到文件的末尾，以便在环境中启用命令：.bashrcp greenplum_path.sh

export LD_PRELOAD=/lib64/libz.so.1 ps

5.添加用户的公钥

  使用gpadmin用户，将之前在master主机上生成ssh密钥添加到集群中所有其他主机上的 SSH 文件中。 

①、配置1-n无密码SSH。

$ ssh-copy-id -i /home/gpadmin/.ssh/id_rsa.pub gpadmin@segment1

$ ssh-copy-id -i /home/gpadmin/.ssh/id_rsa.pub gpadmin@segment2

$ ssh-copy-id -i /home/gpadmin/.ssh/id_rsa.pub gpadmin@segment3

添加完成后验证是 1-n 的ssh免密

$ ssh 'gpadmin@segment1'

$ ssh 'gpadmin@segment2'

$ ssh 'gpadmin@segment3'

②、配置1-n无密码SSH。

 #.在gpadmin用户下创建一个hostfile_exkeys的文件，添加segment1,segment2,segment3节点IP。

$ vim hostfile_exkeys

#.配置n-n 

gpssh-exkeys -f hostfile_exkeys

输出结果：

[STEP 1 of 5] create local ID and authorize on local host

  ... /home/gpadmin/.ssh/id_rsa file exists ... key generation skipped

[STEP 2 of 5] keyscan all hosts and update known_hosts file

[STEP 3 of 5] retrieving credentials from remote hosts

  ... send to nicetuan-bigdata-gp-test-002

  ... send to nicetuan-bigdata-gp-test-003

  ... send to nicetuan-bigdata-gp-test-004

[STEP 4 of 5] determine common authentication file content

[STEP 5 of 5] copy authentication files to all remote hosts

  ... finished key exchange with nicetuan-bigdata-gp-test-002

  ... finished key exchange with nicetuan-bigdata-gp-test-003

  ... finished key exchange with nicetuan-bigdata-gp-test-004

[INFO] completed successfully

[gpadmin@nicetuan-bigdata-gp-test-001 ~]$ ssh 'nicetuan-bigdata-gp-test-002'

Last login: Wed Jul  7 18:48:18 2021 from 10.2.4.245

Welcome to Alibaba Cloud Elastic Compute Service !

[gpadmin@nicetuan-bigdata-gp-test-002 ~]$ exit

logout

Connection to nicetuan-bigdata-gp-test-002 closed.

XIII、创建数据存储区域

主机上的数据目录位置与细分市场上的数据目录位置不同。主机不存储任何用户数据，仅将系统目录表和系统元数据存储在主实例上，因此您不需要指定与细分市场相同的存储空间。

1、创建数据存储目录

方法一、使用root用户在master上创建主数据存储目录

①、在root用户下创建主数据存储的目录

# mkdir -p /data/master

②、变更目录权限给gpadmin

# chown gpadmin:gpadmin /data/master

方法二、使用root用户，gpssh 创建数据存储目录

# source /usr/local/greenplum-db/greenplum_path.sh

# gpssh -h smdw -e 'mkdir -p /data/master'

# gpssh -h smdw -e 'chown gpadmin:gpadmin /data/master'

2、在segment节点上同步master节点所创建的主数据与镜像数据目录

①、在gpadmin用户下创建一个hostfile_gpssh_segonly的文件，添加segment1,segment2,segment3节点IP。

vim hostfile_gpssh_segonly

②、使用root用户，创建primary、mirror文件

# source /usr/local/greenplum-db/greenplum_path.sh

# gpssh -f hostfile_gpssh_segonly -e 'mkdir -p /data/primary'

# gpssh -f hostfile_gpssh_segonly -e 'mkdir -p /data/mirror'

# gpssh -f hostfile_gpssh_segonly -e 'chown -R gpadmin /data/*'

验证系统-- 运行磁盘和流测试

1、创建验证脚本：gpcheckperf-test.sh

#!bin/bash

echo "--------------start--------------"

a=`date +"%Y-%m-%d %H:%M:%S"`

echo $a

gpcheckperf -f /home/gpadmin/all_hosts_file -r ds -D -d /data/primary -d /data/mirror -v

echo "--------------end--------------"

b=`date +"%Y-%m-%d %H:%M:%S"`

echo $b

2、 gpcheckperf  参数详解

-B block_size

指定用于磁盘I/O测试的块大小（以KB或MB为单位）。缺省值是32KB，与Greenplum数据库页面大小相同。最大块大小是1 MB。

-d test_directory

对于磁盘I/O测试，指定要测试的文件系统目录位置。用户必须具有对性能测试中涉及的所有主机上测试目录的写入权限。用户可以多次使用-d选项指定多个测试目录（例如，测试主数据目录和镜像数据目录的磁盘I/O）。

-d temp_directory

对于网络和流测试，指定单个目录，测试程序文件在测试期间将被复制到该目录。用户必须具有对测试中涉及的所有主机上该目录的写入权限。

-D （显示每台主机的结果）

报告每个主机的磁盘I/O测试的性能结果。缺省情况下，仅报告具有最低和最高性能的主机的结果，以及所有主机的总体和平均性能。

--duration time

以秒（s）、分钟（m）、小时（h）或天数（d）指定网络测试的持续时间。默认值是15秒。

-f hostfile_gpcheckperf

对于磁盘I/O和流测试，请指定一个包含将参与性能测试的主机名的文件名称。主机名是必需的，用户可以选择指定每个主机的后补用户名和/或SSH端口号。主机文件的语法是每行一台主机，如下所示：

[username@]hostname[:ssh_port]

-f hostfile_gpchecknet

对于网络性能测试，主机文件中的所有项都必须是同一子网内的主机地址。如果用户的Segment主机在不同子网上配置有多个网络接口，请为每个子网运行一次网络测试。例如（包含互连子网1的Segment主机地址名的主机文件）：

sdw1-1

sdw2-1

sdw3-1

-h hostname

指定将参与性能测试的单个主机名（或主机地址）。用户可以多次使用-h选项来指定多个主机名。

--netperf

指定应该用netperf二进制文件来执行网络测试，而不是Greenplum网络测试。要使用此选项，用户必须从http://www.netperf.org下载netperf并且安装到所有Greenplum主机（Master和Segment）的$GPHOME/bin/lib目录中。

-r ds{n|N|M}

指定要运行的性能测试，默认是 dsn：

磁盘I/O测试（d）

流测试（s）

网络性能测试，串行（n）、并行（N）或全矩阵（M）模式。可选的--duration 选项指定了运行网络测试的时间（以秒为单位）。要使用并行（N）模式，用户必须在偶数台主机上运行测试。

如果用户宁愿使用netperf（http://www.netperf.org）而不是Greenplum网络测试，用户必须下载它并安装到所有Greenplum主机（Master和Segment）的$GPHOME/bin/lib目录中。然后，用户可以指定可选的--netperf选项来使用netperf二进制文件而不是默认的gpnetbench*工具。

-S file_size

指定用于-d所指定的所有目录的磁盘I/O测试的总文件尺寸。file_size应该等于主机上总RAM的两倍。如果未指定，则默认值是在执行gpcheckperf的主机上的总RAM的两倍，这确保了测试是真正地测试磁盘I/O而不是使用内存缓存。用户可以以KB、MB或GB为单位指定尺寸。

-v （详细模式）| -V （非常详细模式）

详细（Verbose）模式显示性能测试运行时的进度和状态信息。非常详细（Very Verbose）模式显示该工具生成的所有输出消息。

--version

显示该工具的版本

-? （帮助）

显示在线帮助

XIV、初始化数据库

初始化数据库的要求：

①、确保完成系统配置，GP的安装，环境变量的配置

②、创建主机文件hosts

③、数据库系统配置文件

④、时区以及本地化设置

1.登录gpadmin用户，并加载greepplum_path.sh文件

$ su - gpadmin

$ source /usr/local/greenplum-db/greenplum_path.sh

2.创建初始化主机文件

$ vim hostfile_gpinitsystem

3.配置文件 gpinitsystem_config

①、复制文件，放在gpadmin用户下

$ cp $GPHOME/docs/cli_help/gpconfigs/gpinitsystem_config \

    /home/gpadmin/gpconfigs/gpinitsystem_config

②、编辑文件gpinitsystem_config添加配置

ARRAY_NAME="Greenplum Data Platform"

SEG_PREFIX=gpseg

PORT_BASE=6000

declare -a DATA_DIRECTORY=(/data1/primary /data1/primary /data1/primary /data2/primary /data2/primary /data2/primary)

MASTER_HOSTNAME=master

MASTER_DIRECTORY=/data/master

MASTER_PORT=5432

TRUSTED SHELL=ssh

CHECK_POINT_SEGMENTS=8

ENCODING=UNICODE

③、配置镜像(可选)

MIRROR_PORT_BASE=7000

declare -a MIRROR_DATA_DIRECTORY=(/data1/mirror /data1/mirror /data1/mirror /data2/mirror /data2/mirror /data2/mirror)

4、运行初始化

$ cd ~

$ gpinitsystem -c gpinitsystem_config -h hostfile_gpinitsystem

你可能感兴趣的:(Greenplum部署)

  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • swagger访问路径 igotyback swagger
    Swagger2.x版本访问地址：http://{ip}:{port}/{context-path}/swagger-ui.html{ip}是你的服务器IP地址。{port}是你的应用服务端口，通常为8080。{context-path}是你的应用上下文路径，如果应用部署在根路径下，则为空。Swagger3.x版本对于Swagger3.x版本（也称为OpenAPI3）访问地址：http://{ip
  • 使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器） 编程经验分享 开发工具服务器sshlinux
    目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
  • 在一台Ubuntu计算机上构建Hyperledger Fabric网络 落叶无声9 区块链超级账本Hyperledgerfabric区块链ubuntu构建hyperledgerfabric
    在一台Ubuntu计算机上构建HyperledgerFabric网络Hyperledgerfabric是一个开源的区块链应用程序平台，为开发基于区块链的应用程序提供了一个起点。当我们提到HyperledgerFabric网络时，我们指的是使用HyperledgerFabric的正在运行的系统。即使只使用最少数量的组件，部署Fabric网络也不是一件容易的事。Fabric社区创建了一个名为Cello
  • git - Webhook让部署自动化 大猪大猪
    我们现在有一个需求，将项目打包上传到gitlab或者github后，程序能自动部署，不用手动地去服务器中进行项目更新并运行，如何做到？这里我们可以使用gitlab与github的挂钩，挂钩的原理就是，每当我们有请求到gitlab与github服务器时，这时他俩会根据我们配置的挂钩地扯进行访问，webhook挂钩程序会一直监听着某个端口请求，一但收到他们发过来的请求，这时就知道用户有请求提交了，这时
  • Python 实现图片裁剪（附代码） | Python工具 剑客阿良_ALiang
    前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
  • 【六】阿伟开始搭建Kafka学习环境 能源恒观 中间件学习kafkaspring
    阿伟开始搭建Kafka学习环境概述上一篇文章阿伟学习了Kafka的核心概念，并且把市面上流行的消息中间件特性进行了梳理和对比，方便大家在学习过程中进行对比学习，最后梳理了一些Kafka使用中经常遇到的Kafka难题以及解决思路，经过上一篇的学习我相信大家对Kafka有了初步的认识，本篇将继续学习Kafka。一、安装和配置学习一项技术首先要搭建一套服务，而Kafka的运行主要需要部署jdk、zook
  • openssl+keepalived安装部署 _小亦_ 项目部署keepalivedopenssl
    文章目录OpenSSL安装下载地址编译安装修改系统配置版本Keepalived安装下载地址安装遇到问题安装完成配置文件keepalived运行检查运行状态查看系统日志修改服务service重新加载systemd检查配置文件语法错误OpenSSL安装下载地址考虑到后面设备可能没法连接到外网，所以采用安装包的方式进行部署，下载地址：https://www.openssl.org/source/old/
  • MongoDB知识概括 GeorgeLin98 持久层mongodb
    MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
  • 笋丁网页自动回复机器人V3.0.0免授权版源码 希希分享 软希网58soho_cn源码资源笋丁网页自动回复机器人
    笋丁网页机器人一款可设置自动回复，默认消息，调用自定义api接口的网页机器人。此程序后端语言使用Golang，内存占用最高不超过30MB，1H1G服务器流畅运行。仅支持Linux服务器部署，不支持虚拟主机，请悉知！使用自定义api功能需要有一定的建站基础。源码下载：https://download.csdn.net/download/m0_66047725/89754250更多资源下载：关注我。安
  • 进销存小程序源码 PHP网络版ERP进销存管理系统 全开源可二开 摸鱼小号 php
    可直接源码搭建部署发布后使用：一、功能模块介绍该系统模板主要有进，销，存三个主要模板功能组成，下面将介绍各模块所对应的功能；进：需要将产品采购入库，自动生成采购明细台账同时关联财务生成付款账单；销：是指对客户的销售订单记录，汇总生成产品销售明细及回款计划；存：库存的日常盘点与统计，库存下限预警、出入库台账、库存位置等。1.进购管理采购订单：采购下单审批→由上级审批通过采购入库；采购入库：货品到货>
  • 计算机毕业设计PHP仓储综合管理系统（源码+程序+VUE+lw+部署） java毕设程序源码王哥 php课程设计vue.js
    该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：phpStudy+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue+Express。项目技术：原生PHP++Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是小皮phpstudy最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
  • 微信小程序开发注意事项 jun778895 微信小程序小程序
    微信小程序开发是一个融合了前端开发、用户体验设计、后端服务（可选）以及微信小程序平台特性的综合性项目。这里，我将详细介绍一个典型的小程序开发项目的全过程，包括项目规划、设计、开发、测试及部署上线等各个环节，并尽量使内容达到或超过2000字的要求。一、项目规划1.1项目背景与目标假设我们要开发一个名为“智慧校园助手”的微信小程序，旨在为学生提供一站式校园生活服务，包括课程表查询、图书馆座位预约、食堂
  • Ubuntu18.04 Docker部署Kinship(Django)项目过程 Dante617
    1Docker的安装https://blog.csdn.net/weixin_41735055/article/details/1003551792下载镜像dockerpullprogramize/python3.6.8-dlib下载的镜像里包含python3.6.8和dlib19.17.03启动镜像dockerrun-it--namekinship-p7777:80-p3307:3306-p55
  • 98_es生产集群部署之针对集群重启时的shard恢复耗时过长问题定制的重要参数 小山居
    98_es生产集群部署之针对集群重启时的shard恢复耗时过长问题定制的重要参数shardrecovery配置以及集群重启时的无意义shard重分配问题在集群重启的时候，有一些配置会影响shard恢复的过程。首先，我们需要理解默认配置下，shard恢复过程会发生什么事情。如果我们有10个node，每个node都有一个shard，可能是primaryshard或者replicashard，你有一个i
  • ansible的安装、使用 ytym00
    简介高度模块化，调用特定的模块，完成特定的任务，基于Yaml，来完成批量任务的模板化，来支持playbook。基于Python语言实现，主要使用Paramiko、PyYAML和JinJa2三个关键模块，部署简单(agentless)，主从模式，支持自定义模块，支持playbook，幂等性：允许重复执行N次，没有变化时，只会执行第一次。特点：1、Configuration(cfengine,chef
  • 《Mesh 组网和 AC+AP 组网的优缺点》 jiyiwangluokeji 网络工程网络
    Mesh组网和AC+AP组网的优缺点。Mesh组网的优点：1.部署灵活：节点之间可以通过无线方式连接，新增节点比较方便，无需事先规划布线。2.自我修复和优化：如果某个节点出现故障，网络可以自动重新路由数据，保证网络的稳定性。3.覆盖范围广：可以通过添加节点轻松扩展覆盖区域。4.设备选型多样：市面上有多种不同品牌和型号的Mesh路由器可供选择。Mesh组网的缺点：1.无线回程可能存在性能瓶颈：如果节
  • Kubernetes部署MySQL数据持久化 沫殇-MS KubernetesMySQL数据库kubernetesmysql容器
    一、安装配置NFS服务端1、安装nfs-kernel-server：sudoapt-yinstallnfs-kernel-server2、服务端创建共享目录#列出所有可用块设备的信息lsblk#格式化磁盘sudomkfs-text4/dev/sdb#创建一个目录：sudomkdir-p/data/nfs/mysql#更改目录权限：sudochown-Rnobody:nogroup/data/nfs
  • Nginx从入门到实践(三) 听你讲故事啊
    动静分离动静分离是将网站静态资源（JavaScript，CSS，img等文件）与后台应用分开部署，提高用户访问静态代码的速度，降低对后台应用访问。动静分离的一种做法是将静态资源部署在nginx上，后台项目部署到应用服务器上，根据一定规则静态资源的请求全部请求nginx服务器，达到动静分离的目标。rewrite规则Rewrite规则常见正则表达式Rewrite主要的功能就是实现URL的重写，Ngin
  • python之pyecharts制作可视化数据大屏 cesske 大数据
    文章目录前言一、安装Pyecharts二、创建Pyecharts图表三、设计大屏布局四、实时数据更新五、部署和展示总结前言使用Pyecharts制作可视化数据大屏是一个复杂但有趣的过程，因为Pyecharts本身是一个用于生成Echarts图表的Python库，而Echarts是由百度开发的一个开源可视化库，支持丰富的图表类型和高度自定义。然而，Pyecharts本身并不直接提供“大屏”的解决方案
  • 用kubedam搭建的k8s证书过期处理方法 我滴鬼鬼呀wks k8s1024程序员节
    kubeadm部署的k8s证书过期1、查看证书过期时间kubeadmalphacertscheck-expiration若证书已经过期无法试用kubectl命令建议修改服务器时间到未过期的时间段2、配置kube-controller-manager.yaml文件cat/etc/kubernetes/manifests/kube-controller-manager.yamlapiVersion:v
  • Gobelieve 架构 weixin_34099526 数据库golangjson
    Gobelievegithub地址声明:转简书JackieF的文章,为了自己方便copy了一份,加一些自己的东西.链接：https://www.jianshu.com/p/8121d6e85282IMCore主要分三大块:im客户连接服务器（可分布式部署，暂无负载均衡模块)imr路由查询服务器（主要解决im分布式部署的问题）ims存储服务器(主从部署)基础模块1.数据包协议包：header(12)
  • Cut, Paste and Learn方法解读 wangxinwei2000 深度学习人工智能
    Abstract问题背景：标注数据的缺乏：在实例检测任务中，部署物体检测模型的一个主要障碍是缺乏大量标注数据。例如，在一个特定的厨房环境中找到包含实例的大型标注数据集是不太可能的。每当面对新的环境和新的物体实例时，都需要进行昂贵的数据收集和标注工作。研究贡献：解决方法：本文提出了一种简单的方法，可以以最小的努力生成大量标注的实例数据集。关键洞察：研究者的关键洞察是，仅仅确保“局部真实感”（patc
  • 学习宣传贯彻党的二十大精神 担当起新时代的历史使命 机械迷城
    习近平总书记在党的二十大报告中强调：“全党同志务必不忘初心、牢记使命，务必谦虚谨慎、艰苦奋斗，务必敢于斗争、善于斗争，坚定历史自信，增强历史主动，谱写新时代中国特色社会主义更加绚丽的华章。”我们要始终沿着习近平总书记和党中央指引的方向奋勇前行，确保二十大的部署、党中央的要求、总书记的嘱托落地生根、结出硕果，用新的伟大奋斗创造新的伟业。在这次的报告中，习近平总书记再次强调，江山就是人民，人民就是江山
  • 阿里云国际 CDN 和低延迟全球云解决方案 九河云 阿里云网络服务器安全
    延迟与隐藏程度成反比。C数据存在，并且连接已建立，但在接收客户端请求响应和显示用户请求的内容时存在明显延迟。将数据从源移动到目标时，会出现即时丢失。延迟是数据发送器和数据接收器之间的时间差。此外，当通过云响应用户查询时，这种延迟会被放大。有多种因素会导致满足用户请求的潜在延迟。想象一下，您在美国数据中心部署了服务，并且您的用户遍布全球。在此拓扑中，来自美国的用户将能够以正常（如果不是很好）的性能使
  • 推动党史学习教育常态化长效化贵在知行合一 Mxz
    中共中央办公厅近日印发《关于推动党史学习教育常态化长效化的意见》（以下简称《意见》），就推动党史学习教育常态化长效化提出了六个方面要求、作出重大部署。这是贯彻落实党中央指示精神、不断巩固拓展党史学习教育成果的重要举措，必将为更加坚定自觉地牢记初心使命、在新的赶考之路上考出好成绩注入强大精神动能。在全党开展党史学习教育，是以习近平同志为核心的党中央立足百年党史新起点、着眼开创事业发展新局面作出的一项
  • 第十八单元自动化持续集成 胖虎大魔王
    一、概念互联网软件的开发和发布，已经形成了一套标准流程，最重要的组成部分就是持续集成（简称CI）。1、持续集成（采蜜）持续集成：频繁的将代码集成到主干。好处：1）、快速发现错误2）、防止分支大幅偏离主干。2、持续交付持续交付：频繁的将软件的新版本，交给测试，代码通过后，代码就进入生产阶段。3.持续部署持续部署：代码通过评审以后，主动部署到生产环境。目标：代码在任何时刻都是可部署的，可以进入生产阶段
  • HTTPS 安全最佳实践（一）之SSLTLS部署 SHENHUANJIE HTTPSSSLTLS
    SSL/TLS是一种简单易懂的技术，它很容易部署及运行。但想要部署的安全通常是不容易的。这也使系统管理员和开发者不得不去了解SSL和TLS相关的技术，掌握如何配置一个安全的web服务器或应用。无疑会耗费很大的精力去看相关的技术文档，乏味且宽泛。受理SSL数字证书客户问题，包括产品咨询、技术支持、投诉受理、建议反馈，以及购买帮助等。1证书和私钥在TLS中，所有的安全性都从服务器的密码标识开始；需要一
  • Halo 开发者指南——容器私有化部署 SHENHUANJIE DockerHalo华为云SWRRegistry
    华为云SWR私有化部署镜像构建dockerbuild-thalo-dev/halo:2.20.0.上传镜像镜像标签sudodockertag{镜像名称}:{版本名称}swr.cn-south-1.myhuaweicloud.com/{组织名称}/{镜像名称}:{版本名称}sudodockertaghalo-dev/halo:2.20.0swr.cn-south-1.myhuaweicloud.co
  • 华为云分布式缓存服务DCS与开源服务差异对比 hcinfo_18 redis使用华为云Redis5.0分布式缓存服务Redis客户端
    分布式缓存服务DCS提供单机、主备、集群等丰富的实例类型，满足用户高读写性能及快速数据访问的业务诉求。支持丰富的实例管理操作，帮助用户省去运维烦恼。用户可以聚焦于业务逻辑本身，而无需过多考虑部署、监控、扩容、安全、故障恢复等方面的问题。DCS基于开源Redis、Memcached向用户提供一定程度定制化的缓存服务，因此，除了拥有开源服务缓存数据库的优秀特性，DCS提供更多实用功能。一、与开源Red
  • SQL的各种连接查询 xieke90 UNION ALLUNION外连接内连接JOIN
    一、内连接   概念：内连接就是使用比较运算符根据每个表共有的列的值匹配两个表中的行。                 内连接（join 或者inner join ）       SQL语法：       select * fron
  • java编程思想--复用类 百合不是茶 java继承代理组合final类
          复用类看着标题都不知道是什么,再加上java编程思想翻译的比价难懂,所以知道现在才看这本软件界的奇书   一:组合语法:就是将对象的引用放到新类中即可     代码:     package com.wj.reuse; /** * * @author Administrator 组
  • [开源与生态系统]国产CPU的生态系统 comsci cpu
          计算机要从娃娃抓起...而孩子最喜欢玩游戏....       要让国产CPU在国内市场形成自己的生态系统和产业链,国家和企业就不能够忘记游戏这个非常关键的环节....       投入一些资金和资源,人力和政策,让游
  • JVM内存区域划分Eden Space、Survivor Space、Tenured Gen，Perm Gen解释 商人shang jvm内存
    jvm区域总体分两类，heap区和非heap区。heap区又分：Eden Space（伊甸园）、Survivor Space(幸存者区)、Tenured Gen（老年代-养老区）。 非heap区又分：Code Cache(代码缓存区)、Perm Gen（永久代）、Jvm Stack(java虚拟机栈)、Local Method Statck(本地方法栈)。 HotSpot虚拟机GC算法采用分代收
  • 页面上调用 QQ oloz qq
    <A href="tencent://message/?uin=707321921&amp;Site=有事Q我&amp;Menu=yes">   <img style="border:0px;" src=http://wpa.qq.com/pa?p=1:707321921:1></a>
  • 一些问题 文强chu 问题
    1.eclipse 导出 doc  出现“The Javadoc command does not exist.” javadoc command 选择 jdk/bin/javadoc.exe 2.tomcate 配置 web 项目 ..... SQL:3.mysql  * 必须得放前面 否则  select&nbs
  • 生活没有安全感 小桔子 生活孤独安全感
           圈子好小，身边朋友没几个，交心的更是少之又少。在深圳，除了男朋友，没几个亲密的人。不知不觉男朋友成了唯一的依靠，毫不夸张的说，业余生活的全部。现在感情好，也很幸福的。但是说不准难免人心会变嘛，不发生什么大家都乐融融，发生什么很难处理。我想说如果不幸被分手(无论原因如何)，生活难免变化很大，在深圳，我没交心的朋友。明
  • php 基础语法 aichenglong php 基本语法
    1 .1 php变量必须以$开头 <?php $a=” b”; echo ?> 1 .2 php基本数据库类型 Integer  float/double Boolean string 1 .3 复合数据类型 数组array和对象 object 1 .4 特殊数据类型  null 资源类型(resource)    $co
  • mybatis tools 配置详解 AILIKES mybatis
    MyBatis Generator中文文档 MyBatis Generator中文文档地址： http://generator.sturgeon.mopaas.com/ 该中文文档由于尽可能和原文内容一致，所以有些地方如果不熟悉，看中文版的文档的也会有一定的障碍，所以本章根据该中文文档以及实际应用，使用通俗的语言来讲解详细的配置。 本文使用Markdown进行编辑，但是博客显示效
  • 继承与多态的探讨 百合不是茶 JAVA面向对象 继承 对象
    继承 extends   多态 继承是面向对象最经常使用的特征之一：继承语法是通过继承发、基类的域和方法 //继承就是从现有的类中生成一个新的类，这个新类拥有现有类的所有extends是使用继承的关键字：     在A类中定义属性和方法； class A{ //定义属性 int age； //定义方法 public void go
  • JS的undefined与null的实例 bijian1013 JavaScriptJavaScript
    <form name="theform" id="theform"> </form> <script language="javascript"> var a alert(typeof(b)); //这里提示undefined if(theform.datas
  • TDD实践（一） bijian1013 java敏捷TDD
    一.TDD概述         TDD：测试驱动开发，它的基本思想就是在开发功能代码之前，先编写测试代码。也就是说在明确要开发某个功能后，首先思考如何对这个功能进行测试，并完成测试代码的编写，然后编写相关的代码满足这些测试用例。然后循环进行添加其他功能，直到完全部功能的开发。     
  • [Maven学习笔记十]Maven Profile与资源文件过滤器 bit1129 maven
    什么是Maven Profile Maven Profile的含义是针对编译打包环境和编译打包目的配置定制，可以在不同的环境上选择相应的配置，例如DB信息，可以根据是为开发环境编译打包，还是为生产环境编译打包，动态的选择正确的DB配置信息   Profile的激活机制 1.Profile可以手工激活，比如在Intellij Idea的Maven Project视图中可以选择一个P
  • 【Hive八】Hive用户自定义生成表函数(UDTF) bit1129 hive
    1. 什么是UDTF   UDTF，是User Defined Table-Generating Functions，一眼看上去，貌似是用户自定义生成表函数，这个生成表不应该理解为生成了一个HQL Table， 貌似更应该理解为生成了类似关系表的二维行数据集   2. 如何实现UDTF 继承org.apache.hadoop.hive.ql.udf.generic
  • tfs restful api 加auth 2.0认计 ronin47
    　　目前思考如何给tfs的ngx-tfs api增加安全性。有如下两点： 　　一是基于客户端的ip设置。这个比较容易实现。 　　二是基于OAuth2.0认证，这个需要lua，实现起来相对于一来说，有些难度。 　　现在重点介绍第二种方法实现思路。 　　 前言：我们使用Nginx的Lua中间件建立了OAuth2认证和授权层。如果你也有此打算，阅读下面的文档，实现自动化并获得收益。SeatGe
  • jdk环境变量配置 byalias javajdk
    进行java开发，首先要安装jdk，安装了jdk后还要进行环境变量配置： 1、下载jdk（http://java.sun.com/javase/downloads/index.jsp），我下载的版本是：jdk-7u79-windows-x64.exe 2、安装jdk-7u79-windows-x64.exe 3、配置环境变量：右击"计算机"-->&quo
  • 《代码大全》表驱动法-Table Driven Approach-2 bylijinnan java
    package com.ljn.base; import java.io.BufferedReader; import java.io.FileInputStream; import java.io.InputStreamReader; import java.util.ArrayList; import java.util.Collections; import java.uti
  • SQL 数值四舍五入 小数点后保留2位 chicony 四舍五入
    1.round() 函数是四舍五入用，第一个参数是我们要被操作的数据，第二个参数是设置我们四舍五入之后小数点后显示几位。 2.numeric 函数的2个参数，第一个表示数据长度，第二个参数表示小数点后位数。 例如： 　　select   cast(round(12.5,2)   as   numeric(5,2))  
  • c++运算符重载 CrazyMizzz C++
    一、加+，减-，乘*，除/ 的运算符重载 Rational operator*(const Rational &x) const{ return Rational(x.a * this->a); } 在这里只写乘法的，加减除的写法类似 二、<<输出,>>输入的运算符重载      &nb
  • hive DDL语法汇总 daizj hive修改列DDL修改表
    hive DDL语法汇总 １、对表重命名 hive> ALTER TABLE table_name RENAME TO new_table_name;   2、修改表备注 hive> ALTER TABLE table_name SET TBLPROPERTIES ('comment' = new_comm
  • jbox使用说明 dcj3sjt126com Web
    参考网址：http://www.kudystudio.com/jbox/jbox-demo.html jBox v2.3 beta [ 点击下载]  技术交流QQGroup：172543951 100521167 [2011-11-11] jBox v2.3 正式版 - [调整&修复] IE6下有iframe或页面有active、applet控件
  • UISegmentedControl 开发笔记 dcj3sjt126com
      //    typedef NS_ENUM(NSInteger, UISegmentedControlStyle) {     //        UISegmentedControlStylePlain,     // large plain   &
  • Slick生成表映射文件 ekian scala
    Scala添加SLICK进行数据库操作，需在sbt文件上添加slick-codegen包 "com.typesafe.slick" %% "slick-codegen" % slickVersion 因为我是连接SQL Server数据库，还需添加slick-extensions，jtds包 "com.typesa
  • ES-TEST gengzg test
    package com.MarkNum; import java.io.IOException; import java.util.Date; import java.util.HashMap; import java.util.Map; import javax.servlet.ServletException; import javax.servlet.annotation
  • 为何外键不再推荐使用 hugh.wang mysqlDB
    表的关联，是一种逻辑关系，并不需要进行物理上的“硬关联”，而且你所期望的关联，其实只是其数据上存在一定的联系而已，而这种联系实际上是在设计之初就定义好的固有逻辑。 在业务代码中实现的时候，只要按照设计之初的这种固有关联逻辑来处理数据即可，并不需要在数据库层面进行“硬关联”，因为在数据库层面通过使用外键的方式进行“硬关联”，会带来很多额外的资源消耗来进行一致性和完整性校验，即使很多时候我们并不
  • 领域驱动设计 julyflame VODAO设计模式DTOpo
    概念： VO（View Object）：视图对象，用于展示层，它的作用是把某个指定页面（或组件）的所有数据封装起来。 DTO（Data Transfer Object）：数据传输对象，这个概念来源于J2EE的设计模式，原来的目的是为了EJB的分布式应用提供粗粒度的数据实体，以减少分布式调用的次数，从而提高分布式调用的性能和降低网络负载，但在这里，我泛指用于展示层与服务层之间的数据传输对
  • 单例设计模式 hm4123660 javaSingleton单例设计模式懒汉式饿汉式
           单例模式是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例类的特殊类。通过单例模式可以保证系统中一个类只有一个实例而且该实例易于外界访问，从而方便对实例个数的控制并节约系统源。如果希望在系统中某个类的对象只能存在一个，单例模式是最好的解决方案。      &nb
  • logback zhb8015 loglogback
    一、logback的介绍      Logback是由log4j创始人设计的又一个开源日志组件。logback当前分成三个模块：logback-core,logback- classic和logback-access。logback-core是其它两个模块的基础模块。logback-classic是log4j的一个 改良版本。此外logback-class
  • 整合Kafka到Spark Streaming——代码示例和挑战 Stark_Summer sparkstormzookeeperPARALLELISMprocessing
    作者Michael G. Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间， Michael还提到了将Kafka整合到 Spark Streaming中的一些现状，非常值得阅读，虽然有一些信息在Spark 1.2版
  • spring-master-slave-commondao 王新春 DAOspringdataSourceslavemaster
    互联网的web项目，都有个特点：请求的并发量高，其中请求最耗时的db操作，又是系统优化的重中之重。 为此，往往搭建 db的 一主多从库的 数据库架构。作为web的DAO层，要保证针对主库进行写操作，对多个从库进行读操作。当然在一些请求中，为了避免主从复制的延迟导致的数据不一致性，部分的读操作也要到主库上。（这种需求一般通过业务垂直分开，比如下单业务的代码所部署的机器，读去应该也要从主库读取数
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他