CentOS7.5 部署Greenplum6.14集群源码安装

环境

p5-thhidam-datacle-green02
p5-thhidam-datacle-green01
p5-thhidam-datacle-green03

一、系统设置（所有主机）

1、操作系统环境

CentOS 7.5.1804，64位操作系统，没有更新过

[root@localhost tools]# cat /etc/redhat-release 
CentOS Linux release 7.5.1804 (Core)

2、关闭防火墙

 systemctl stop firewalld.service  #停止firewall
 systemctl disable firewalld.service

3、关闭NetworkManager

systemctl stop NetworkManager

4、关闭selinux

root@p5-thhidam-datacle-green01 gpAdminLogs]# cat /etc/selinux/config 

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of three two values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected. 
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

5、配置/etc/sysctl.conf

[root@p5-thhidam-datacle-green02 ~]# grep -v "#" /etc/sysctl.conf 

net.ipv4.ip_forward = 0

net.ipv4.conf.default.rp_filter = 1

net.ipv4.conf.default.accept_source_route = 0


kernel.core_uses_pid = 1

net.ipv4.tcp_syncookies = 1

kernel.msgmnb = 65536

kernel.msgmax = 65536

net.ipv4.conf.all.promote_secondaries = 1
net.ipv4.conf.default.promote_secondaries = 1
net.ipv6.neigh.default.gc_thresh3 = 4096 
net.ipv4.neigh.default.gc_thresh3 = 4096

kernel.softlockup_panic = 1
kernel.sysrq = 1
net.ipv6.conf.all.disable_ipv6=0
net.ipv6.conf.default.disable_ipv6=0
net.ipv6.conf.lo.disable_ipv6=0
kernel.numa_balancing = 0
kernel.shmmax = 68719476736
kernel.printk = 5
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv4.neigh.default.gc_stale_time=120
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.all.arp_announce=2
net.ipv4.conf.lo.arp_announce=2
net.ipv4.icmp_echo_ignore_broadcasts = 1
net.ipv4.icmp_ignore_bogus_error_responses = 1
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.all.rp_filter = 1
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.all.accept_source_route = 0
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
net.ipv4.tcp_max_tw_buckets = 6000
net.ipv4.tcp_sack = 1
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_rmem = 4096        87380   4194304
net.ipv4.tcp_wmem = 4096        16384   4194304
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.core.netdev_max_backlog = 262144
net.ipv4.tcp_max_orphans = 3276800
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syn_retries = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_mem = 94500000 915000000 927000000
net.ipv4.tcp_fin_timeout = 1
net.ipv4.tcp_keepalive_time = 1800
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_keepalive_intvl = 15
net.ipv4.ip_local_port_range = 1024    65000
net.netfilter.nf_conntrack_max=655350
net.netfilter.nf_conntrack_tcp_timeout_established=1200
net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.default.accept_redirects = 0
net.ipv4.conf.all.secure_redirects = 0
net.ipv4.conf.default.secure_redirects = 0
vm.max_map_count = 1000000
fs.nr_open = 10000000
fs.file-max = 11000000

net.ipv4.conf.all.arp_filter = 1  ##############主要是这一条###################

6、配置/etc/security/limits.conf



* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

7、手动执行命令让参数生效，也可以重启系统

#sysctl -p

8、修改/etc/hosts文件配置主机与ip地址的映射

192.xxxx.x.x p5-thhidam-datacle-green01
192.xx.x.x p5-thhidam-datacle-green02
192.x.x.x p5-thhidam-datacle-green03

9、创建gpadmin用户


--每台服务器都做
groupadd -g 530 gpadmin
useradd -g 530 -u 530 -m -d /data/gpadmin -s /bin/bash gpadmin
chown -R gpadmin:gpadmin /data/gpadmin
echo "gpadmin" | passwd --stdin gpadmin

二、安装和分发

CentOS7.5 部署Greenplum6.14集群源码安装

1 联网安装必要的包（所有机器）

[root@p5-thhidam-datacle-green01~]# yum -y install rsync coreutils glib2 lrzsz sysstat e4fsprogs xfsprogs ntp readline-devel zlib zlib-devel openssl openssl-devel pam-devel libxml2-devel libxslt-devel python-devel tcl-devel gcc make smartmontools flex bison perl perl-devel perl-ExtUtils* OpenIPMI-tools openldap openldap-devel logrotate gcc-c++ python-py python-pip libdwarf-devel  libzstd-devel yum -y install bzip2-devel libevent-devel apr-devel curl-devel ed python-paramiko python-devel


[root@p5-thhidam-datacle-green01~]# pip3 install --upgrade pip
[root@p5-thhidam-datacle-green01~]# pip3 install lockfile paramiko setuptools epydoc psutil
[root@p5-thhidam-datacle-green01~]# pip3 install --upgrade setuptools

2 master节点解压代码编译安装Greenplum

CentOS7.5 部署Greenplum6.14集群源码安装_第1张图片

web 访问下载 https://github.com/greenplum-...

或者 ：

 wget https://github.com/greenplum-db/gpdb/releases/download/6.14.1/6.14.1-src-full.tar.gz
  • 编译
[root@p5-thhidam-datacle-green01 gpdb-5.15.1]# ./configure --prefix=/data/gpadmin --with-gssapi --with-pgport=5432 --with-libedit-preferred --with-perl --with-python --with-openssl --with-pam --with-krb5 --with-ldap --with-libxml --enable-cassert --enable-debug --enable-testutils --enable-debugbreak --enable-depend --disable-orca
  • make -j8
[root@p5-thhidam-datacle-green01 gpdb-5.15.1]# make -j8
make[2]:Leaving directory `/data/tools/gpdb-5.15.1/gpAux/extensions/gpcloud/bin/gpcheckcloud'
make[1]: Leaving directory `/data/tools/gpdb-5.15.1/gpAux/extensions'
make -C gpAux/gpperfmon all
gcc -o gpnetbenchClient gpnetbenchClient.o
make[2]: Leaving directory `/data/tools/gpdb-5.15.1/gpAux/platform/gpnetbench'
make[1]: Leaving directory `/data/tools/gpdb-5.15.1/gpAux/platform'
All of Greenplum Database successfully made. Ready to install.
  • make install
[root@p5-thhidam-datacle-green01 gpdb-5.15.1]# make install
make -C gpAux/gpperfmon install
make[1]: Entering directory `/data/tools/gpdb-5.15.1/gpAux/gpperfmon'
make[2]: Leaving directory `/data/tools/gpdb-5.15.1/gpAux/platform/gpnetbench'
make[1]: Leaving directory `/data/tools/gpdb-5.15.1/gpAux/platform'
Greenplum Database installation complete.

若出现：则说明安装成功。

3. 分发文件

因为只在master上安装了Greenplum，所以下面要将安装包批量发送到每个slave机器上，才能算是整个Greenplum集群安装了Greenplum。

先在master主节点上创建GP的tar文件，其中gpsqlpwd是安装路径。

[root@p5-thhidam-datacle-green01 gpsql]# chown -R gpadmin:gpadmin /data/gpsql/
[root@p5-thhidam-datacle-green01 gpadmin]# gtar -cvf /data/gpadmin/gp.tar /data/gpsql
下面的操作都是为了连接所有节点，并将安装包发送到每个节点

在master主机，以gpadmin用户身份创建以下文本，可在gpadmin目录下创建conf文件夹，用来放这些启动互信信息

--master主机需要做
su - gpadmin
mkdir /data/gpadmin/conf
source /data/gpadmin/greenplum_path.sh
ssh-keygen
ssh-copy-id -i p5-thhidam-datacle-green02
ssh-copy-id -i p5-thhidam-datacle-green03
gpssh-exkeys -f /data/gpadmin/conf/all_hosts 
 
 
 
 ****记住要用master节点ssh一下
 ssh gpadmin@p5-thhidam-datacle-green02
 ssh gpadmin@p5-thhidam-datacle-green02

  • 编辑 集群列表

    [root@p5-thhidam-datacle-green01 conf]# vim /data/gpadmin/conf/all_hosts
p5-thhidam-datacle-green01
p5-thhidam-datacle-green02
p5-thhidam-datacle-green03
 
[root@p5-thhidam-datacle-green01 conf]# vim /data/gpadmin/conf/seg_hosts
p5-thhidam-datacle-green02
p5-thhidam-datacle-green03

安装目录下的 greenplum_path.sh中保存了运行Greenplum的一些环境变量设置，包括GPdata、PYTHONdata等设置。

以gpadmin身份执行source命令生效，之后gpssh-exkeys交换密钥

gpadmin@p5-thhidam-datacle-green01 gpsql]$ gpssh-exkeys -f /data/gpadmin/conf/all_hosts 
[STEP 1 of 5] create local ID and authorize on local host

[STEP 2 of 5] keyscan all hosts and update known_hosts file

[STEP 3 of 5] authorize current user on remote hosts
  ... send to p5-thhidam-datacle-green02
  ***
  *** Enter password for p5-thhidam-datacle-green02: 
  ... send to p5-thhidam-datacle-green03

[STEP 4 of 5] determine common authentication file content

[STEP 5 of 5] copy authentication files to all remote hosts
  ... finished key exchange with p5-thhidam-datacle-green02
  ... finished key exchange with p5-thhidam-datacle-green03

[INFO] completed successfully

通过gpscp命令将之前的压缩包分发到/conf/seg_hosts文件配置的segment节点


[gpadmin@p5-thhidam-datacle-green01 ~]$ gpscp  -f /data/gpadmin/conf/seg_hosts  /data/gpadmin/gp.tar =:/data/gpadmin/
查看是否将压缩包分发成功

[gpadmin@p5-thhidam-datacle-green02 ~]$ ll
total 96780
-rw-r--r--. 1 gpadmin gpadmin 99102720 Apr 26 15:18 gp.tar
 

[gpadmin@swd2 ~]$ ll
total 96780
-rw-r--r--. 1 gpadmin gpadmin 99102720 Apr 26 15:18 gp.tar
通过gpssh协议连接到segment节点时,all_hosts里有多少机器应该有多少输出

[gpadmin@p5-thhidam-datacle-green01 ~]$ gpssh -f /data/gpadmin/conf/all_hosts 
=> pwd
[ p5-thhidam-datacle-green01] /data/gpadmin
[p5-thhidam-datacle-green03] /data/gpadmin
[p5-thhidam-datacle-green02] /data/gpadmin
=>
解压之间的安装包

=> gtar -xvf gp.tar
最后创建数据库工作目录


=> pwd
[ p5-thhidam-datacle-green01] /data/gpadmin
[p5-thhidam-datacle-green03] /data/gpadmin
[p5-thhidam-datacle-green02] /data/gpadmin
=> mkdir gpdata
[ p5-thhidam-datacle-green01]
[p5-thhidam-datacle-green03]
[p5-thhidam-datacle-green02]
=> cd gpdata
[ p5-thhidam-datacle-green01]
[p5-thhidam-datacle-green03]
[p5-thhidam-datacle-green02]
=>  mkdir gpdatap1 gpdatap2 gpdatam1 gpdatam2 gpmaster
[ p5-thhidam-datacle-green01]
[p5-thhidam-datacle-green03]
[p5-thhidam-datacle-green02]
=> ll
[ p5-thhidam-datacle-green01] total 20
[ p5-thhidam-datacle-green01] drwxrwxr-x 2 gpadmin gpadmin 4096 Apr 26 15:30 gpdatam1
[ p5-thhidam-datacle-green01] drwxrwxr-x 2 gpadmin gpadmin 4096 Apr 26 15:30 gpdatam2
[ p5-thhidam-datacle-green01] drwxrwxr-x 2 gpadmin gpadmin 4096 Apr 26 15:30 gpdatap1
[ p5-thhidam-datacle-green01] drwxrwxr-x 2 gpadmin gpadmin 4096 Apr 26 15:30 gpdatap2
[ p5-thhidam-datacle-green01] drwxrwxr-x 2 gpadmin gpadmin 4096 Apr 26 15:30 gpmaster
[p5-thhidam-datacle-green03] total 20
[p5-thhidam-datacle-green03] drwxrwxr-x. 2 gpadmin gpadmin 4096 Apr 26 15:30 gpdatam1
[p5-thhidam-datacle-green03] drwxrwxr-x. 2 gpadmin gpadmin 4096 Apr 26 15:30 gpdatam2
[p5-thhidam-datacle-green03] drwxrwxr-x. 2 gpadmin gpadmin 4096 Apr 26 15:30 gpdatap1
[p5-thhidam-datacle-green03] drwxrwxr-x. 2 gpadmin gpadmin 4096 Apr 26 15:30 gpdatap2
[p5-thhidam-datacle-green03] drwxrwxr-x. 2 gpadmin gpadmin 4096 Apr 26 15:30 gpmaster
[p5-thhidam-datacle-green02] total 20
[p5-thhidam-datacle-green02] drwxrwxr-x. 2 gpadmin gpadmin 4096 Apr 26 15:30 gpdatam1
[p5-thhidam-datacle-green02] drwxrwxr-x. 2 gpadmin gpadmin 4096 Apr 26 15:30 gpdatam2
[p5-thhidam-datacle-green02] drwxrwxr-x. 2 gpadmin gpadmin 4096 Apr 26 15:30 gpdatap1
[p5-thhidam-datacle-green02] drwxrwxr-x. 2 gpadmin gpadmin 4096 Apr 26 15:30 gpdatap2
[p5-thhidam-datacle-green02] drwxrwxr-x. 2 gpadmin gpadmin 4096 Apr 26 15:30 gpmaster
=>exit

三、初始化和创建数据库

1 配置.bash_profile 环境变量（每台机器都要配置）

[gpadmin@p5-thhidam-datacle-green01 ~]$ vim .bash_profile
# .bash_profile
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi
# User specific environment and startup programs
PATH=$PATH:$data/.local/bin:$data/bin
export PATH
source /data/gpadmin/greenplum_path.sh
export MASTER_DATA_DIRECTORY=/data/gpadmin/gpadata/gpmaster/gpseg-1
export PGPORT=2346
export PGDATABASE=testDB
让环境变量生效 
[gpadmin@p5-thhidam-datacle-green01 ~]$ . ~/.bash_profile

2 同步时钟

》 在gpadmin下：

  • 检查时钟：
[gpadmin@p5-thhidam-datacle-green01 ~]$ gpssh -f /data/gpadmin/conf/all_hosts  -v date
[WARN] Reference default values as $MASTER_DATA_DIRECTORY/gpssh.conf could not be found
Using delaybeforesend 0.05 and prompt_validation_timeout 1.0

[Reset ...]
[INFO] login p5-thhidam-datacle-green01
[INFO] login p5-thhidam-datacle-green03
[INFO] login p5-thhidam-datacle-green02
[ p5-thhidam-datacle-green01] Fri Apr 26 15:51:13 CST 2019
[p5-thhidam-datacle-green03] Fri Apr 26 15:51:13 CST 2019
[p5-thhidam-datacle-green02] Fri Apr 26 15:51:16 CST 2019
[INFO] completed successfully

[Cleanup...]
  • 同步：
[gpadmin@p5-thhidam-datacle-green01 ~]$ gpssh -f /data/gpadmin/conf/all_hosts -v ntpd
[WARN] Reference default values as $MASTER_DATA_DIRECTORY/gpssh.conf could not be found
Using delaybeforesend 0.05 and prompt_validation_timeout 1.0

[Reset ...]
[INFO] login p5-thhidam-datacle-green01
[INFO] login p5-thhidam-datacle-green02
[INFO] login p5-thhidam-datacle-green03
[ p5-thhidam-datacle-green01] must be run as root, not uid 1001
[p5-thhidam-datacle-green02] must be run as root, not uid 1001
[p5-thhidam-datacle-green03] must be run as root, not uid 1001
[INFO] completed successfully

3 编写数据库启动参数文件

将安装目录下的/data/gpsql/docs/cli_help/gpconfigs/gpinitsystem_config文件copy到/data/gpadmin/conf目录下，然后编辑，保留如下参数即可，

#vi /data/gpadmin/conf/gpinitsystem_config 
文件中添加如下参数：
ARRAY_NAME="Greenplum Data Platform"
SEG_PREFIX=gpseg
PORT_BASE=42000
declare -a DATA_DIRECTORY=(/data/gpadmin/gpdata/gpdatap1 /data/gpadmin/gpdata/gpdatap2)
MASTER_HOSTNAME=p5-thhidam-datacle-green01
MASTER_DIRECTORY=/data/gpadmin/gpdata/gpmaster
MASTER_PORT=2346
TRUSTED_SHELL=/usr/bin/ssh
CHECK_POINT_SEGMENTS=8
ENCODING=UNICODE
####可选参数，针对mirror的参数
MIRROR_PORT_BASE=53000
REPLICATION_PORT_BASE=43000
MIRROR_REPLICATION_PORT_BASE=54000
declare -a MIRROR_DATA_DIRECTORY=(/data/gpadmin/gpdata/gpdatam1 /data/gpadmin/gpdata/gpdatam2)
MACHINE_LIST_FILE=/data/gpadmin/conf/seg_hosts

4初始化

[gpadmin@p5-thhidam-datacle-green01 ~]$ gpinitsystem -c /data/gpadmin/conf/gpinitsystem_config -a
20190429:15:23:32:096604 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Checking configuration parameters, please wait...
/bin/mv: try to overwrite ?.data/gpadmin/conf/gpinitsystem_config?. overriding mode 0644 (rw-r--r--)? 
.
.
20190429:15:26:07:096604 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-The Master /data/gpadmin/gpdata/gpmaster/gpseg-1/pg_hba.conf post gpinitsystem
20190429:15:26:07:096604 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-has been configured to allow all hosts within this new
20190429:15:26:07:096604 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-array to intercommunicate. Any hosts external to this
20190429:15:26:07:096604 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-new array must be explicitly added to this file
20190429:15:26:07:096604 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Refer to the Greenplum Admin support guide which is
20190429:15:26:07:096604 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-located in the /data/gpsql/docs directory
20190429:15:26:07:096604 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-----------------

正常得话，会出现

[gpadmin@p5-thhidam-datacle-green01 ~]$ psql -d postgres
psql (8.3.23)
Type "help" for help.
postgres=# select * from gp_segment_configuration ;
 dbid | content | role | preferred_role | mode | status | port  | hostname | address | replication_port
------+---------+------+----------------+------+--------+-------+----------+---------+------------------
    1 |      -1 | p    | p              | s    | u      |  2346 | p5-thhidam-datacle-green01      | p5-thhidam-datacle-green01     |                
    2 |       0 | p    | p              | s    | u      | 42000 | p5-thhidam-datacle-green01      | p5-thhidam-datacle-green01     |            43000
    4 |       2 | p    | p              | s    | u      | 42000 | p5-thhidam-datacle-green02     | p5-thhidam-datacle-green02    |            43000
    6 |       4 | p    | p              | s    | u      | 42000 | p5-thhidam-datacle-green03     | p5-thhidam-datacle-green03    |            43000
    3 |       1 | p    | p              | s    | u      | 42001 | p5-thhidam-datacle-green01      | p5-thhidam-datacle-green01     |            43001
    5 |       3 | p    | p              | s    | u      | 42001 | p5-thhidam-datacle-green02     | p5-thhidam-datacle-green02    |            43001
    7 |       5 | p    | p              | s    | u      | 42001 | p5-thhidam-datacle-green03     | p5-thhidam-datacle-green03    |            43001
    8 |       0 | m    | m              | s    | u      | 53000 | p5-thhidam-datacle-green02     | p5-thhidam-datacle-green02    |            54000
    9 |       1 | m    | m              | s    | u      | 53001 | p5-thhidam-datacle-green02     | p5-thhidam-datacle-green02    |            54001
   10 |       2 | m    | m              | s    | u      | 53000 | p5-thhidam-datacle-green03     | p5-thhidam-datacle-green03    |            54000
   11 |       3 | m    | m              | s    | u      | 53001 | p5-thhidam-datacle-green03     | p5-thhidam-datacle-green03    |            54001
   12 |       4 | m    | m              | s    | u      | 53000 | p5-thhidam-datacle-green01      | p5-thhidam-datacle-green01     |            54000
   13 |       5 | m    | m              | s    | u      | 53001 | p5-thhidam-datacle-green01      | p5-thhidam-datacle-green01     |            54001
(13 rows)

搭建过程中得遇到得问题，记录如下：

错误1：

[gpadmin@p5-thhidam-datacle-green01 ~]$ gpinitsystem -c /data/gpadmin/conf/gpinitsystem_config -a
20190426:16:24:59:049694 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Checking configuration parameters, please wait...
/bin/mv: try to overwrite ?.data/gpadmin/conf/gpinitsystem_config?. overriding mode 0644 (rw-r--r--)? 
20190426:16:25:05:049694 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Reading Greenplum configuration file /data/gpadmin/conf/gpinitsystem_config
20190426:16:25:06:049694 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Locale has not been set in /data/gpadmin/conf/gpinitsystem_config, will set to default value
20190426:16:25:06:049694 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Locale set to en_US.utf8
20190426:16:25:06:049694 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-No DATABASE_NAME set, will exit following template1 updates
20190426:16:25:06:049694 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-MASTER_MAX_CONNECT not set, will set to default value 250
20190426:16:25:06:049694 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Checking configuration parameters, Completed
20190426:16:25:06:049694 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Commencing multi-data checks, please wait...
..
20190426:16:25:06:049694 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Configuring build for standard array
20190426:16:25:06:049694 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Commencing multi-data checks, Completed
20190426:16:25:06:049694 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Building primary segment instance array, please wait...
....
20190426:16:25:10:049694 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Building group mirror array type , please wait...
....
20190426:16:25:14:049694 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Checking Master host
20190426:16:25:14:049694 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Checking new segment hosts, please wait...
........
20190426:16:25:31:049694 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Checking new segment hosts, Completed
20190426:16:25:31:049694 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Building the Master instance database, please wait...
20190426:16:25:46:049694 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Starting the Master in admin mode
20190426:16:25:54:gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[FATAL]:-Unknown host swd2 Script Exiting!
20190426:16:25:54:049694 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[WARN]:-Script has left Greenplum Database in an incomplete state
20190426:16:25:54:049694 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[WARN]:-Run command /bin/bash /data/gpadmin/gpAdminLogs/backout_gpinitsystem_gpadmin_20190426_162459 to remove these changes
20190426:16:25:54:049694 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Start Function BACKOUT_COMMAND
20190426:16:25:54:049694 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-End Function BACKOUT_COMMAND

解决方式：

查看各节点的主机名是否正确，发现p5-thhidam-datacle-green03的主机名写成了swd2,将其修改后，再次初始化

错误2：

[gpadmin@p5-thhidam-datacle-green01 gpmaster]$ gpinitsystem -c /data/gpadmin/conf/gpinitsystem_config -a
20190426:16:35:24:051899 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Checking configuration parameters, please wait...
/bin/mv: try to overwrite ?.data/gpadmin/conf/gpinitsystem_config?. overriding mode 0644 (rw-r--r--)? y
/bin/mv: cannot move ?.tmp/cluster_tmp_file.51899?.to ?.data/gpadmin/conf/gpinitsystem_config?. Permission denied
20190426:16:35:26:051899 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Reading Greenplum configuration file /data/gpadmin/conf/gpinitsystem_config
20190426:16:35:26:051899 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Locale has not been set in /data/gpadmin/conf/gpinitsystem_config, will set to default value
20190426:16:35:26:051899 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Locale set to en_US.utf8
20190426:16:35:26:051899 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-No DATABASE_NAME set, will exit following template1 updates
20190426:16:35:26:051899 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-MASTER_MAX_CONNECT not set, will set to default value 250
20190426:16:35:26:051899 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Checking configuration parameters, Completed
20190426:16:35:26:051899 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Commencing multi-data checks, please wait...
..
20190426:16:35:27:051899 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Configuring build for standard array
20190426:16:35:27:051899 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Commencing multi-data checks, Completed
20190426:16:35:27:051899 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Building primary segment instance array, please wait...
....
20190426:16:35:30:051899 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Building group mirror array type , please wait...
....
20190426:16:35:34:051899 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Checking Master host
20190426:16:35:34:gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[FATAL]:-Found indication of postmaster process on port 2346 on Master host Script Exiting!

解决方式：关闭杀死占用端口2346的进程

先查询进程

[gpadmin@p5-thhidam-datacle-green01 ~]$ lsof -i:2346
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
postgres 51235 gpadmin 3u IPv4 111661 0t0 TCP *:redstorm_join (LISTEN)
postgres 51235 gpadmin 4u IPv6 111662 0t0 TCP *:redstorm_join (LISTEN)
然后杀死进程

gpadmin@p5-thhidam-datacle-green01 ~]$ kill -9 51235
错误三：

[gpadmin@p5-thhidam-datacle-green01 ~]$ gpinitsystem -c /data/gpadmin/conf/gpinitsystem_config -a
20190426:16:41:38:052895 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Checking configuration parameters, please wait...
/bin/mv: try to overwrite ?.data/gpadmin/conf/gpinitsystem_config?. overriding mode 0644 (rw-r--r--)? y
/bin/mv: cannot move ?.tmp/cluster_tmp_file.52895?.to ?.data/gpadmin/conf/gpinitsystem_config?. Permission denied
20190426:16:41:40:052895 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Reading Greenplum configuration file /data/gpadmin/conf/gpinitsystem_config
20190426:16:41:40:052895 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Locale has not been set in /data/gpadmin/conf/gpinitsystem_config, will set to default value
20190426:16:41:40:052895 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Locale set to en_US.utf8
20190426:16:41:40:052895 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-No DATABASE_NAME set, will exit following template1 updates
20190426:16:41:40:052895 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-MASTER_MAX_CONNECT not set, will set to default value 250
20190426:16:41:40:052895 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Checking configuration parameters, Completed
20190426:16:41:40:052895 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Commencing multi-data checks, please wait...
..
20190426:16:41:41:052895 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Configuring build for standard array
20190426:16:41:41:052895 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Commencing multi-data checks, Completed
20190426:16:41:41:052895 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Building primary segment instance array, please wait...
....
20190426:16:41:44:052895 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Building group mirror array type , please wait...
....
20190426:16:41:48:052895 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Checking Master host
20190426:16:41:48:052895 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[WARN]:-Have lock file /tmp/.s.PGSQL.2346.lock but no process running on port 2346
20190426:16:41:48:gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[FATAL]:-Found indication of postmaster process on port 2346 on Master host Script Exiting!

解决：删除文件：/tmp/.s.PGSQL.2346.lock

错误四：

20190429:14:58:52:095181 gpstart:p5-thhidam-datacle-green01:gpadmin-[WARNING]:-Segment instance startup failures reported
20190429:14:58:52:095181 gpstart:p5-thhidam-datacle-green01:gpadmin-[WARNING]:-Failed start 9 of 12 segment instances <<<<<<<<
20190429:14:58:52:095181 gpstart:p5-thhidam-datacle-green01:gpadmin-[WARNING]:-Review /data/gpadmin/gpAdminLogs/gpstart_20190429.log
20190429:14:58:52:095181 gpstart:p5-thhidam-datacle-green01:gpadmin-[INFO]:-----------------------------------------------------
20190429:14:58:52:095181 gpstart:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Commencing parallel segment instance shutdown, please wait...
... 
 
20190429:14:58:57:095181 gpstart:p5-thhidam-datacle-green01:gpadmin-[ERROR]:-gpstart error: Do not have enough valid segments to start the array.
20190429:14:58:57:085332 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[WARN]:
20190429:14:58:57:085332 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[WARN]:-Failed to start Greenplum instance; review gpstart output to
20190429:14:58:57:085332 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[WARN]:- determine why gpstart failed and reinitialize cluster after resolving
20190429:14:58:57:085332 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[WARN]:- issues.  Not all initialization tasks have completed so the cluster
20190429:14:58:57:085332 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[WARN]:- should not be used.
20190429:14:58:57:085332 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[WARN]:-gpinitsystem will now try to stop the cluster
20190429:14:58:57:085332 gpinitsystem:p5-thhidam-datacle-green01:gpadmin-[WARN]:
20190429:14:58:58:095823 gpstop:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Starting gpstop with args: -a -l /data/gpadmin/gpAdminLogs -i -d /data/gpadmin/gpdata/gpmaster/gpseg-1
20190429:14:58:58:095823 gpstop:p5-thhidam-datacle-green01:gpadmin-[INFO]:-Gathering information and validating the environment...
20190429:14:58:58:095823 gpstop:p5-thhidam-datacle-green01:gpadmin-[ERROR]:-gpstop error: postmaster.pid file does not exist.  is Greenplum instance already stopped?

错误5：

[gpadmin@gpp5-thhidam-datacle-green01 ~]$ gpstart

20130815:22:28:28:003675
gpstart:gpmaster:gpadmin-[INFO]:-Starting gpstart with
args:

20130815:22:28:28:003675
gpstart:gpmaster:gpadmin-[INFO]:-Gathering information and
validating the environment...

20130815:22:28:28:003675
gpstart failed. (Reason='[Errno 2] No such file or directory: '/data/gpadmin/gpadata/gpmaster/gpseg-1/postgresql.conf'') exiting...

解决方法：

.bash_profile文件中添加

export PATH
source /data/gpsql/greenplum_path.sh
export MASTER_DATA_DIRECTORY=/data/gpadmin/gpadata/gpmaster/gpseg-1
export PGPORT=2346

export PGDATABASE=testDB
并让其生效：. ~/.bash_profile
注： 一个常见的错误是有部分节点死活 start 不起来，log 中显示 gpdata 下某某文件夹不存在，事实上是该文件夹下初始化了错误的文件。尝试 vi /data/gpadmin/.gphostcache 看看缓存的 host 对不对，不对的话修改过来。因为如果在修改 network 文件之前执行过 gpssh-exkeys ，可能会在 gphostcache 文件中生成主机名和 hostlist 配置中的名字形成对应关系，而 greenplum 之后不会再修改这个文件，这样的话 gpdata 下就会初始化错误的节点数据，所以这里是个大坑。

参考链接：

https://www.linuxidc.com/Linu...

https://www.cnblogs.com/chou1...

https://www.linuxidc.com/Linu...

https://blog.csdn.net/seeyouc...

https://blog.csdn.net/weixin_...

https://blog.csdn.net/q936889...

你可能感兴趣的:(greenplum)

  • greenplum资源队列 李春田
    文章来源https://www.cnblogs.com/pl-boke/p/9852439.html官方文档：https://gpdb.docs.pivotal.io/6-8/admin_guide/workload_mgmt.html1、创建资源队列语法Command:CREATERESOURCEQUEUEDescription:createanewresourcequeueforworkloa
  • makefile工程c语言工程在eclipse下如何配置头文件路径 乔丹搞IT
    makefile工程c语言工程在eclipse下如何配置头文件路径如果是普通的c工程，没有使用makefile管理，则参考网络上的文章。这里我使用的是eclipsecppIDE导入一个greenplum5.0.0的源码，在查看gpperfmon源码时，发现在ide中无法直接查看apr相关的头文件内容，发现apr相关的头文件在目录/usr/include/apr-1目录中。修改方法：1，修改源码，把
  • Greenplum数据库用正则表达式进行高效数据匹配与处理 中台小A greenplum数据库正则表达式
    利用正则表达式，可以在Greenplum数据库中进行高效的数据匹配和处理。通过正则表达式函数和运算符，可以实现数据的模式匹配、数据提取、数据清洗等操作。这些功能为数据分析、数据清洗和数据转换提供了强大的工具。正则表达式简介正则表达式是一种描述文本模式的字符串。它由各种字符和操作符组成，用于匹配、查找和替换文本中的特定模式。在Greenplum数据库中，可以使用正则表达式进行模式匹配、数据提取、数据
  • MYSQL的读写扩展 hailang86 mysql数据库
    1.分布式数据库有很多种：采用分库分表方式将数据路由拆分到多个数据库上；以greenplum未代表的mpp数据库架构；以tidb为代表的newSQl数据库架构。2.mpp数据架构是一种处理大规模数据分析任务的分布式数据架构，大规模并行处理。当执行一条SQL语句时，会将语句发送到所有数据节点进行查询处理，利用多节点的计算能力进行计算。3.分库分表主要用于简单的业务场景，OLTP场景，onlinetr
  • ThreadLocal浅析 早点起床晒太阳
    1、背景在使用我们的ToolBox(我们公司的数据分析平台)在往greenplum使用goload入数据的时候出现了数据错乱的问题，后来定位问题发现SimpledateFormat在多线程下是线程不安全的，刚开始我用匿名对象去解决这个问题，后来发现还是用ThreadLocal去解决才能提高效率，而且能保证安全2、ThreadLocal作用ThreadLocal提供了线程的局部变量，每个线程都可以通
  • GreenPlum安装文档 瞬即逝转
    点点滴滴，简单记录。第一次写，不足之处请多包涵文档说明：1.greenplum-db5.10.2版本安装，网上有很多安装方法，本篇文档也是站在各位大牛肩膀上自己稍微整理了一下2.文档不太美观，从word复制到简述编辑器上，格式无法完美移植。特此说明：加粗处为执行命令，斜体为配置内容1安装说明名称版本操作系统CentOS6.564bitgreenplumgreenplum-db-appliance-
  • 人麻了，刚面试入职就遇到MySQL亿级大表调优... IT邦德 Mysql面试mysql职场和发展
    哈喽！大家好，我是【IT邦德】，江湖人称jeames007，10余年DBA及大数据工作经验一位上进心十足的【大数据领域博主】！中国DBA联盟(ACDU)成员，目前服务于工业互联网擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发，备份恢复，安装迁移，性能优化、故障应急处理等。✨如果有对【数据库】感兴趣的【小可爱】，欢迎关注【IT邦德】❤️❤️❤️感谢各位大可爱小可爱！❤️❤️
  • 从 Greenplum 到 Databend，万全网络数据库平台架构演进 Databend 网络数据库架构
    作者：代城万全网络高级工程师，负责万全网络数据平台整体架构研发工作，拥有超过7年的大数据相关技术研发经验，一直关注着开源和云技术的发展。万全网络科技有限公司是一家专注于B端电商物流供应链的公司。致力于为客户提供全面的供应链解决方案，涵盖从产品采购到最终配送的全程服务。公司的服务包括但不限于：供应链管理，仓储与配送，信息技术支持。迁移背景在不断发展的科技环境中，企业往往需要不断调整和优化其技术基础设
  • StarRocks在千亿级日增数据场景下替换Greenplum的实践 StarRocks_labs 大数据数据库sql
    原Greenplum集群在进行10亿*1亿的关联查询时达到极限，无法支撑更大数据量级的关联查询。使用StarRocks替换Greenplum构建新的集群，在进行736亿*15亿的超大量级数据关联查询时，不仅可以顺利完成，并且耗时很短，对业务的整体提升巨大。一、使用背景1.1选用原因我司原有业务查询使用的数据库为Greenplum，在数据源变更后，数据量从原来的日增千万级别（近百G）暴增至日增千亿（
  • 聊聊Greenplum的那些事 weixin_30859423 数据库python运维
    开卷有益——作者的话原文来自http://dbaplus.cn/news-21-341-1.html有时候真的感叹人生岁月匆匆，特别是当一个IT人沉浸于某个技术领域十来年后，蓦然回首，总有说不出的万千感慨。笔者有幸从04年就开始从事大规模数据计算的相关工作，08年作为Greenplum早期员工加入Greenplum团队（当时的工牌是“005”，哈哈），记得当时看了一眼Greenplum的架构（嗯，
  • （转）聊聊Greenplum的那些事 weixin_33908217 数据库python运维
    开卷有益——作者的话有时候真的感叹人生岁月匆匆，特别是当一个IT人沉浸于某个技术领域十来年后，蓦然回首，总有说不出的万千感慨。笔者有幸从04年就开始从事大规模数据计算的相关工作，08年作为Greenplum早期员工加入Greenplum团队（当时的工牌是“005”，哈哈），记得当时看了一眼Greenplum的架构（嗯，就是现在大家耳熟能详的那个好多个X86框框的图），就义无反顾地加入了，转眼之间，
  • Spark——Spark读写Greenplum/Greenplum-Spark Connector高速写Greenplum Southwest- Sparkspark大数据分布式
    文章目录问题背景解决方式代码实现Spark写GreenplumSpark读Greenplum参考问题背景通过数据平台上的DataX把Hive表数据同步至Greenplum（因为DataX原生不支持GreenplumWriter，只能采用PostgreSQL驱动的方式），但是同步速度太慢了，"jdbc:postgresql://host:5432/db","user"->"u","password"
  • 【无标题】KADB使用DBLINK连接KES验证 littlegirll 数据库javasql
    验证环境KADB版本：GreenplumDatabase6.0.0builddev.V003R002C001B0181.d354cc9215KES版本：KingbaseESV008R006C007B0012DBLINK环境准备KES创建用户KES修改参数，在kingbase.conf文件中，设置password_encryption=md5登录配置文件sys_hba.conf修改登录验证方式为md
  • KADB使用PXF连接KES验证 littlegirll 数据库
    验证环境KADB版本：GreenplumDatabase6.0.0builddev.V003R002C001B0181.d354cc9215KES版本：KingbaseESV008R006C007B0012Java版本：openjdkversion"1.8.0_262"PXF部署以下操作假设KADB和KES已经部署完成并且启动正常，环境变量设置完成设置环境变量在mppadin用户的.bashrc文
  • 《GreenPlum系列》GreenPlum初级教程-05GreenPlum语言DDL&DML&DQL DATA数据猿 Greenplum数据库greenplumpostgresql
    文章目录第五章DDL&DML&DQL1.DDL(DataDefinitionLanguage)数据定义语言1.1创建数据库1.2查询数据库1.3删除数据库1.4创建表1.5修改表1.6清除表1.7删除表2.DML(DataManipulationLanguage)数据操作语言2.1数据导入2.2数据更新和删除2.3数据导出3.DQL(DataQueryLanguage)数据查询语言3.1基础语法及
  • Oracle 12CR2 RAC部署翻车，bug避坑经历 IT邦德 数据库Oracleoraclebug数据库
    哈喽！大家好，我是【IT邦德】，江湖人称jeames007，10余年DBA及大数据工作经验一位上进心十足的【大数据领域博主】！中国DBA联盟(ACDU)成员，目前服务于工业互联网擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发，备份恢复，安装迁移，性能优化、故障应急处理等。✨如果有对【数据库】感兴趣的【小可爱】，欢迎关注【IT邦德】❤️❤️❤️感谢各位大可爱小可爱！❤️❤️
  • 【青梅资讯】VMware Greenplum 7 Beta版已正式发布 Greenplum中文社区 数据库postgresql
    VMwareGreenplum7.0Beta.0已于2022年12月15日正式发布，随后在2023年2月3日VMwareGreenplum7.0Beta.1也正式上线，现在让我们通过本文一起了解Greenplum7Beta.1和Beta.0版本都引入了哪些新功能和变化。VMwareGreenplum7.0Beta.1发布时间：2023年2月3日VMwareGreenplum7 Beta.1版本现在
  • 技术分享 | OceanBase 集群扩容缩容 爱可生开源社区 技术分享OceanBaseOceanBase资源扩缩容
    作者：杨文DBA，负责客户项目的需求与维护，会点数据库，不限于MySQL、Redis、Cassandra、GreenPlum、ClickHouse、Elastic、TDSQL等等。本文来源：原创投稿*爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。一、环境说明：集群扩容分为两种情况：一种是扩副本，一种是扩资源。原集群部署模式：1-1-1。下面介绍两种扩容方式：扩容副本：
  • greenplum 6 创建用户问题权限问题异常（创建只查视图用户） 圆子_f1fe
    greenplum6创建用户问题权限问题异常（创建只查视图用户）解决普通用户默认无限制访问其它数据库问题；解决普通用户可以无限制建表问题；解决普通用户可以用navicat等工具查看系统原表问题；背景：我发现创建一个一个普通用户，在没有做特殊处理的情况下这个用户可以随意访问其它数据库，可以通过navicat等工具随意查看库的表名、函数、视图名等信息（虽然不可编辑，但是也不想让外部无关人员看到无关信息
  • 使用benchmarksql对greenplum压测结果记录 YuVicky
    本文将以TPC-C业界标准事务性能测试benchmark来展示Greenplum在事务上的处理能力。TPC-C简介TPC-C是由TPC(TransactionProcessingPerformanceCouncil，事务处理性能委员会)提供的专门针对联机交易处理系统的规范，TPC-C模拟的是一个大型的商品批发销售公司交易负载。这个事务负载主要由9张表组成，主要涉及5类交易类型：新订单生成（New-
  • 【教程】集群搭建准备工作全流程 THE WHY 大数据大数据分布式运维hadoop学习
    基于VMware创建虚拟机进行集群搭建，适用于hadoop/GreenPlum等集群之前已经创建了三台虚拟机hadoop102，hadoop103，hadoop104来搭建hadoop集群，因为目前学习到了greemplum，因此新建三台虚拟机hadoop105，hadoop106，hadoop107来搭建greenplum集群，整体思路流程大致如下（仅包括虚拟机创建以及环境配置内容，不包括had
  • 从Greenplum一个WARN的排查浅析PostgreSQL MemoryContext内存管理 airfan92 分布式数据库后端postgresql数据库内存管理
    Greenplum（GP）是一款开源的MPP数据库，兼容PostgreSQL生态。我们尝试基于开源GP支持多个副本，改造让集群从初始的最多只支持一个standbyMaster，到支持多个standby。相关实现并不复杂，内核和工具中没有太多对于standby个数的限制。经过多次的修改后，遗留的问题只剩下了一个：由一行代码引起的、但是找到这行代码花费了很久的WARN。本文就从这个WARN排查的角度，
  • PostgreSQL 自旋锁浅析 Greenplum中文社区 Greenplum内核机制数据库编程语言javapython多线程
    获得技术资料内容，请访问Greenplum中文社区网站什么是自旋锁经过上次的《PostgreSQL查询优化器详解》中大明和牛二哥对PostgreSQL优化器的概要的讲解，小明感到自己已经深深的爱上了数据库内核，小明在GitChat网站上购买了《PostgreSQL优化器入门》的文字网课，还跑到实体书店买了本《PostgreSQL技术内幕：查询优化深度探索》，每天对照着网课和书上的内容仔细研读Pos
  • 数据库备份脚本嘎嘎香，被秀到了！ IT邦德 数据库数据库
    哈喽！大家好，我是【IT邦德】，江湖人称jeames007，10余年DBA及大数据工作经验一位上进心十足的【大数据领域博主】！中国DBA联盟(ACDU)成员，目前服务于工业互联网擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发，备份恢复，安装迁移，性能优化、故障应急处理等。✨如果有对【数据库】感兴趣的【小可爱】，欢迎关注【IT邦德】❤️❤️❤️感谢各位大可爱小可爱！❤️❤️
  • 《GreenPlum系列》GreenPlum初级教程-03GreenPlum系统管理 DATA数据猿 Greenplum数据库greenplumpostgresql
    文章目录第三章GreenPlum系统管理1.关于GreenPlum数据库发布版本号2.启动和停止GreenPlum数据库2.1启动数据库2.2重启数据库2.3仅重新载入配置文件更改2.4停止GreenPlum数据库2.5停止客户端进程3.GreenPlum数据库状态查询4.访问GreenPlum数据库4.1数据库会话参数4.2支持客户端应用4.3psql连接4.4常见的连接问题第三章GreenPl
  • Greenplum系统配置参数查看与设置 WESTWALL
    查看参数数据库：postgres=#showall;系统：gpconfig--showmax_connections原文：https://yq.aliyun.com/articles/145445
  • GreenPlum的那些事《一》——GreenPlum数据库介绍 数据社
    1.数据存储行式数据库是按照行存储的，行存储就是各行放入连续的物理位置，就行我们平时写字一样，一行一行的写，读取的时候也是一行一行的读取。像SQLserver,Oracle，mysql等传统的关系型数据库都属于行式数据库范畴。列式数据库是按照列存储的，列存储是把多行数据的每一列按照列存储在磁盘，就像一把数据写入excel表格中，每次按照列读取数据，像Vertica,GreenPlum,HBase(
  • 《GreenPlum系列》GreenPlum详细入门教程02-GreenPlum安装 DATA数据猿 Greenplumgreenplum数据库
    文章目录第二章GreenPlum安装1.Docker创建centos容器1.1拉取centos7镜像1.2创建容器1.3进入容器1.4容器和服务器免密操作1.4.1生成密钥1.4.2拷贝密钥1.5安装ssh服务和网络必须应用1.6容器设置root密码1.6.1安装passwd应用1.6.2容器本机root设置密码1.7容器本机免密2.安装GreenPlum2.1准备安装包2.2创建用户及用户组2.
  • greenplum使用总结之常用SQL及函数 CS枪王 #Greenplum数据库大数据
    ---------------------------------------------------建表等-----------------------------------------------------–创建序列–eg:CREATESEQUENCEusers181020_ID_seq2STARTWITH1003INCREMENTBY14NOMINVALUE5NOMAXVALUE6CAC
  • greenplum 历史拉链表 用心一 数据仓库数据库hive
    3.1历史拉链表数据仓库定义：是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。历史拉链表：一种数据模型，主要是针对数据仓库设计中表存储数据的方式而定义的。它记录了一个事物从开始到当前状态的所有变化的信息。避免了按每一天存储所有记录造成的海量存储问题，同事也是处理缓慢变化数据的一种常见方式。3.1.1应用场景描述企业有5000万会员信息，每天有20万会员资料变更，每天
  • java数字签名三种方式 知了ing javajdk
    以下3钟数字签名都是基于jdk7的 1，RSA String password="test"; // 1.初始化密钥 KeyPairGenerator keyPairGenerator = KeyPairGenerator.getInstance("RSA"); keyPairGenerator.initialize(51
  • Hibernate学习笔记 caoyong Hibernate
    1>、Hibernate是数据访问层框架，是一个ORM(Object Relation Mapping)框架，作者为:Gavin King 2>、搭建Hibernate的开发环境      a>、添加jar包:      aa>、hibernatte开发包中/lib/required/所
  • 设计模式之装饰器模式Decorator（结构型） 漂泊一剑客 Decorator
    1. 概述        若你从事过面向对象开发，实现给一个类或对象增加行为，使用继承机制，这是所有面向对象语言的一个基本特性。如果已经存在的一个类缺少某些方法，或者须要给方法添加更多的功能（魅力），你也许会仅仅继承这个类来产生一个新类—这建立在额外的代码上。      
  • 读取磁盘文件txt，并输入String 一炮送你回车库 String
    public static void main(String[] args) throws IOException {    String fileContent = readFileContent("d:/aaa.txt");    System.out.println(fileContent);   
  • js三级联动下拉框 3213213333332132 三级联动
    //三级联动 省/直辖市<select id="province"></select> 市/省直辖<select id="city"></select> 县/区 <select id="area"></select>
  • erlang之parse_transform编译选项的应用 616050468 parse_transform游戏服务器属性同步abstract_code
             最近使用erlang重构了游戏服务器的所有代码，之前看过C++/lua写的服务器引擎代码，引擎实现了玩家属性自动同步给前端和增量更新玩家数据到数据库的功能，这也是现在很多游戏服务器的优化方向，在引擎层面去解决数据同步和数据持久化，数据发生变化了业务层不需要关心怎么去同步给前端。由于游戏过程中玩家每个业务中玩家数据更改的量其实是很少
  • JAVA JSON的解析 darkranger java
    // { // “Total”：“条数”， // Code: 1, // // “PaymentItems”:[ // { // “PaymentItemID”:”支款单ID”, // “PaymentCode”:”支款单编号”, // “PaymentTime”:”支款日期”, // ”ContractNo”:”合同号”， //
  • POJ-1273-Drainage Ditches aijuans ACM_POJ
    POJ-1273-Drainage Ditches http://poj.org/problem?id=1273 基本的最大流，按LRJ的白书写的 #include<iostream> #include<cstring> #include<queue> using namespace std; #define INF 0x7fffffff int ma
  • 工作流Activiti5表的命名及含义 atongyeye 工作流Activiti
    activiti5 - http://activiti.org/designer/update在线插件安装 activiti5一共23张表 Activiti的表都以ACT_开头。 第二部分是表示表的用途的两个字母标识。 用途也和服务的API对应。 ACT_RE_*: 'RE'表示repository。 这个前缀的表包含了流程定义和流程静态资源 （图片，规则，等等）。 A
  • android的广播机制和广播的简单使用 百合不是茶 android广播机制广播的注册
          Android广播机制简介 在Android中，有一些操作完成以后，会发送广播，比如说发出一条短信，或打出一个电话，如果某个程序接收了这个广播，就会做相应的处理。这个广播跟我们传统意义中的电台广播有些相似之处。之所以叫做广播，就是因为它只负责“说”而不管你“听不听”，也就是不管你接收方如何处理。另外，广播可以被不只一个应用程序所接收，当然也可能不被任何应
  • Spring事务传播行为详解 bijian1013 javaspring事务传播行为
            在service类前加上@Transactional，声明这个service所有方法需要事务管理。每一个业务方法开始时都会打开一个事务。         Spring默认情况下会对运行期例外(RunTimeException)进行事务回滚。这
  • eidtplus operate 征客丶 eidtplus
    开启列模式: Alt+C 鼠标选择   OR   Alt+鼠标左键拖动 列模式替换或复制内容(多行): 右键-->格式-->填充所选内容-->选择相应操作 OR Ctrl+Shift+V(复制多行数据,必须行数一致) -------------------------------------------------------
  • 【Kafka一】Kafka入门 bit1129 kafka
    这篇文章来自Spark集成Kafka(http://bit1129.iteye.com/blog/2174765)，这里把它单独取出来，作为Kafka的入门吧   下载Kafka http://mirror.bit.edu.cn/apache/kafka/0.8.1.1/kafka_2.10-0.8.1.1.tgz 2.10表示Scala的版本，而0.8.1.1表示Kafka
  • Spring 事务实现机制 BlueSkator spring代理事务
    Spring是以代理的方式实现对事务的管理。我们在Action中所使用的Service对象，其实是代理对象的实例，并不是我们所写的Service对象实例。既然是两个不同的对象，那为什么我们在Action中可以象使用Service对象一样的使用代理对象呢？为了说明问题，假设有个Service类叫AService，它的Spring事务代理类为AProxyService，AService实现了一个接口
  • bootstrap源码学习与示例：bootstrap-dropdown（转帖） BreakingBad bootstrapdropdown
    bootstrap-dropdown组件是个烂东西，我读后的整体感觉。 一个下拉开菜单的设计： <ul class="nav pull-right"> <li id="fat-menu" class="dropdown">
  • 读《研磨设计模式》-代码笔记-中介者模式-Mediator bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /* * 中介者模式（Mediator）：用一个中介对象来封装一系列的对象交互。 * 中介者使各对象不需要显式地相互引用，从而使其耦合松散，而且可以独立地改变它们之间的交互。 * * 在我看来，Mediator模式是把多个对象（
  • 常用代码记录 chenjunt3 UIExcelJ#
      1、单据设置某行或某字段不能修改 //i是行号,"cash"是字段名称 getBillCardPanelWrapper().getBillCardPanel().getBillModel().setCellEditable(i, "cash", false); //取得单据表体所有项用以上语句做循环就能设置整行了 getBillC
  • 搜索引擎与工作流引擎 comsci 算法工作搜索引擎网络应用
          最近在公司做和搜索有关的工作，(只是简单的应用开源工具集成到自己的产品中)工作流系统的进一步设计暂时放在一边了，偶然看到谷歌的研究员吴军写的数学之美系列中的搜索引擎与图论这篇文章中的介绍，我发现这样一个关系(仅仅是猜想)   -----搜索引擎和流程引擎的基础--都是图论，至少像在我在JWFD中引擎算法中用到的是自定义的广度优先
  • oracle Health Monitor daizj oracleHealth Monitor
    About Health Monitor Beginning with Release 11g, Oracle Database includes a framework called Health Monitor for running diagnostic checks on the database. About Health Monitor Checks Health M
  • JSON字符串转换为对象 dieslrae javajson
        作为前言,首先是要吐槽一下公司的脑残编译部署方式,web和core分开部署本来没什么问题,但是这丫居然不把json的包作为基础包而作为web的包,导致了core端不能使用,而且我们的core是可以当web来用的(不要在意这些细节),所以在core中处理json串就是个问题.没办法,跟编译那帮人也扯不清楚,只有自己写json的解析了.   
  • C语言学习八结构体，综合应用，学生管理系统 dcj3sjt126com C语言
    实现功能的代码： # include <stdio.h> # include <malloc.h> struct Student { int age; float score; char name[100]; }; int main(void) { int len; struct Student * pArr; int i,
  • vagrant学习笔记 dcj3sjt126com vagrant
    想了解多主机是如何定义和使用的, 所以又学习了一遍vagrant   1. vagrant virtualbox 下载安装 https://www.vagrantup.com/downloads.html https://www.virtualbox.org/wiki/Downloads   查看安装在命令行输入vagrant     2.
  • 14.性能优化-优化-软件配置优化 frank1234 软件配置性能优化
    1.Tomcat线程池 修改tomcat的server.xml文件： <Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" maxThreads="1200" m
  • 一个不错的shell 脚本教程 入门级 HarborChung linuxshell
    一个不错的shell 脚本教程 入门级 建立一个脚本 　　Linux中有好多中不同的shell，但是通常我们使用bash (bourne again shell) 进行shell编程，因为bash是免费的并且很容易使用。所以在本文中笔者所提供的脚本都是使用bash（但是在大多数情况下，这些脚本同样可以在 bash的大姐，bourne shell中运行）。 　　如同其他语言一样
  • Spring4新特性——核心容器的其他改进 jinnianshilongnian spring动态代理spring4依赖注入
    Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API  Spring4新
  • Linux设置tomcat开机启动 liuxingguome tomcatlinux开机自启动
    执行命令sudo gedit /etc/init.d/tomcat6 然后把以下英文部分复制过去。（注意第一句#!/bin/sh如果不写，就不是一个shell文件。然后将对应的jdk和tomcat换成你自己的目录就行了。 #!/bin/bash # # /etc/rc.d/init.d/tomcat # init script for tomcat precesses
  • 第13章 Ajax进阶（下） onestopweb Ajax
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • Troubleshooting Crystal Reports off BW blueoxygen BO
    http://wiki.sdn.sap.com/wiki/display/BOBJ/Troubleshooting+Crystal+Reports+off+BW#TroubleshootingCrystalReportsoffBW-TracingBOE   Quite useful, especially this part: SAP BW connectivity For t
  • Java开发熟手该当心的11个错误 tomcat_oracle javajvm多线程单元测试
    #1、不在属性文件或XML文件中外化配置属性。比如，没有把批处理使用的线程数设置成可在属性文件中配置。你的批处理程序无论在DEV环境中，还是UAT（用户验收 测试）环境中，都可以顺畅无阻地运行，但是一旦部署在PROD 上，把它作为多线程程序处理更大的数据集时，就会抛出IOException，原因可能是JDBC驱动版本不同，也可能是#2中讨论的问题。如果线程数目 可以在属性文件中配置，那么使它成为
  • 正则表达式大全 yang852220741 html编程正则表达式
    今天向大家分享正则表达式大全，它可以大提高你的工作效率 正则表达式也可以被当作是一门语言，当你学习一门新的编程语言的时候，他们是一个小的子语言。初看时觉得它没有任何的意义，但是很多时候，你不得不阅读一些教程，或文章来理解这些简单的描述模式。 一、校验数字的表达式 数字：^[0-9]*$ n位的数字：^\d{n}$ 至少n位的数字：^\d{n,}$ m-n位的数字：^\d{m,n}$
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他