Postgresql中国用户会
Postgresql中国用户会

pg_shard PostgreSQL数据库分片

如果你的GCC版本第一4.6，那么首先要安装一个高版本的GCC，因为pg_shard里面用了gcc 4.6以后新加的特性。 

   
   
   
   

    
    
    
    
   
   
   
   
Postgres2015全国用户大会将于11月20至21日在北京丽亭华苑酒店召开。本次大会嘉宾阵容强大，国内顶级PostgreSQL数据库专家将悉数到场，并特邀欧洲、俄罗斯、日本、美国等国家和地区的数据库方面专家助阵:

   
   
   
   
    
    
    
    
    
  • Postgres-XC项目的发起人铃木市一(SUZUKI Koichi)
    • 
    
    
    
    
  • Postgres-XL的项目发起人Mason Sharp
    • 
    
    
    
    
  • pgpool的作者石井达夫(Tatsuo Ishii)
    • 
    
    
    
    
  • PG-Strom的作者海外浩平(Kaigai Kohei)
    • 
    
    
    
    
  • Greenplum研发总监姚延栋
    • 
    
    
    
    
  • 周正中(德哥), PostgreSQL中国用户会创始人之一
    • 
    
    
    
    
  • 汪洋，平安科技数据库技术部经理
    • 
    
    
    
    
  • ……
    • 
   
   
   
   



   
   
   
   

    
    
    
    

     
     
     
     
      
      
      
      

       
       
       
        
      
      
      
      

      
      
      
      

       
       
       
       
  • 2015年度PG大象会报名地址：http://postgres2015.eventdove.com/
  • PostgreSQL中国社区： http://postgres.cn/
  • PostgreSQL专业1群： 3336901（已满）
  • PostgreSQL专业2群： 100910388
  • PostgreSQL专业3群： 150657323
    		• 
      
      
      
      
    
      
      
      
      
    
       
       
       
       
      
      
      
      
    
     
     
     
         
    
    
    
    
    
   
   
   
   
    

    # yum install -y gmp mpfr libmpc libmpc-devel
    
   
   
   
   
    
    
    
    
    
    
     
     
     
     # wget http://gcc.cybermirror.org/releases/gcc-4.9.3/gcc-4.9.3.tar.bz2
    
    
    
    
    
    
    
    
    
    
     
     
     
     # tar -jxvf gcc-4.9.3.tar.bz2 
    
    
    
    
    
    
    
    
    
    
     
     
     
     # cd gcc-4.9.3
    
    
    
    
    
    
    
    
    
    
     
     
     
     # ./configure --prefix=/opt/gcc4.9.3
    
    
    
    
    
   
   
   
   
    
   
   
   
   
    
    
    
    
    # make && make install
   
   
   
   
    
   
   
   
   
    
    
    
    
    # vi /etc/ld.so.conf
   
   
   
   
    
   
   
   
   
    
    
    
    
    /opt/gcc4.9.3/lib
   
   
   
   
    
   
   
   
   
    
    
    
    
    /opt/gcc4.9.3/lib64
   
   
   
   
    
   
   
   
   
    
    
    
    
    # ldconfig
   
   
   
   
    
   
   
   
   
    
    
    
    
    # ldconfig -p|grep gcc
   
   
   
   
    
   
   
   
   
    
    
    
    
    # vi /etc/profile
   
   
   
   
    
   
   
   
   
    
    
    
    
    export PATH=/opt/gcc4.9.3/bin:$PATH
    安装pg_shard 
    
    
    
    
    
    
     
     
     
     # git clone https://github.com/citusdata/pg_shard.git
    
    
    
    
    
    
    
    
    
    
     
     
     
     # cd pg_shard/
    切换到master分支，使用1.2.2版本。 
    
    
    
    
    
    
     
     
     
     # git checkout master
    
    
    
    
    
    
    
    
    
    
     
     
     
     
    
      
      
      
      commit 7e6103f79e3651eac0b32429f5fb103eb2a8ebdd
     
     
     
     
    
     
     
     
     
    
      
      
      
      Merge: 2b221d9 ac35076
     
     
     
     
    
     
     
     
     
    
      
      
      
      Author: Jason Petersen 
     
     
     
     
    
     
     
     
     
    
      
      
      
      Date:   Fri Aug 28 19:12:16 2015 -0600
     
     
     
     
    
     
     
     
     
    
      
      
      
      
    
     
     
     
     
    
     
     
     
     
    
      
      
      
          Merge branch 'release-1.2.2'
     
     
     
     
    
    
    
    
    
    
    
    
    
    
    
     
     
     
     ......
    安装： 
    
    
    
    
    
    
     
     
     
     # . /home/postgres/.bash_profile
    
    
    
    
    
    
    
    
    
    
     
     
     
     # make clean; make; make install
    假设我的环境中有5个数据库实例，其中一个master，4个worker。 
    
    
    
    
    
    
     
     
     
     su - postgres
    
    
    
    
    
    
    
    
    
    
     
     
     
     cd $PGDATA
    在master实例的$PGDATA中编辑一个 pg_worker_list.conf 文件。 
    
    
    
    
    
    
     
     
     
     postgres@digoal-> vi pg_worker_list.conf 
    
    
    
    
    
    
    
    
    
    
     
     
     
     localhost 1922
    
    
    
    
    
    
    
    
    
    
     
     
     
     localhost 1923
    
    
    
    
    
    
    
    
    
    
     
     
     
     localhost 1924
    
    
    
    
    
    
    
    
    
    
     
     
     
     localhost 1925
    同时确保master所在主机，连接work节点数据库不需要密码，或密码已经存放在.pgpass密码文件。 
    
    
    
    
    
    
     
     
     
     postgres@digoal-> cat $PGDATA1/pg_hba.conf |grep ^local
    
    
    
    
    
    
    
    
    
    
     
     
     
     
    
      
      
      
      local   all             all                                     trust
    
      
      
      
      
    
       
       
       
       postgres@digoal-> cat $PGDATA2/pg_hba.conf |grep ^local
      
      
      
      
    
      
      
      
      
    
       
       
       
       local   all             all                                     trust
      
      
      
      
    
     
     
     
     
    
    
    
    
    
    
    
    
    
    
    
     
     
     
     
    
      
      
      
      postgres@digoal-> cat $PGDATA3/pg_hba.conf |grep ^local
     
     
     
     
    
     
     
     
     
    
      
      
      
      local   all             all                                     trust
     
     
     
     
    
     
     
     
     
    
      
      
      
      postgres@digoal-> cat $PGDATA4/pg_hba.conf |grep ^local
     
     
     
     
    
     
     
     
     
    
      
      
      
      local   all             all                                     trust
    在master节点配置pg_shard. 
    
    
    
    
    
    
     
     
     
     vi $PGDATA/postgresql.conf
    
    
    
    
    
    
    
    
    
    
     
     
     
     shared_preload_libraries = 'pg_shard'
    
    
    
    
    
    
    
    
    
    
     
     
     
     pg_ctl restart -m fast
    
    
    
    
    
    
    
    
    
    
     
     
     
     psql
    为了确保主和worker一致，正常的流程是，在master和所有的worker节点创建一致的： 
    
    
    
    
    
    
     
     
     
     role
    
    
    
    
    
    
    
    
    
    
     
     
     
     database
    
    
    
    
    
    
    
    
    
    
     
     
     
     schema
    在主节点， 连接到database，创建 pg_shard 扩展模块。 
    postgres=# create extension pg_shard;
    在主节点创建测试表 
    
    
    
    
    
    
     
     
     
     postgres=# CREATE TABLE customer_reviews                                             
    
    
    
    
    
    
    
    
    
    
     
     
     
     (
    
    
    
    
    
    
    
    
    
    
     
     
     
         customer_id TEXT NOT NULL,
    
    
    
    
    
    
    
    
    
    
     
     
     
         review_date DATE,
    
    
    
    
    
    
    
    
    
    
     
     
     
         review_rating INTEGER,
    
    
    
    
    
    
    
    
    
    
     
     
     
         review_votes INTEGER,
    
    
    
    
    
    
    
    
    
    
     
     
     
         review_helpful_votes INTEGER,
    
    
    
    
    
    
    
    
    
    
     
     
     
         product_id CHAR(10),
    
    
    
    
    
    
    
    
    
    
     
     
     
         product_title TEXT,
    
    
    
    
    
    
    
    
    
    
     
     
     
         product_sales_rank BIGINT,
    
    
    
    
    
    
    
    
    
    
     
     
     
         product_group TEXT,
    
    
    
    
    
    
    
    
    
    
     
     
     
         product_category TEXT,
    
    
    
    
    
    
    
    
    
    
     
     
     
         product_subcategory TEXT,
    
    
    
    
    
    
    
    
    
    
     
     
     
         similar_product_ids CHAR(10)[]
    
    
    
    
    
    
    
    
    
    
     
     
     
     );
    创建合适的约束，索引，建议在定义work table前都确定下来，否则以后添加索引要在所有节点手工添加。
    在主节点，调用以下函数，构造work table。表名，字段名为分布列。 
    
    
    
    
    
    
     
     
     
     
    
      
      
      
      postgres=# SELECT master_create_distributed_table('customer_reviews', 'customer_id');
    在主节点，调用以下函数， 在子节点创建work table，16个分片，每个分片保存2份。 
    
   
   
   
   
    
    
    
    
    postgres=# SELECT master_create_worker_shards('customer_reviews', 16, 2);
    在主节点，可以看到元数据。 
    
    
    
    
    
    
     
     
     
     
    
      
      
      
      postgres=# \dt pgs_distribution_metadata.*
     
     
     
     
    
     
     
     
     
    
      
      
      
                             List of relations
     
     
     
     
    
     
     
     
     
    
      
      
      
                Schema           |      Name       | Type  |  Owner   
     
     
     
     
    
     
     
     
     
    
      
      
      
      ---------------------------+-----------------+-------+----------
     
     
     
     
    
     
     
     
     
    
      
      
      
       pgs_distribution_metadata | partition       | table | postgres
     
     
     
     
    
     
     
     
     
    
      
      
      
       pgs_distribution_metadata | shard           | table | postgres
     
     
     
     
    
     
     
     
     
    
      
      
      
       pgs_distribution_metadata | shard_placement | table | postgres
     
     
     
     
    
     
     
     
     
    
      
      
      
      (3 rows)
     
     
     
     
    
    
    
    
    
    
    
    
    
    
    
     
     
     
     
    
    
    
    
    
    
    
    
    
    
    
     
     
     
     
    
      
      
      
      postgres=# select * from pgs_distribution_metadata.partition ;
     
     
     
     
    
     
     
     
     
    
      
      
      
       relation_id | partition_method |     key     
     
     
     
     
    
     
     
     
     
    
      
      
      
      -------------+------------------+-------------
     
     
     
     
    
     
     
     
     
    
      
      
      
             42067 | h                | customer_id
     
     
     
     
    
     
     
     
     
    
      
      
      
      (1 row)
     
     
     
     
    
     
     
     
     
    
      
      
      
      
    
       
       
       
       postgres=# select 42067::regclass;
      
      
      
      
    
      
      
      
      
    
       
       
       
            regclass     
      
      
      
      
    
      
      
      
      
    
       
       
       
       ------------------
      
      
      
      
    
      
      
      
      
    
       
       
       
        customer_reviews
      
      
      
      
    
      
      
      
      
    
       
       
       
       (1 row)
      
      
      
      
    
     
     
     
     
    
     
     
     
     
    
      
      
      
      
    
     
     
     
     
    
     
     
     
     
    
      
      
      
      postgres=# select * from pgs_distribution_metadata.shard;
     
     
     
     
    
     
     
     
     
    
      
      
      
        id   | relation_id | storage |  min_value  |  max_value  
     
     
     
     
    
     
     
     
     
    
      
      
      
      -------+-------------+---------+-------------+-------------
     
     
     
     
    
     
     
     
     
    
      
      
      
       10000 |       42067 | t       | -2147483648 | -1879048194
     
     
     
     
    
     
     
     
     
    
      
      
      
       10001 |       42067 | t       | -1879048193 | -1610612739
     
     
     
     
    
     
     
     
     
    
      
      
      
       10002 |       42067 | t       | -1610612738 | -1342177284
     
     
     
     
    
     
     
     
     
    
      
      
      
       10003 |       42067 | t       | -1342177283 | -1073741829
     
     
     
     
    
     
     
     
     
    
      
      
      
       10004 |       42067 | t       | -1073741828 | -805306374
     
     
     
     
    
     
     
     
     
    
      
      
      
       10005 |       42067 | t       | -805306373  | -536870919
     
     
     
     
    
     
     
     
     
    
      
      
      
       10006 |       42067 | t       | -536870918  | -268435464
     
     
     
     
    
     
     
     
     
    
      
      
      
       10007 |       42067 | t       | -268435463  | -9
     
     
     
     
    
     
     
     
     
    
      
      
      
       10008 |       42067 | t       | -8          | 268435446
     
     
     
     
    
     
     
     
     
    
      
      
      
       10009 |       42067 | t       | 268435447   | 536870901
     
     
     
     
    
     
     
     
     
    
      
      
      
       10010 |       42067 | t       | 536870902   | 805306356
     
     
     
     
    
     
     
     
     
    
      
      
      
       10011 |       42067 | t       | 805306357   | 1073741811
     
     
     
     
    
     
     
     
     
    
      
      
      
       10012 |       42067 | t       | 1073741812  | 1342177266
     
     
     
     
    
     
     
     
     
    
      
      
      
       10013 |       42067 | t       | 1342177267  | 1610612721
     
     
     
     
    
     
     
     
     
    
      
      
      
       10014 |       42067 | t       | 1610612722  | 1879048176
     
     
     
     
    
     
     
     
     
    
      
      
      
       10015 |       42067 | t       | 1879048177  | 2147483647
     
     
     
     
    
     
     
     
     
    
      
      
      
      (16 rows)
     
     
     
     
    
    
    
    
    
    
    
    
    
    
    
     
     
     
     
    
    
    
    
    
    
    
    
    
    
    
     
     
     
     
    
      
      
      
      postgres=# select * from pgs_distribution_metadata.shard_placement;
     
     
     
     
    
     
     
     
     
    
      
      
      
       id | shard_id | shard_state | node_name | node_port 
     
     
     
     
    
     
     
     
     
    
      
      
      
      ----+----------+-------------+-----------+-----------
     
     
     
     
    
     
     
     
     
    
      
      
      
        1 |    10000 |           1 | localhost |      1922
     
     
     
     
    
     
     
     
     
    
      
      
      
        2 |    10000 |           1 | localhost |      1923
     
     
     
     
    
     
     
     
     
    
      
      
      
        3 |    10001 |           1 | localhost |      1923
     
     
     
     
    
     
     
     
     
    
      
      
      
        4 |    10001 |           1 | localhost |      1924
     
     
     
     
    
     
     
     
     
    
      
      
      
        5 |    10002 |           1 | localhost |      1924
     
     
     
     
    
     
     
     
     
    
      
      
      
        6 |    10002 |           1 | localhost |      1925
     
     
     
     
    
     
     
     
     
    
      
      
      
        7 |    10003 |           1 | localhost |      1925
     
     
     
     
    
     
     
     
     
    
      
      
      
        8 |    10003 |           1 | localhost |      1922
     
     
     
     
    
     
     
     
     
    
      
      
      
        9 |    10004 |           1 | localhost |      1922
     
     
     
     
    
     
     
     
     
    
      
      
      
       10 |    10004 |           1 | localhost |      1923
     
     
     
     
    
     
     
     
     
    
      
      
      
       11 |    10005 |           1 | localhost |      1923
     
     
     
     
    
     
     
     
     
    
      
      
      
       12 |    10005 |           1 | localhost |      1924
     
     
     
     
    
     
     
     
     
    
      
      
      
       13 |    10006 |           1 | localhost |      1924
     
     
     
     
    
     
     
     
     
    
      
      
      
       14 |    10006 |           1 | localhost |      1925
     
     
     
     
    
     
     
     
     
    
      
      
      
       15 |    10007 |           1 | localhost |      1925
     
     
     
     
    
     
     
     
     
    
      
      
      
       16 |    10007 |           1 | localhost |      1922
     
     
     
     
    
     
     
     
     
    
      
      
      
       17 |    10008 |           1 | localhost |      1922
     
     
     
     
    
     
     
     
     
    
      
      
      
       18 |    10008 |           1 | localhost |      1923
     
     
     
     
    
     
     
     
     
    
      
      
      
       19 |    10009 |           1 | localhost |      1923
     
     
     
     
    
     
     
     
     
    
      
      
      
       20 |    10009 |           1 | localhost |      1924
     
     
     
     
    
     
     
     
     
    
      
      
      
       21 |    10010 |           1 | localhost |      1924
     
     
     
     
    
     
     
     
     
    
      
      
      
       22 |    10010 |           1 | localhost |      1925
     
     
     
     
    
     
     
     
     
    
      
      
      
       23 |    10011 |           1 | localhost |      1925
     
     
     
     
    
     
     
     
     
    
      
      
      
       24 |    10011 |           1 | localhost |      1922
     
     
     
     
    
     
     
     
     
    
      
      
      
       25 |    10012 |           1 | localhost |      1922
     
     
     
     
    
     
     
     
     
    
      
      
      
       26 |    10012 |           1 | localhost |      1923
     
     
     
     
    
     
     
     
     
    
      
      
      
       27 |    10013 |           1 | localhost |      1923
     
     
     
     
    
     
     
     
     
    
      
      
      
       28 |    10013 |           1 | localhost |      1924
     
     
     
     
    
     
     
     
     
    
      
      
      
       29 |    10014 |           1 | localhost |      1924
     
     
     
     
    
     
     
     
     
    
      
      
      
       30 |    10014 |           1 | localhost |      1925
     
     
     
     
    
     
     
     
     
    
      
      
      
       31 |    10015 |           1 | localhost |      1925
     
     
     
     
    
     
     
     
     
    
      
      
      
       32 |    10015 |           1 | localhost |      1922
     
     
     
     
    
     
     
     
     
    
      
      
      
      (32 rows)
    可以看到，每个分片都有2个副本。就是我们前面创建work table时指定的副本数量。

    pg_shard的使用限制：
    1. 不能使用子查询。 
    
    
    
    
    
    
     
     
     
     postgres=# insert into customer_reviews select generate_series(1,100);
    
    
    
    
    
    
    
    
    
    
     
     
     
     ERROR:  0A000: cannot perform distributed planning for the given query
    
    
    
    
    
    
    
    
    
    
     
     
     
     DETAIL:  Subqueries are not supported in distributed queries.
    
    
    
    
    
    
    
    
    
    
     
     
     
     LOCATION:  ErrorIfQueryNotSupported, pg_shard.c:567
    2. 不能使用变量 
    
    
    
    
    
    
     
     
     
     postgres=# insert into customer_reviews values ('a',now());
    
    
    
    
    
    
    
    
    
    
     
     
     
     ERROR:  0A000: cannot plan sharded modification containing values which are not constants or constant expressions
    
    
    
    
    
    
    
    
    
    
     
     
     
     LOCATION:  ErrorIfQueryNotSupported, pg_shard.c:638
    3. 不能使用绑定变量 
    
    
    
    
    
    
     
     
     
     
    
      
      
      
      postgres=# prepare a (text) as insert into customer_reviews values ($1);
     
     
     
     
    
     
     
     
     
    
      
      
      
      ERROR:  0A000: PREPARE commands on distributed tables are unsupported
     
     
     
     
    
     
     
     
     
    
      
      
      
      LOCATION:  PgShardProcessUtility, pg_shard.c:2098
     
     
     
     
    
    
    
    
    
    
    
    
    
    
    
     
     
     
     
    
    
    
    
    
    
    
    
    
    
    
     
     
     
     
    
      
      
      
      postgres@digoal-> vi test.sql
     
     
     
     
    
     
     
     
     
    
      
      
      
      \setrandom id 1 1000000
     
     
     
     
    
     
     
     
     
    
      
      
      
      insert into customer_reviews values (:id);
     
     
     
     
    
    
    
    
    
    
    
    
    
    
    
     
     
     
     
    
    
    
    
    
    
    
    
    
    
    
     
     
     
     
    
      
      
      
      postgres@digoal-> pgbench -M extended -n -r -P 1 -f ./test.sql -c 8 -j 8 -T 1000
     
     
     
     
    
     
     
     
     
    
      
      
      
      Client 2 aborted in state 1: ERROR:  unrecognized node type: 2100
     
     
     
     
    
     
     
     
     
    
      
      
      
      Client 4 aborted in state 1: ERROR:  unrecognized node type: 2100
     
     
     
     
    
     
     
     
     
    
      
      
      
      Client 1 aborted in state 1: ERROR:  unrecognized node type: 2100
     
     
     
     
    
     
     
     
     
    
      
      
      
      Client 7 aborted in state 1: ERROR:  unrecognized node type: 2100
     
     
     
     
    
     
     
     
     
    
      
      
      
      Client 3 aborted in state 1: ERROR:  unrecognized node type: 2100
     
     
     
     
    
     
     
     
     
    
      
      
      
      Client 0 aborted in state 1: ERROR:  unrecognized node type: 2100
     
     
     
     
    
     
     
     
     
    
      
      
      
      Client 5 aborted in state 1: ERROR:  unrecognized node type: 2100
     
     
     
     
    
     
     
     
     
    
      
      
      
      Client 6 aborted in state 1: ERROR:  unrecognized node type: 2100
     
     
     
     
    
     
     
     
     
    
      
      
      
      transaction type: Custom query
     
     
     
     
    
     
     
     
     
    
      
      
      
      scaling factor: 1
     
     
     
     
    
     
     
     
     
    
      
      
      
      query mode: extended
     
     
     
     
    
     
     
     
     
    
      
      
      
      number of clients: 8
     
     
     
     
    
     
     
     
     
    
      
      
      
      number of threads: 8
     
     
     
     
    
     
     
     
     
    
      
      
      
      duration: 1000 s
     
     
     
     
    
     
     
     
     
    
      
      
      
      number of transactions actually processed: 0
     
     
     
     
    
     
     
     
     
    
      
      
      
      postgres@digoal-> pgbench -M simple -n -r -P 1 -f ./test.sql -c 8 -j 8 -T 1000
     
     
     
     
    
     
     
     
     
    
      
      
      
      progress: 2.8 s, 0.7 tps, lat 2568.361 ms stddev 16.254
     
     
     
     
    
     
     
     
     
    
      
      
      
      progress: 3.2 s, 68.3 tps, lat 578.633 ms stddev 1043.300
     
     
     
     
    
     
     
     
     
    
      
      
      
      progress: 3.2 s, 264.5 tps, lat 8.263 ms stddev 3.007
     
     
     
     
    
     
     
     
     
    
      
      
      
      progress: 4.0 s, 1193.6 tps, lat 8.561 ms stddev 36.589
     
     
     
     
    
     
     
     
     
    
      
      
      
      progress: 5.0 s, 1255.6 tps, lat 6.376 ms stddev 5.437
     
     
     
     
    
     
     
     
     
    
      
      
      
      progress: 6.0 s, 1277.5 tps, lat 6.263 ms stddev 2.644
    还有 中期TODO，不支持分布式JOIN，不支持分布式事务，不支持非分布列的唯一约束，FK约束。
    短期TODO，不支持表结构修改，不支持删除表。

    另一个问题是，pg_shard需要一个master数据库，而且master没有办法做对等设备。所以master容易成为瓶颈，特别是网络瓶颈和CPU瓶颈。因此要突破这几个瓶颈和问题的话，在OLTP中使用就更加靠谱了。

    鉴于以上这些限制，你要考虑清楚pg_shard是否能满足你的需求。
    个人认为最靠谱的还是连接池代理，轻量，而且容易做对等设备，可以很好的解决性能和效率的问题。
    （但是同样很难实现分布式事务和分布式JOIN，以及分布式唯一和FK约束，但是你得考虑清楚，你是否真的需要这些？）

    另外，你可以使用9.4版本的jdbc，已经支持负载均衡和failover了。
    http://blog.163.com/digoal@126/blog/static/16387704020158241250463/
    如果你没有跨库 事务和分布式JOIN，以及分布式唯一和FK约束的需求。目前jdbc 9.4 + plproxy可以完美的实现真正性能线性增长的数据库分片。

    分片节点损坏了如何修复？
    关闭其中一个节点： 
    
    
    
    
    
    
     
     
     
     postgres@digoal-> pg_ctl stop -m fast -D /data01/pg_root_1922
    
    
    
    
    
    
    
    
    
    
     
     
     
     waiting for server to shut down.... done
    
    
    
    
    
    
    
    
    
    
     
     
     
     server stopped
    
    
    
    
    
    
    
    
    
    
     
     
     
     postgres@digoal-> psql
    
    
    
    
    
    
    
    
    
    
     
     
     
     psql (9.4.4)
    
    
    
    
    
    
    
    
    
    
     
     
     
     Type "help" for help.
    
    
    
    
    
    
    
    
    
    
     
     
     
     postgres=# select count(*) from customer_reviews ;
    
    
    
    
    
    
    
    
    
    
     
     
     
     WARNING:  Connection failed to localhost:1922
    
    
    
    
    
    
    
    
    
    
     
     
     
     DETAIL:  Remote message: could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (::1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (127.0.0.1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     WARNING:  Connection failed to localhost:1922
    
    
    
    
    
    
    
    
    
    
     
     
     
     DETAIL:  Remote message: could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (::1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (127.0.0.1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     WARNING:  Connection failed to localhost:1922
    
    
    
    
    
    
    
    
    
    
     
     
     
     DETAIL:  Remote message: could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (::1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (127.0.0.1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     WARNING:  Connection failed to localhost:1922
    
    
    
    
    
    
    
    
    
    
     
     
     
     DETAIL:  Remote message: could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (::1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (127.0.0.1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
      count 
    
    
    
    
    
    
    
    
    
    
     
     
     
     -------
    
    
    
    
    
    
    
    
    
    
     
     
     
       6296
    
    
    
    
    
    
    
    
    
    
     
     
     
     (1 row)
    当前shard状态 
    
    
    
    
    
    
     
     
     
     postgres=# select * from pgs_distribution_metadata.shard_placement;
    
    
    
    
    
    
    
    
    
    
     
     
     
      id | shard_id | shard_state | node_name | node_port 
    
    
    
    
    
    
    
    
    
    
     
     
     
     ----+----------+-------------+-----------+-----------
    
    
    
    
    
    
    
    
    
    
     
     
     
       2 |    10000 |           1 | localhost |      1923
    
    
    
    
    
    
    
    
    
    
     
     
     
       3 |    10001 |           1 | localhost |      1923
    
    
    
    
    
    
    
    
    
    
     
     
     
       4 |    10001 |           1 | localhost |      1924
    
    
    
    
    
    
    
    
    
    
     
     
     
       5 |    10002 |           1 | localhost |      1924
    
    
    
    
    
    
    
    
    
    
     
     
     
       6 |    10002 |           1 | localhost |      1925
    
    
    
    
    
    
    
    
    
    
     
     
     
       7 |    10003 |           1 | localhost |      1925
    
    
    
    
    
    
    
    
    
    
     
     
     
      10 |    10004 |           1 | localhost |      1923
    
    
    
    
    
    
    
    
    
    
     
     
     
      11 |    10005 |           1 | localhost |      1923
    
    
    
    
    
    
    
    
    
    
     
     
     
      12 |    10005 |           1 | localhost |      1924
    
    
    
    
    
    
    
    
    
    
     
     
     
      13 |    10006 |           1 | localhost |      1924
    
    
    
    
    
    
    
    
    
    
     
     
     
      14 |    10006 |           1 | localhost |      1925
    
    
    
    
    
    
    
    
    
    
     
     
     
      15 |    10007 |           1 | localhost |      1925
    
    
    
    
    
    
    
    
    
    
     
     
     
      18 |    10008 |           1 | localhost |      1923
    
    
    
    
    
    
    
    
    
    
     
     
     
      19 |    10009 |           1 | localhost |      1923
    
    
    
    
    
    
    
    
    
    
     
     
     
      20 |    10009 |           1 | localhost |      1924
    
    
    
    
    
    
    
    
    
    
     
     
     
      21 |    10010 |           1 | localhost |      1924
    
    
    
    
    
    
    
    
    
    
     
     
     
      22 |    10010 |           1 | localhost |      1925
    
    
    
    
    
    
    
    
    
    
     
     
     
      23 |    10011 |           1 | localhost |      1925
    
    
    
    
    
    
    
    
    
    
     
     
     
      26 |    10012 |           1 | localhost |      1923
    
    
    
    
    
    
    
    
    
    
     
     
     
      27 |    10013 |           1 | localhost |      1923
    
    
    
    
    
    
    
    
    
    
     
     
     
      28 |    10013 |           1 | localhost |      1924
    
    
    
    
    
    
    
    
    
    
     
     
     
      29 |    10014 |           1 | localhost |      1924
    
    
    
    
    
    
    
    
    
    
     
     
     
      30 |    10014 |           1 | localhost |      1925
    
    
    
    
    
    
    
    
    
    
     
     
     
      31 |    10015 |           1 | localhost |      1925
    
    
    
    
    
    
    
    
    
    
     
     
     
       8 |    10003 |           3 | localhost |      1922
    
    
    
    
    
    
    
    
    
    
     
     
     
      32 |    10015 |           3 | localhost |      1922
    
    
    
    
    
    
    
    
    
    
     
     
     
       9 |    10004 |           3 | localhost |      1922
    
    
    
    
    
    
    
    
    
    
     
     
     
      25 |    10012 |           3 | localhost |      1922
    
    
    
    
    
    
    
    
    
    
     
     
     
      24 |    10011 |           3 | localhost |      1922
    
    
    
    
    
    
    
    
    
    
     
     
     
      17 |    10008 |           3 | localhost |      1922
    
    
    
    
    
    
    
    
    
    
     
     
     
       1 |    10000 |           3 | localhost |      1922
    
    
    
    
    
    
    
    
    
    
     
     
     
      16 |    10007 |           3 | localhost |      1922
    
    
    
    
    
    
    
    
    
    
     
     
     
     (32 rows)
    状态为3的shard是有问题需要修复的。

    使用pgbench产生一些数据变更，从而导致这些shard的数据和其他副本不一致。 
    
    
    
    
    
    
     
     
     
     postgres@digoal-> pgbench -M simple -n -r -P 1 -f ./test.sql -c 8 -j 8 -T 1000
    
    
    
    
    
    
    
    
    
    
     
     
     
     WARNING:  Connection failed to localhost:1922
    
    
    
    
    
    
    
    
    
    
     
     
     
     DETAIL:  Remote message: could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (::1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (127.0.0.1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     WARNING:  Connection failed to localhost:1922
    
    
    
    
    
    
    
    
    
    
     
     
     
     DETAIL:  Remote message: could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (::1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (127.0.0.1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     WARNING:  Connection failed to localhost:1922
    
    
    
    
    
    
    
    
    
    
     
     
     
     DETAIL:  Remote message: could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (::1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (127.0.0.1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     WARNING:  Connection failed to localhost:1922
    
    
    
    
    
    
    
    
    
    
     
     
     
     DETAIL:  Remote message: could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (::1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (127.0.0.1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     WARNING:  Connection failed to localhost:1922
    
    
    
    
    
    
    
    
    
    
     
     
     
     DETAIL:  Remote message: could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (::1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (127.0.0.1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     WARNING:  Connection failed to localhost:1922
    
    
    
    
    
    
    
    
    
    
     
     
     
     DETAIL:  Remote message: could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (::1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (127.0.0.1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     WARNING:  Connection failed to localhost:1922
    
    
    
    
    
    
    
    
    
    
     
     
     
     DETAIL:  Remote message: could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (::1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (127.0.0.1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     WARNING:  Connection failed to localhost:1922
    
    
    
    
    
    
    
    
    
    
     
     
     
     DETAIL:  Remote message: could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (::1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (127.0.0.1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     WARNING:  Connection failed to localhost:1922
    
    
    
    
    
    
    
    
    
    
     
     
     
     DETAIL:  Remote message: could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (::1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (127.0.0.1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     WARNING:  Connection failed to localhost:1922
    
    
    
    
    
    
    
    
    
    
     
     
     
     DETAIL:  Remote message: could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (::1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     could not connect to server: Connection refused
    
    
    
    
    
    
    
    
    
    
     
     
     
             Is the server running on host "localhost" (127.0.0.1) and accepting
    
    
    
    
    
    
    
    
    
    
     
     
     
             TCP/IP connections on port 1922?
    
    
    
    
    
    
    
    
    
    
     
     
     
     progress: 1.0 s, 167.9 tps, lat 24.011 ms stddev 84.151
    
    
    
    
    
    
    
    
    
    
     
     
     
     progress: 2.0 s, 1306.0 tps, lat 8.279 ms stddev 40.771
    
    
    
    
    
    
    
    
    
    
     
     
     
     progress: 3.0 s, 1451.7 tps, lat 5.505 ms stddev 1.778
    
    
    
    
    
    
    
    
    
    
     
     
     
     progress: 4.0 s, 1469.8 tps, lat 5.445 ms stddev 1.529
    
    
    
    
    
    
    
    
    
    
     
     
     
     progress: 5.0 s, 1447.0 tps, lat 5.519 ms stddev 2.082
    
    
    
    
    
    
    
    
    
    
     
     
     
     progress: 6.0 s, 1439.4 tps, lat 5.554 ms stddev 2.656

    启动关闭的节点 
    
    
    
    
    
    
     
     
     
     
    
      
      
      
      postgres@digoal-> pg_ctl start -D /data01/pg_root_1922
     
     
     
     
    
     
     
     
     
    
      
      
      
      server starting
     
     
     
     
    
     
     
     
     
    
      
      
      
      postgres@digoal->  0LOG:  00000: redirecting log output to logging collector process
     
     
     
     
    
     
     
     
     
    
      
      
      
       0HINT:  Future log output will appear in directory "pg_log".
     
     
     
     
    
     
     
     
     
    
      
      
      
       0LOCATION:  SysLogger_Start, syslogger.c:645
     
     
     
     
    
    
    
    
    
    
    
    
    
    
    
     
     
     
     
    
    
    
    
    
    
    
    
    
    
    
     
     
     
     
    
      
      
      
      postgres@digoal-> psql
     
     
     
     
    
     
     
     
     
    
      
      
      
      psql (9.4.4)
     
     
     
     
    
     
     
     
     
    
      
      
      
      Type "help" for help.
     
     
     
     
    
     
     
     
     
    
      
      
      
      postgres=# select count(*) from customer_reviews ;
     
     
     
     
    
     
     
     
     
    
      
      
      
       count 
     
     
     
     
    
     
     
     
     
    
      
      
      
      -------
     
     
     
     
    
     
     
     
     
    
      
      
      
       17729
     
     
     
     
    
     
     
     
     
    
      
      
      
      (1 row)
    修复前，在所有work节点，对应的database中创建pg_shard extension，因为需要用到一个修复函数。 
    
    
    
    
    
    
     
     
     
     psql -h 127.0.0.1 -p 1922 -c "create extension pg_shard;"
    
    
    
    
    
    
    
    
    
    
     
     
     
     psql -h 127.0.0.1 -p 1923 -c "create extension pg_shard;"
    
    
    
    
    
    
    
    
    
    
     
     
     
     psql -h 127.0.0.1 -p 1924 -c "create extension pg_shard;"
    
    
    
    
    
    
    
    
    
    
     
     
     
     psql -h 127.0.0.1 -p 1925 -c "create extension pg_shard;"
    修复， 连接到主节点，执行： 
    
    
    
    
    
    
     
     
     
     postgres=# select t1.shard_id,t1.node_name,t1.node_port,t2.node_name,t2.node_port from pgs_distribution_metadata.shard_placement t1 , pgs_distribution_metadata.shard_placement t2 where t1.shard_id=t2.shard_id and (t1.node_name||t1.node_port) <> (t2.node_name||t2.node_port) and t1.shard_state=3;
    
    
    
    
    
    
    
    
    
    
     
     
     
      shard_id | node_name | node_port | node_name | node_port 
    
    
    
    
    
    
    
    
    
    
     
     
     
     ----------+-----------+-----------+-----------+-----------
    
    
    
    
    
    
    
    
    
    
     
     
     
         10003 | localhost |      1922 | localhost |      1925
    
    
    
    
    
    
    
    
    
    
     
     
     
         10004 | localhost |      1922 | localhost |      1923
    
    
    
    
    
    
    
    
    
    
     
     
     
         10008 | localhost |      1922 | localhost |      1923
    
    
    
    
    
    
    
    
    
    
     
     
     
         10011 | localhost |      1922 | localhost |      1925
    
    
    
    
    
    
    
    
    
    
     
     
     
         10012 | localhost |      1922 | localhost |      1923
    
    
    
    
    
    
    
    
    
    
     
     
     
         10015 | localhost |      1922 | localhost |      1925
    
    
    
    
    
    
    
    
    
    
     
     
     
     (6 rows)
    用这个函数来修复，其实就是拷贝数据。源拷贝到目标。 
    
   
   
   
   
    
    
    
    
    public | master_copy_shard_placement     | void             | shard_id bigint, source_node_name text, source_node_port integer, target_node_name text, target_node_port integer  
    参数。千万不要搞反了。（pg_shard有保护措施，搞反了会报错） 
    
     
     
     
     
    
      
      
      
      postgres=# select master_copy_shard_placement(t1.shard_id,t1.node_name,t1.node_port,t2.node_name,t2.node_port) from pgs_distribution_metadata.shard_placement t1 , pgs_distribution_metadata.shard_placement t2 where t1.shard_id=t2.shard_id and (t1.node_name||t1.node_port) <> (t2.node_name||t2.node_port) and t1.shard_state=3;
     
     
     
     
    
     
     
     
     
    
      
      
      
      ERROR:  22023: source placement must be in finalized state
     
     
     
     
    
     
     
     
     
    
      
      
      
      LOCATION:  master_copy_shard_placement, repair_shards.c:109
    修复： 
    
     
     
     
     
    
      
      
      
      postgres=# select master_copy_shard_placement(t1.shard_id,t2.node_name,t2.node_port,t1.node_name,t1.node_port) from pgs_distribution_metadata.shard_placement t1 , pgs_distribution_metadata.shard_placement t2 where t1.shard_id=t2.shard_id and (t1.node_name||t1.node_port) <> (t2.node_name||t2.node_port) and t1.shard_state=3;
     
     
     
     
    
     
     
     
     
    
      
      
      
       master_copy_shard_placement 
     
     
     
     
    
     
     
     
     
    
      
      
      
      -----------------------------
     
     
     
     
    
     
     
     
     
    
      
      
      
      (8 rows)
    拷贝完成后，状态变为1了。 
    
     
     
     
     
    
      
      
      
      postgres=# select * from pgs_distribution_metadata.shard_placement;
     
     
     
     
    
     
     
     
     
    
      
      
      
       id | shard_id | shard_state | node_name | node_port 
     
     
     
     
    
     
     
     
     
    
      
      
      
      ----+----------+-------------+-----------+-----------
     
     
     
     
    
     
     
     
     
    
      
      
      
        2 |    10000 |           1 | localhost |      1923
     
     
     
     
    
     
     
     
     
    
      
      
      
        3 |    10001 |           1 | localhost |      1923
     
     
     
     
    
     
     
     
     
    
      
      
      
        4 |    10001 |           1 | localhost |      1924
     
     
     
     
    
     
     
     
     
    
      
      
      
        5 |    10002 |           1 | localhost |      1924
     
     
     
     
    
     
     
     
     
    
      
      
      
        6 |    10002 |           1 | localhost |      1925
     
     
     
     
    
     
     
     
     
    
      
      
      
        7 |    10003 |           1 | localhost |      1925
     
     
     
     
    
     
     
     
     
    
      
      
      
       10 |    10004 |           1 | localhost |      1923
     
     
     
     
    
     
     
     
     
    
      
      
      
       11 |    10005 |           1 | localhost |      1923
     
     
     
     
    
     
     
     
     
    
      
      
      
       12 |    10005 |           1 | localhost |      1924
     
     
     
     
    
     
     
     
     
    
      
      
      
       13 |    10006 |           1 | localhost |      1924
     
     
     
     
    
     
     
     
     
    
      
      
      
       14 |    10006 |           1 | localhost |      1925
     
     
     
     
    
     
     
     
     
    
      
      
      
       15 |    10007 |           1 | localhost |      1925
     
     
     
     
    
     
     
     
     
    
      
      
      
       18 |    10008 |           1 | localhost |      1923
     
     
     
     
    
     
     
     
     
    
      
      
      
       19 |    10009 |           1 | localhost |      1923
     
     
     
     
    
     
     
     
     
    
      
      
      
       20 |    10009 |           1 | localhost |      1924
     
     
     
     
    
     
     
     
     
    
      
      
      
       21 |    10010 |           1 | localhost |      1924
     
     
     
     
    
     
     
     
     
    
      
      
      
       22 |    10010 |           1 | localhost |      1925
     
     
     
     
    
     
     
     
     
    
      
      
      
       23 |    10011 |           1 | localhost |      1925
     
     
     
     
    
     
     
     
     
    
      
      
      
       26 |    10012 |           1 | localhost |      1923
     
     
     
     
    
     
     
     
     
    
      
      
      
       27 |    10013 |           1 | localhost |      1923
     
     
     
     
    
     
     
     
     
    
      
      
      
       28 |    10013 |           1 | localhost |      1924
     
     
     
     
    
     
     
     
     
    
      
      
      
       29 |    10014 |           1 | localhost |      1924
     
     
     
     
    
     
     
     
     
    
      
      
      
       30 |    10014 |           1 | localhost |      1925
     
     
     
     
    
     
     
     
     
    
      
      
      
       31 |    10015 |           1 | localhost |      1925
     
     
     
     
    
     
     
     
     
    
      
      
      
        1 |    10000 |           1 | localhost |      1922
     
     
     
     
    
     
     
     
     
    
      
      
      
       16 |    10007 |           1 | localhost |      1922
     
     
     
     
    
     
     
     
     
    
      
      
      
        8 |    10003 |           1 | localhost |      1922
     
     
     
     
    
     
     
     
     
    
      
      
      
        9 |    10004 |           1 | localhost |      1922
     
     
     
     
    
     
     
     
     
    
      
      
      
       17 |    10008 |           1 | localhost |      1922
     
     
     
     
    
     
     
     
     
    
      
      
      
       24 |    10011 |           1 | localhost |      1922
     
     
     
     
    
     
     
     
     
    
      
      
      
       25 |    10012 |           1 | localhost |      1922
     
     
     
     
    
     
     
     
     
    
      
      
      
       32 |    10015 |           1 | localhost |      1922
     
     
     
     
    
     
     
     
     
    
      
      
      
      (32 rows)
    分片数据修复后，查询结果和之前一致。 在修复前，pg_shard根据状态过滤了不健康的副本的查询。因此产生的结果是一致的。 
        
    
    
    
    
     
     
     
     postgres=# select count(*) from customer_reviews;
    
    
    
    
    
    
    
    
    
    
     
     
     
      count 
    
    
    
    
    
    
    
    
    
    
     
     
     
     -------
    
    
    
    
    
    
    
    
    
    
     
     
     
      17729
    
    
    
    
    
    
    
    
    
    
     
     
     
     (1 row)

    [参考]
    1.  https://github.com/citusdata/pg_shard/tree/v1.2.2
    2.  https://www.citusdata.com/citus-products/pg-shard/pg-shard-quick-start-guide
    中期TODO，不支持分布式JOIN，不支持分布式事务，不支持非分布列的唯一约束，FK约束。
    短期TODO，不支持表结构修改，不支持删除表，不支持子查询。

    Limitations

    pg_shard is intentionally limited in scope during its first release, but is fully functional within that scope. We classify pg_shard's current limitations into two groups. In one group, we have features that we don't intend to support in the medium term due to architectural decisions we made:

    • Transactional semantics for queries that span across multiple shards - For example, you're a financial institution and you sharded your data based on customer_id. You'd now like to withdraw money from one customer's account and debit it to another one's account, in a single transaction block.
    • Unique constraints on columns other than the partition key, or foreign key constraints.
    • Distributed JOINs also aren't supported in pg_shard - If you'd like to run complex analytic queries, please consider upgrading to CitusDB.

    Another group of limitations are shorter-term but we're calling them out here to be clear about unsupported features:

    • Table alterations are not supported: customers who do need table alterations accomplish them by using a script that propagates such changes to all worker nodes.
    • DROP TABLE does not have any special semantics when used on a distributed table. An upcoming release will add a shard cleanup command to aid in removing shard objects from worker nodes.
    • Queries such as INSERT INTO foo SELECT bar, baz FROM qux are not supported.

    Besides these limitations, we have a list of features that we're looking to add. Instead of prioritizing this list ourselves, we decided to keep an open discussion on GitHub issues and hear what you have to say. So, if you have a favorite feature missing from pg_shard, please do get in touch!

    你可能感兴趣的:(转载,Shared,Nothing架构)

    • 【iOS】MVC设计模式 Magnetic_h iosmvc设计模式objective-c学习ui
      MVC前言如何设计一个程序的结构，这是一门专门的学问，叫做"架构模式"（architecturalpattern），属于编程的方法论。MVC模式就是架构模式的一种。它是Apple官方推荐的App开发架构，也是一般开发者最先遇到、最经典的架构。MVC各层controller层Controller/ViewController/VC（控制器）负责协调Model和View，处理大部分逻辑它将数据从Mod
    • 微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务java架构
      在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
    • 腾讯云技术深度探索：构建高效云原生微服务架构 我的运维人生 云原生架构腾讯云运维开发技术共享
      腾讯云技术深度探索：构建高效云原生微服务架构在当今快速发展的技术环境中，云原生技术已成为企业数字化转型的关键驱动力。腾讯云作为行业领先的云服务提供商，不断推出创新的产品和技术，助力企业构建高效、可扩展的云原生微服务架构。本文将深入探讨腾讯云在微服务领域的最新进展，并通过一个实际案例展示如何在腾讯云平台上构建云原生应用。腾讯云微服务架构概览腾讯云微服务架构基于云原生理念，旨在帮助企业快速实现应用的容
    • 关于提高复杂业务逻辑代码可读性的思考 编程经验分享 开发经验java数据库开发语言
      目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
    • 18、架构-可观测性之聚合度量 大树~~ 架构javapython后端架构
      聚合度量聚合度量是指对系统运行时产生的各种指标数据进行收集、聚合和分析，以了解系统的健康状况和性能表现。聚合度量是可观测性的关键组成部分，通过对度量数据的分析，可以及时发现系统中的异常和瓶颈。以下是对聚合度量各个方面的详细解析，并结合具体的数据案例和技术支撑。指标收集收集系统运行时产生的各种指标数据是聚合度量的基础。常见的指标包括CPU使用率、内存使用率、请求处理时间、请求数、错误率等。以下是指标
    • 《如不承诺天长地久，怎会相遇细水长流》文/苏暖人 北京大数据苏焕之
      《如不承诺天长地久，怎会相遇细水长流》文/苏暖人原创——莫转载粘贴有人选择昙花一现，如大理的花海，有人选择细水长流，如雨夜的浪漫。都说，五分喜欢的人恨不得将他挂在嘴边，十分喜欢的人却只舍得放在心里边了，在爱情眼里，对方说的每一句话都在乎你的感受，TA的眼里也只有你，我想也是这样！说起我的爱情，我也喜欢过一个忧郁的女孩，她喜欢的男孩不喜欢她，于是我成了她倾诉的朋友＋备胎，一年来我们互相推荐伤感的歌曲
    • BART&BERT Ambition_LAO 深度学习
      BART和BERT都是基于Transformer架构的预训练语言模型。模型架构：BERT(BidirectionalEncoderRepresentationsfromTransformers)主要是一个编码器（Encoder）模型，它使用了Transformer的编码器部分来处理输入的文本，并生成文本的表示。BERT特别擅长理解语言的上下文，因为它在预训练阶段使用了掩码语言模型（MLM）任务，即
    • 系统架构设计师 需求分析篇二 AmHardy 软件架构设计师系统架构需求分析面向对象分析分析模型UML和SysML
      面向对象分析方法1.用例模型构建用例模型一般需要经历4个阶段：识别参与者：识别与系统交互的所有事物。合并需求获得用例：将需求分配给予其相关的参与者。细化用例描述：详细描述每个用例的功能。调整用例模型：优化用例之间的关系和结构，前三个阶段是必需的。2.用例图的三元素参与者：使用系统的用户或其他外部系统和设备。用例：系统所提供的服务。通信关联：参与者和用例之间的关系，或用例与用例之间的关系。3.识别参
    • Java爬虫框架（一）--架构设计 狼图腾-狼之传说 java框架java任务html解析器存储电子商务
      一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
    • Armv8.3 体系结构扩展--原文版 代码改变世界ctw ARM-TEE-Androidarmv8嵌入式arm架构安全架构芯片TrustzoneSecureboot
      快速链接:.ARMv8/ARMv9架构入门到精通-[目录]付费专栏-付费课程【购买须知】:个人博客笔记导读目录(全部)TheArmv8.3architectureextensionTheArmv8.3architectureextensionisanextensiontoArmv8.2.Itaddsmandatoryandoptionalarchitecturalfeatures.Somefeat
    • 【ARM Cortex-M 系列 2.3 -- Cortex-M7 Debug event 详细介绍】 主公讲 ARM #ARM系列arm开发debugevent
      请阅读【嵌入式开发学习必备专栏】文章目录Cortex-M7DebugeventDebugeventsCortex-M7Debugevent在ARMCortex-M7架构中，调试事件（DebugEvent）是由于调试原因而触发的事件。一个调试事件会导致以下几种情况之一发生：进入调试状态：如果启用了停滞调试（HaltingDebug），一个调试事件会使处理器在调试状态下停滞。通过将DHCSR.C_DE
    • tiff批量转png 诺有缸的高飞鸟 opencv图像处理pythonopencv图像处理
      目录写在前面代码完写在前面1、本文内容tiff批量转png2、平台/环境opencv,python3、转载请注明出处：https://blog.csdn.net/qq_41102371/article/details/132975023代码importnumpyasnpimportcv2importosdeffindAllFile(base):file_list=[]forroot,ds,fsin
    • 基于STM32与Qt的自动平衡机器人：从控制到人机交互的的详细设计流程 极客小张 stm32qt机器人物联网人机交互毕业设计c语言
      一、项目概述目标和用途本项目旨在开发一款基于STM32控制的自动平衡机器人，结合步进电机和陀螺仪传感器，实现对平衡机器人的精确控制。该机器人可以用于教育、科研、娱乐等多个领域，帮助用户了解自动控制、机器人运动学等相关知识。技术栈关键词STM32单片机步进电机陀螺仪传感器AD采集电路Qt人机界面实时数据监控二、系统架构系统架构设计本项目的系统架构设计包括以下主要组件：控制单元:STM32单片机传感器
    • JAVA·一个简单的登录窗口 MortalTom java开发语言学习
      文章目录概要整体架构流程技术名词解释技术细节资源概要JavaSwing是Java基础类库的一部分，主要用于开发图形用户界面（GUI）程序整体架构流程新建项目，导入sql.jar包（链接放在了文末），编译项目并运行技术名词解释一、特点丰富的组件提供了多种可视化组件，如按钮（JButton）、文本框（JTextField）、标签（JLabel）、下拉列表（JComboBox）等，可以满足不同的界面设计
    • ARMV8体系结构简介：概述 简单同学 ARMV8体系结构ARMV8
      1.前言本文主要概括的介绍ARMV8体系结构定义了哪些内容，概括的说：ARM体系结构定义了PE的行为，不会定义具体的实现ARM体系结构也定义了debug体系结构和trace体系结构ARM体系结构采用RISC指令集（1）长度一致的寄存器；（2）load/store架构，数据处理操作只能对寄存器内容进行处理，不会直接对内存的内容进行处理；（3）简单寻址方式，load/store地址来源于寄存器或指令域
    • Table列表复现框实现【勾选-搜索-再勾选】 ～四时春～ java开发语言elementuivue
      Table列表复现框实现【勾选-搜索-再勾选】概要整体架构流程代码实现技术细节注意参考文献概要最近在开发时遇到一个问题，在进行表单渲染时，正常选中没有问题，单如果需要搜索选中时，一个是已选中的不会回填，二是在搜索的结果中进行选中，没有实现，经过排查，查找资料后实现。例如：整体架构流程具体的实现效果如下：代码实现{{scope.row.userName}}已选区{{userItem.userName
    • 深入浅出 -- 系统架构之负载均衡Nginx的性能优化 xiaoli8748_软件开发 系统架构系统架构负载均衡nginx
      一、Nginx性能优化到这里文章的篇幅较长了，最后再来聊一下关于Nginx的性能优化，主要就简单说说收益最高的几个优化项，在这块就不再展开叙述了，毕竟影响性能都有多方面原因导致的，比如网络、服务器硬件、操作系统、后端服务、程序自身、数据库服务等，对于性能调优比较感兴趣的可以参考之前《JVM性能调优》中的调优思想。优化一：打开长连接配置通常Nginx作为代理服务，负责分发客户端的请求，那么建议开启H
    • AI大模型的架构演进与最新发展 季风泯灭的季节 AI大模型应用技术二人工智能架构
      随着深度学习的发展，AI大模型（LargeLanguageModels,LLMs）在自然语言处理、计算机视觉等领域取得了革命性的进展。本文将详细探讨AI大模型的架构演进，包括从Transformer的提出到GPT、BERT、T5等模型的历史演变，并探讨这些模型的技术细节及其在现代人工智能中的核心作用。一、基础模型介绍：Transformer的核心原理Transformer架构的背景在Transfo
    • 使用由 Python 编写的 lxml 实现高性能 XML 解析 hunyxv python笔记pythonxml
      转载自：文章lxml简介Python从来不出现XML库短缺的情况。从2.0版本开始，它就附带了xml.dom.minidom和相关的pulldom以及SimpleAPIforXML(SAX)模块。从2.4开始，它附带了流行的ElementTreeAPI。此外，很多第三方库可以提供更高级别的或更具有python风格的接口。尽管任何XML库都足够处理简单的DocumentObjectModel(DOM
    • 信息系统安全相关概念(上) YuanDaima2048 课程笔记基础概念安全信息安全笔记
      文章总览：YuanDaiMa2048博客文章总览下篇:信息系统安全相关概念(下)信息系统安全相关概念[上]信息系统概述信息系统信息系统架构信息系统发展趋势：信息系统日趋大型化、复杂化信息系统面临的安全威胁信息系统安全架构设计--以云计算为例信息系统安全需求及安全策略自主访问控制策略DAC强制访问控制策略MAC信息系统概述信息系统用于收集、存储和处理数据以及传递信息、知识和数字产品的一组集成组件。几
    • 程序员架构师主要是做什么_程序员架构师：职责、技能与挑战 绿色小猪
      免费备考资料（2024年11月软考）：历年试题+视频课合集+电子讲义点击领取>>>免费刷题：2024年11月软考备考刷题点此进入>>>程序员架构师的角色定位在软件开发领域，程序员架构师是一个至关重要的角色。他们不仅需要深入理解业务需求，还要将其转化为技术上的解决方案。程序员架构师是项目中的技术领航者，负责制定和维护软件系统的整体架构，确保系统的可扩展性、可维护性和性能。他们的工作涉及从概念化到实现
    • metaRTC8.0，一个全新架构的webRTC SDK库 metaRTC webrtc音视频
      概述metaRTC8.0是metaRTC开源以来架构变化最大的一个版本，是metaIPC3.0等高性能的基础。metaRTC8.0是一个全新架构版本，并非在metaRTC7.0版本上简单升级，在QOS/语音对讲/内存占用/视频文件录制读取等方面新增多个模块，在弱网对抗/语音对讲/内存优化等效果上有显著提升。metaRTC8.0在一年多的开发中进行了近200次迭代，metaRTC8.0社区版计划在2
    • 鲲鹏 ARM 架构 麒麟 Lylin v10 安装 Nginx (离线) 焚木灵 arm开发架构nginx服务器
      最近做一个银行的项目，银行的服务器是鲲鹏ARM架构的服务器，并且是麒麟v10的系统，这里记录一下在无法访问外网安装Nginx的方法。其他文章：鲲鹏ARM架构麒麟Lylinv10安装Mysql8.3(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装Node和NVM(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装Pm2(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装P
    • Nginx的使用场景：构建高效、可扩展的Web架构 张某布响丸辣 nginx前端架构
      Nginx，作为当今最流行的Web服务器和反向代理软件之一，凭借其高性能、稳定性和灵活性，在众多Web项目中扮演着核心角色。无论是个人博客、中小型网站，还是大型企业级应用，Nginx都能提供强大的支持。本文将探讨Nginx的几个主要使用场景，帮助读者理解如何在实际项目中充分利用Nginx的优势。1.静态文件服务对于包含大量静态文件（如HTML、CSS、JavaScript、图片等）的网站，Ngin
    • Hadoop架构 henan程序媛 hadoop大数据分布式
      一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
    • [转载] NoSQL简介 weixin_30325793 大数据数据库运维
      摘自“百度百科”。NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。虽然NoSQL流行语
    • Web安全:Web体系架构存在的安全问题和解决方室 程序员-张师傅 前端安全web安全前端
      Web体系架构在提供丰富功能和高效服务的同时，也面临着诸多安全问题。这些问题可能涉及数据泄露、服务中断、系统被控制等多个方面，对企业和个人造成不可估量的损失。以下是对Web体系架构中存在的安全问题及解决方案的详细分析：Web体系架构存在的安全问题注入攻击SQL注入：攻击者通过在输入字段中插入恶意SQL代码，操控后台数据库，窃取、篡改或删除数据。OS命令注入：攻击者通过输入字段插入恶意代码，执行系统
    • Gobelieve 架构 weixin_34099526 数据库golangjson
      Gobelievegithub地址声明:转简书JackieF的文章,为了自己方便copy了一份,加一些自己的东西.链接：https://www.jianshu.com/p/8121d6e85282IMCore主要分三大块:im客户连接服务器（可分布式部署，暂无负载均衡模块)imr路由查询服务器（主要解决im分布式部署的问题）ims存储服务器(主从部署)基础模块1.数据包协议包：header(12)
    • Go 面向包的设计和架构分层 云满笔记 golang架构directorylayoutsrcproject
      标题Go面向包的设计和架构分层序前项目架构分层工具包项目应用项目cmd/internal/internal/pkg/pkg/vendor/面向包的设计和验证包的位置依赖包导入应用级别的策略数据的发送和接收错误处理测试捕获错误不建议的目录结论Go面向包的设计和架构分层序本篇内容主要讲解golang项目的面向包设计准则和基础的架构分层。信息来自原文ArdanLabs:Package-Oriented-
    • 单线程执行器（`SingleThreadedExecutor`）来处理节点的任务 课堂随想 moveit2机器人
      intmain(intargc,char**argv){rclcpp::init(argc,argv);rclcpp::NodeOptionsnode_options;node_options.automatically_declare_parameters_from_overrides(true);automove_group_node=rclcpp::Node::make_shared("mo
    • 多线程编程之存钱与取钱 周凡杨 javathread多线程存钱取钱
        生活费问题是这样的：学生每月都需要生活费，家长一次预存一段时间的生活费，家长和学生使用统一的一个帐号，在学生每次取帐号中一部分钱，直到帐号中没钱时 通知家长存钱，而家长看到帐户还有钱则不存钱，直到帐户没钱时才存钱。   问题分析：首先问题中有三个实体，学生、家长、银行账户，所以设计程序时就要设计三个类。其中银行账户只有一个，学生和家长操作的是同一个银行账户，学生的行为是
    • java中数组与List相互转换的方法 征客丶 JavaScriptjavajsonp
      1.List转换成为数组。（这里的List是实体是ArrayList) 　　调用ArrayList的toArray方法。 　　toArray 　　public T[] toArray(T[] a)返回一个按照正确的顺序包含此列表中所有元素的数组；返回数组的运行时类型就是指定数组的运行时类型。如果列表能放入指定的数组，则返回放入此列表元素的数组。否则，将根据指定数组的运行时类型和此列表的大小分
    • Shell 流程控制 daizj 流程控制if elsewhilecaseshell
      Shell 流程控制 和Java、PHP等语言不一样，sh的流程控制不可为空，如(以下为PHP流程控制写法)： <?php if(isset($_GET["q"])){ search(q);}else{// 不做任何事情} 在sh/bash里可不能这么写，如果else分支没有语句执行，就不要写这个else，就像这样 if else if if 语句语
    • Linux服务器新手操作之二 周凡杨 Linux 简单 操作
      1.利用关键字搜寻Man Pages    man -k keyword  其中-k 是选项，keyword是要搜寻的关键字 如果现在想使用whoami命令，但是只记住了前3个字符who，就可以使用 man -k who来搜寻关键字who的man命令       [haself@HA5-DZ26 ~]$ man -k
    • socket聊天室之服务器搭建 朱辉辉33 socket
      因为我们做的是聊天室，所以会有多个客户端，每个客户端我们用一个线程去实现，通过搭建一个服务器来实现从每个客户端来读取信息和发送信息。    我们先写客户端的线程。 public class ChatSocket extends Thread{ Socket socket; public ChatSocket(Socket socket){ this.sock
    • 利用finereport建设保险公司决策分析系统的思路和方法 老A不折腾 finereport金融保险分析系统报表系统项目开发
      决策分析系统呈现的是数据页面，也就是俗称的报表，报表与报表间、数据与数据间都按照一定的逻辑设定，是业务人员查看、分析数据的平台，更是辅助领导们运营决策的平台。底层数据决定上层分析，所以建设决策分析系统一般包括数据层处理（数据仓库建设）。   项目背景介绍 通常，保险公司信息化程度很高，基本上都有业务处理系统（像集团业务处理系统、老业务处理系统、个人代理人系统等）、数据服务系统（通过
    • 始终要页面在ifream的最顶层 林鹤霄
      index.jsp中有ifream，但是session消失后要让login.jsp始终显示到ifream的最顶层。。。始终没搞定，后来反复琢磨之后，得到了解决办法，在这儿给大家分享下。。 index.jsp--->主要是加了颜色的那一句 <html> <iframe name="top" ></iframe> <ifram
    • MySQL binlog恢复数据 aigo mysql
      1，先确保my.ini已经配置了binlog：   # binlog log_bin = D:/mysql-5.6.21-winx64/log/binlog/mysql-bin.log log_bin_index = D:/mysql-5.6.21-winx64/log/binlog/mysql-bin.index log_error = D:/mysql-5.6.21-win
    • OCX打成CBA包并实现自动安装与自动升级 alxw4616 ocxcab
      近来手上有个项目,需要使用ocx控件 (ocx是什么? http://baike.baidu.com/view/393671.htm) 在生产过程中我遇到了如下问题. 1. 如何让 ocx 自动安装?     a) 如何签名?     b) 如何打包?     c) 如何安装到指定目录? 2.
    • Hashmap队列和PriorityQueue队列的应用 百合不是茶 Hashmap队列PriorityQueue队列
        HashMap队列已经是学过了的,但是最近在用的时候不是很熟悉,刚刚重新看以一次,   HashMap是K,v键 ,值     put()添加元素      //下面试HashMap去掉重复的 package com.hashMapandPriorityQueue; import java.util.H
    • JDK1.5 returnvalue实例 bijian1013 javathreadjava多线程returnvalue
      Callable接口： 返回结果并且可能抛出异常的任务。实现者定义了一个不带任何参数的叫做 call 的方法。 Callable 接口类似于 Runnable，两者都是为那些其实例可能被另一个线程执行的类设计的。但是 Runnable 不会返回结果，并且无法抛出经过检查的异常。        ExecutorService接口方
    • angularjs指令中动态编译的方法(适用于有异步请求的情况) 内嵌指令无效 bijian1013 JavaScriptAngularJS
              在directive的link中有一个$http请求，当请求完成后根据返回的值动态做element.append('......');这个操作，能显示没问题，可问题是我动态组的HTML里面有ng-click，发现显示出来的内容根本不执行ng-click绑定的方法！     
    • 【Java范型二】Java范型详解之extend限定范型参数的类型 bit1129 extend
      在第一篇中，定义范型类时，使用如下的方式：   public class Generics<M, S, N> { //M,S,N是范型参数 }  这种方式定义的范型类有两个基本的问题：   1. 范型参数定义的实例字段，如private M m = null;由于M的类型在运行时才能确定，那么我们在类的方法中，无法使用m，这跟定义pri
    • 【HBase十三】HBase知识点总结 bit1129 hbase
      1. 数据从MemStore flush到磁盘的触发条件有哪些？    a.显式调用flush，比如flush 'mytable'    b.MemStore中的数据容量超过flush的指定容量，hbase.hregion.memstore.flush.size,默认值是64M 2. Region的构成是怎么样？ 1个Region由若干个Store组成
    • 服务器被DDOS攻击防御的SHELL脚本 ronin47
      mkdir /root/bin vi /root/bin/dropip.sh #!/bin/bash/bin/netstat -na|grep ESTABLISHED|awk ‘{print $5}’|awk -F:‘{print $1}’|sort|uniq -c|sort -rn|head -10|grep -v -E ’192.168|127.0′|awk ‘{if($2!=null&a
    • java程序员生存手册-craps 游戏-一个简单的游戏 bylijinnan java
      import java.util.Random; public class CrapsGame { /** * *一个简单的赌*博游戏，游戏规则如下： *玩家掷两个骰子，点数为1到6，如果第一次点数和为7或11，则玩家胜， *如果点数和为2、3或12，则玩家输， *如果和为其它点数，则记录第一次的点数和，然后继续掷骰，直至点数和等于第一次掷出的点
    • TOMCAT启动提示NB: JAVA_HOME should point to a JDK not a JRE解决 开窍的石头 JAVA_HOME
      当tomcat是解压的时候，用eclipse启动正常，点击startup.bat的时候启动报错; 报错如下：   The JAVA_HOME environment variable is not defined correctly This environment variable is needed to run this program NB: JAVA_HOME shou
    • [操作系统内核]操作系统与互联网 comsci 操作系统
           我首先申明：我这里所说的问题并不是针对哪个厂商的，仅仅是描述我对操作系统技术的一些看法       操作系统是一种与硬件层关系非常密切的系统软件，按理说，这种系统软件应该是由设计CPU和硬件板卡的厂商开发的，和软件公司没有直接的关系，也就是说，操作系统应该由做硬件的厂商来设计和开发
    • 富文本框ckeditor_4.4.7 文本框的简单使用 支持IE11 cuityang 富文本框
      <html xmlns="http://www.w3.org/1999/xhtml"> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /> <title>知识库内容编辑</tit
    • Property null not found darrenzhu datagridFlexAdvancedpropery null
      When you got error message like "Property null not found ***", try to fix it by the following way: 1)if you are using AdvancedDatagrid, make sure you only update the data in the data prov
    • MySQl数据库字符串替换函数使用 dcj3sjt126com mysql函数替换
      需求：需要将数据表中一个字段的值里面的所有的  .   替换成  _   原来的数据是  site.title  site.keywords  .... 替换后要为     site_title  site_keywords   使用的SQL语句如下：   updat
    • mac上终端起动MySQL的方法 dcj3sjt126com mysqlmac
      首先去官网下载: http://www.mysql.com/downloads/ 我下载了5.6.11的dmg然后安装,安装完成之后..如果要用终端去玩SQL.那么一开始要输入很长的:/usr/local/mysql/bin/mysql 这不方便啊,好想像windows下的cmd里面一样输入mysql -uroot -p1这样...上网查了下..可以实现滴. 打开终端,输入: 1
    • Gson使用一（Gson） eksliang jsongson
      转载请出自出处：http://eksliang.iteye.com/blog/2175401 一.概述 从结构上看Json，所有的数据（data）最终都可以分解成三种类型： 第一种类型是标量（scalar），也就是一个单独的字符串（string）或数字（numbers），比如"ickes"这个字符串。 第二种类型是序列（sequence），又叫做数组（array）
    • android点滴4 gundumw100 android
      Android 47个小知识 http://www.open-open.com/lib/view/open1422676091314.html Android实用代码七段（一） http://www.cnblogs.com/over140/archive/2012/09/26/2611999.html http://www.cnblogs.com/over140/arch
    • JavaWeb之JSP基本语法 ihuning javaweb
        目录   JSP模版元素  JSP表达式  JSP脚本片断  EL表达式  JSP注释  特殊字符序列的转义处理  如何查找JSP页面中的错误   JSP模版元素    JSP页面中的静态HTML内容称之为JSP模版元素，在静态的HTML内容之中可以嵌套JSP
    • App Extension编程指南（iOS8/OS X v10.10）中文版 啸笑天 ext
               当iOS 8.0和OS X v10.10发布后，一个全新的概念出现在我们眼前，那就是应用扩展。顾名思义，应用扩展允许开发者扩展应用的自定义功能和内容，能够让用户在使用其他app时使用该项功能。你可以开发一个应用扩展来执行某些特定的任务，用户使用该扩展后就可以在多个上下文环境中执行该任务。比如说，你提供了一个能让用户把内容分
    • SQLServer实现无限级树结构 macroli oraclesqlSQL Server
      表结构如下： 数据库id path titlesort 排序 1 0 首页 0 2 0,1 新闻 1 3 0,2 JAVA 2 4 0,3 JSP 3 5 0,2,3 业界动态 2 6 0,2,3 国内新闻 1 创建一个存储过程来实现，如果要在页面上使用可以设置一个返回变量将至传过去   create procedure test as begin decla
    • Css居中div，Css居中img，Css居中文本，Css垂直居中div qiaolevip 众观千象学习永无止境每天进步一点点css
      /**********Css居中Div**********/ div.center { width: 100px; margin: 0 auto; } /**********Css居中img**********/ img.center { display: block; margin-left: auto; margin-right: auto; }
    • Oracle 常用操作(实用) 吃猫的鱼 oracle
      SQL>select text from all_source where owner=user and name=upper('&plsql_name');  SQL>select * from user_ind_columns where index_name=upper('&index_name');  将表记录恢复到指定时间段以前
    • iOS中使用RSA对数据进行加密解密 witcheryne iosrsaiPhoneobjective c
        RSA算法是一种非对称加密算法,常被用于加密数据传输.如果配合上数字摘要算法, 也可以用于文件签名. 本文将讨论如何在iOS中使用RSA传输加密数据. 本文环境 mac os  openssl-1.0.1j, openssl需要使用1.x版本, 推荐使用[homebrew](http://brew.sh/)安装. Java 8 RSA基本原理 RS
    按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他