weixin_34235457
weixin_34235457

PostgreSQL 最佳实践 - 在线增量备份与任意时间点恢复

背景

冷备份, 以及逻辑备份都是某一个时间点的备份, 没有增量的概念.

如果数据库在运行过程中发生故障, 使用逻辑备份只能将数据库还原到备份时刻, 无法恢复到故障发生前的那个时刻.

又或者在使用过程中由于误操作修改或删除了重要数据, 需要还原到误操作前的那个时刻怎么办呢?

使用冷备份加上有效的归档文件可以实现任意时间点的恢复. 但是冷备份需要停库操作, 所以实用性不大.

本文要介绍的是在线的数据库文件备份, 弥补了冷备份的缺陷, 同时又支持基于时间点的恢复.

同时本文会介绍基于时间点(xid, target, time)的恢复方法.

准备工作

要实现增量的备份，我们需要配置一些参数。

postgresql.conf参数配置 :

1. wal日志级别 :

wal_level=archive 或 hot_standby  或 更高级别

如果要使用pg_basebackup通过流复制协议远程备份，建议使用hot_standby及以上级别的wal。

查看当前数据库的wal level :

pg93@db-172-16-3-33-> pg_controldata |grep wal_level  
Current wal_level setting:            hot_standby

如果结果不为hot_standby或者archive, 那么需要调整一下postgresql.conf. 并重启数据库.

2. 归档模式 :

    archive_mode = on  
如果原来是off的, 调整成on, 那么需要重启数据库.

3. 归档命令 :

首先要创建用于存放wal归档文件目录, 数据库启动用户需要写权限.

[root@db-172-16-3-33 postgresql-9.3beta1]# mkdir -p /pgdata/digoal/1921/data04/pg93archdir  
[root@db-172-16-3-33 postgresql-9.3beta1]# chown pg93:pg93 /pgdata/digoal/1921/data04/pg93archdir  
[root@db-172-16-3-33 postgresql-9.3beta1]# chmod 700 /pgdata/digoal/1921/data04/pg93archdir

然后在$PGDATA中创建归档脚本

[root@db-172-16-3-33 postgresql-9.3beta1]# su - pg93  
pg93@db-172-16-3-33-> cd $PGDATA  

pg93@db-172-16-3-33-> vi archive.sh   
#!/bin/bash  
  
export LANG=en_US.utf8  
export PGHOME=/opt/pgsql9.3  
export LD_LIBRARY_PATH=$PGHOME/lib:/lib64:/usr/lib64:/usr/local/lib64:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH  
export DATE=`date +"%Y%m%d"`  
export PATH=$PGHOME/bin:$PATH:.  
  
BASEDIR="/pgdata/digoal/1921/data04/pg93archdir"  
  
if [ ! -d $BASEDIR/$DATE ]; then  
  mkdir -p $BASEDIR/$DATE  
  if [ ! -d $BASEDIR/$DATE ]; then  
    echo "error mkdir -p $BASEDIR/$DATE"  
    exit 1  
  fi  
fi  
  
cp $1 $BASEDIR/$DATE/$2  
if [ $? -eq 0 ]; then  
  exit 0  
else  
  echo -e "cp $1 $BASEDIR/$DATE/$2 error"  
  exit 1  
fi  
  
echo -e "backup failed"  
exit 1

给archive.sh添加可执行权限 :

chmod 700 archive.sh

配置postgresql.conf中的归档命令 :

archive_command = 'archive.sh %p %f'

修改完后reload配置文件即可

pg_ctl reload

配置完后检查一下归档是否正常 :

pg93@db-172-16-3-33-> psql  
psql (9.3devel)  
Type "help" for help.  
digoal=# checkpoint;  
CHECKPOINT  
digoal=# select pg_switch_xlog();  
 pg_switch_xlog   
----------------  
 F/2095D8  
(1 row)  
digoal=# select pg_switch_xlog();  
 pg_switch_xlog   
----------------  
 F/1000000  
(1 row)  
digoal=# checkpoint;  
CHECKPOINT  
digoal=# select pg_switch_xlog();  
 pg_switch_xlog   
----------------  
 F/10000E8  
(1 row)  
digoal=# checkpoint;  
^[[ACHECKPOINT  
digoal=# select pg_switch_xlog();  
 pg_switch_xlog   
----------------  
 F/20000E8  
(1 row)

查看归档文件 :

pg93@db-172-16-3-33-> cd /pgdata/digoal/1921/data04/pg93archdir  
pg93@db-172-16-3-33-> ll  
total 4.0K  
drwx------ 2 pg93 pg93 4.0K May 27 10:56 20130527  
pg93@db-172-16-3-33-> cd 20130527/  
pg93@db-172-16-3-33-> ll  
total 48M  
-rw------- 1 pg93 pg93 16M May 27 10:56 000000030000000F00000000  
-rw------- 1 pg93 pg93 16M May 27 10:56 000000030000000F00000001  
-rw------- 1 pg93 pg93 16M May 27 10:56 000000030000000F00000002

4. 建议设置work process，sender进程数，才可以通过pg_basebackup使用流复制协议进行备份。

必须大于0，每个流复制连接需要一个wal sender进程。

max_worker_processes = 16
max_wal_senders = 8

5. 建议设置wal_keep_segments，确保非常大的数据库，在漫长的备份时间周期内xlog不被覆盖。

注意配置之后，pg_xlog至少会占用wal_keep_segments * wal文件大小 的空间。

需要预留好空间

wal_keep_segments = 1024

备份

具备了这些前提条件之后, 就可以进行在线备份了.

在线备份可以使用拷贝, rsync, 或者pg_basebackup命令进行.

方法一, 拷贝

首先在数据库中以超级用户执行如下命令 :

pg93@db-172-16-3-33-> psql  
psql (9.3devel)  
Type "help" for help.  
digoal=# select pg_start_backup(now()::text);  
 pg_start_backup   
-----------------  
 F/3000028  
(1 row)

这个命令执行的目的是在$PGDATA中记录一个标签文件, 包含标签名now()::text, 以及执行这条指令的启动时间和WAL位置.

标签文件信息如下 :

[root@db-172-16-3-33 postgresql-9.3beta1]# su - pg93  
pg93@db-172-16-3-33-> cd $PGDATA  
pg93@db-172-16-3-33-> cat backup_label   
START WAL LOCATION: F/3000028 (file 000000030000000F00000003)  
CHECKPOINT LOCATION: F/3000060  
BACKUP METHOD: pg_start_backup  
BACKUP FROM: master  
START TIME: 2013-05-27 11:02:58 CST  
LABEL: 2013-05-27 11:02:58.578713+08

接下来就可以拷贝数据文件了.

pg93@db-172-16-3-33-> cp -r -L $PGDATA /pgdata/digoal/1921/data04/pg93backup/20130527_onlinebackup

拷贝完后清除备份文件中pg_xlog和pg_log中的内容, 因为这些是不需要的.

cd /pgdata/digoal/1921/data04/pg93backup/20130527_onlinebackup/pg_xlog  
rm -rf *  
cd /pgdata/digoal/1921/data04/pg93backup/20130527_onlinebackup/pg_log  
rm -rf *

接下来使用超级用户在数据库中执行如下命令 :

pg93@db-172-16-3-33-> psql  
psql (9.3devel)  
Type "help" for help.  
digoal=# select pg_stop_backup();  
NOTICE:  pg_stop_backup complete, all required WAL segments have been archived  
 pg_stop_backup   
----------------  
 F/3001A20  
(1 row)

然后要备份这段时间产生的归档文件 :

需要的归档文件是哪些呢?

备份开始是的XLOG文件在backup_label中已经指出了000000030000000F00000003, 结束时的XLOG文件也可以从pg_stop_backup()的输出中得到 :

digoal=#  select pg_xlogfile_name('F/3001A20');  
     pg_xlogfile_name       
--------------------------  
 000000030000000F00000003  
(1 row)

如果你的PostgreSQL版本没有这个函数, 那么就自己计算一下文件名 :

参考 :

http://blog.163.com/digoal@126/blog/static/1638770402012914112949546/

因此本例中需要的文件只有1个就是000000030000000F00000003

如果归档文件本来就不是放在本地文件系统中, 那么也不需要二次备份归档文件. 只要别删掉需要的归档文件就行了.

方法二, rsync

方法与拷贝类似, 也需要先执行pg_start_backup, 然后调用rsync, 最后调用pg_stop_backup.

命令举例 :

pg93@db-172-16-3-33-> rsync -acvz -L --exclude "pg_xlog" --exclude "pg_log" $PGDATA /pgdata/digoal/1921/data04/pg93backup/20130527_backup

方法三, pg_basebackup

pg_basebackup是PostgreSQL 9.1 引入的一个数据库备份命令, pg_basebackup利用流复制协议传输数据库文件.

使用pg_basebackup备份数据库需要用到超级用户或者replication角色用户.

另外就是pg_basebackup不需要执行pg_start_backup和pg_stop_backup, 因为命令中已经封装了这些操作.

并且支持多个pg_basebackup并行备份同一个数据库集群.

例如 :

pg93@db-172-16-3-33-> psql  
psql (9.3devel)  
Type "help" for help.  
digoal=# create role replica login replication encrypted password 'replica';  
CREATE ROLE

配置pg_hba.conf , 允许连接.

host    replication     replica        172.16.3.40/32            md5  
pg_ctl reload

在另一台主机备份 :

pg93@db-172-16-3-40-> pg_basebackup -D ./basebackup_20130527 -F p -X stream -h 172.16.3.33 -p 1999 -U replica  
Password:   
WARNING:  skipping special file "./.s.PGSQL.1999"

需要注意, 以pg_basebackup备份, 如果表空间使用了软链接, 那么备份时在目标端也会创建软链接, 因此需要先保证目录存在并有写权限.

例如本例 :

pg93@db-172-16-3-40-> cd basebackup_20130527/  
pg93@db-172-16-3-40-> cd pg_tblspc/  
pg93@db-172-16-3-40-> ll  
total 0  
lrwxrwxrwx 1 pg93 pg93 47 May 27 12:28 26425 -> /pgdata/digoal/1921/data03/pg93/1999/tbs_digoal

那么目标端的/pgdata/digoal/1921/data03/pg93/1999 这个目录要先创建好, 并提供写权限.

PITR还原举例

PostgreSQL 支持指定还原点的位置, 即数据库恢复到什么位置停下来.

4个recovery.conf参数控制恢复停止在哪个位置.

1. recovery_target_name, 指pg_create_restore_point(text)创建的还原点, 如果有重名的还原点, 那么在recovery过程中第一个遇到的还原点即停止.

2. recovery_target_time, 指XLOG中记录的recordXtime(xl_xact_commit_compact->xact_time), 配合recovery_target_inclusive使用,

如果在同一个时间点有多个事务回滚或提交, 那么recovery_target_inclusive=false则恢复到这个时间点第一个回滚或提交的事务(含), recovery_target_inclusive=true则恢复到这个时间点最后一个回滚或提交的事务(含).   

如果时间点上刚好只有1个事务回滚或提交, 那么recovery_target_inclusive=true和false一样, 恢复将处理到这个事务包含的xlog信息(含).   

如果时间点没有匹配的事务提交或回滚信息, 那么recovery_target_inclusive=true和false一样, 恢复将处理到这个时间后的下一个事务回滚或提交的xlog信息(含).

3. recovery_target_xid, 指XLogRecord->xl_xid, 可以配合recovery_target_inclusive使用, 但是recovery_target_inclusive只影响日志的输出, 并不影响恢复进程截至点的选择, 截至都截止于这个xid的xlog位置. 也就是说无论如何都包含了这个事务的xlog信息的recovery.

这里需要特别注意xid的信息体现在结束时, 而不是分配xid时. 所以恢复到xid=100提交|回滚点, 可能xid=102已经先提交了. 那么包含xid=102的xlog信息会被recovery.

4. recovery_target_inclusive

还原点的详细介绍可参考 :

http://blog.163.com/digoal@126/blog/static/163877040201303082942271/

在还原前, 对数据库做一些DML操作, 配合这些DML操作来讲解一下这几个参数的含义.

场景1

1.
begin1;query1;commit1; begin2; query2_1; pg_create_restore_point(text); query2_2; commit2;

按照以上描述, 使用recovery_target_name恢复数据库恢复后应该包含query1的变更, 但是不包含query2_1和query2_2的变更.

begin1;query1;commit1; -- SESSION A :   
digoal=# create table pitr_test(id int, info text);  
CREATE TABLE  
digoal=# insert into pitr_test values (1,'test');  
INSERT 0 1  
begin2; query2_1; -- SESSION A :   
digoal=# begin;  
BEGIN  
digoal=# insert into pitr_test values (2,'test');  
INSERT 0 1  
  
pg_create_restore_point(text); -- SESSION B :   
digoal=# select pg_create_restore_point('pitr_test');  
 pg_create_restore_point   
-------------------------  
 F/B01F8C8  
(1 row)  
  
query2_2; commit2; -- SESSION B :   
digoal=# insert into pitr_test values (3,'test');  
INSERT 0 1  
digoal=# commit;  
COMMIT

切换日志, 归档 :

digoal=# checkpoint;  
CHECKPOINT  
digoal=# select pg_xlogfile_name(pg_switch_xlog());  
     pg_xlogfile_name       
--------------------------  
 000000030000000F0000000C  
(1 row)  
digoal=# checkpoint;  
CHECKPOINT  
digoal=# select pg_xlogfile_name(pg_switch_xlog());  
     pg_xlogfile_name       
--------------------------  
 000000030000000F0000000D  
(1 row)

使用拷贝的备份以及归档日志还原 :

关闭数据库

pg93@db-172-16-3-33-> pg_ctl stop -m fast  
waiting for server to shut down.... done  
server stopped

删除数据库目录以及表空间目录

pg93@db-172-16-3-33-> cd $PGDATA  
pg93@db-172-16-3-33-> cd pg_tblspc/  
pg93@db-172-16-3-33-> ll  
total 0  
lrwxrwxrwx 1 pg93 pg93 47 May 26 18:04 26425 -> /pgdata/digoal/1921/data03/pg93/1999/tbs_digoal  
pg93@db-172-16-3-33-> rm -rf /pgdata/digoal/1921/data03/pg93/1999/tbs_digoal/*  
pg93@db-172-16-3-33-> cd $PGDATA  
pg93@db-172-16-3-33-> rm -rf *

还原备份以及表空间软链接

pg93@db-172-16-3-33-> cp -r /pgdata/digoal/1921/data04/pg93backup/20130527_onlinebackup/* $PGDATA/  
pg93@db-172-16-3-33-> cd $PGDATA  
pg93@db-172-16-3-33-> cd pg_tblspc/  
pg93@db-172-16-3-33-> ll  
total 4.0K  
drwx------ 3 pg93 pg93 4.0K May 27 14:32 26425  
pg93@db-172-16-3-33-> mv 26425/* /pgdata/digoal/1921/data03/pg93/1999/tbs_digoal/  
pg93@db-172-16-3-33-> rm -rf 26425  
pg93@db-172-16-3-33-> ln -s /pgdata/digoal/1921/data03/pg93/1999/tbs_digoal ./26425  
pg93@db-172-16-3-33-> ll  
total 0  
lrwxrwxrwx 1 pg93 pg93 47 May 27 14:34 26425 -> /pgdata/digoal/1921/data03/pg93/1999/tbs_digoal

创建pg_log目录, 存放日志 :

pg93@db-172-16-3-33-> cd $PGDATA  
pg93@db-172-16-3-33-> mkdir -p pg_log

配置$PGDATA/recovery.conf

pg93@db-172-16-3-33-> cd $PGDATA  
pg93@db-172-16-3-33-> cp $PGHOME/share/recovery.conf.sample ./recovery.conf  
vi recovery.conf  
restore_command = 'recovery.sh /pgdata/digoal/1921/data04/pg93archdir %f %p'            # e.g. 'cp /mnt/server/archivedir/%f %p'  
recovery_target_name = 'pitr_test'      # e.g. 'daily backup 2011-01-26'  
recovery_target_timeline = 'latest'

创建恢复脚本 :

pg93@db-172-16-3-33-> cat recovery.sh  
#!/bin/bash  
  
export LANG=en_US.utf8  
export PGHOME=/opt/pgsql9.3  
export LD_LIBRARY_PATH=$PGHOME/lib:/lib64:/usr/lib64:/usr/local/lib64:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH  
export DATE=`date +"%Y%m%d"`  
export PATH=$PGHOME/bin:$PATH:.  
  
BASEDIR=$1  
  
find $BASEDIR -name $2 -exec cp {} $3 \;

添加可执行权限 :

pg93@db-172-16-3-33-> chmod 700 recovery.sh

启动数据库

pg93@db-172-16-3-33-> pg_ctl start  
server starting  
pg93@db-172-16-3-33-> LOG:  00000: loaded library "pg_stat_statements"  
LOCATION:  load_libraries, miscinit.c:1296

查看还原点是否与预计匹配 :

pg93@db-172-16-3-33-> psql  
psql (9.3devel)  
Type "help" for help.  
digoal=# select ctid,* from pitr_test ;  
 ctid  | id | info   
-------+----+------  
 (0,1) |  1 | test  
(1 row)  
digoal=# insert into pitr_test values(2,'new');  
INSERT 0 1  
digoal=# select ctid,* from pitr_test ;  
 ctid  | id | info   
-------+----+------  
 (0,1) |  1 | test  
 (0,3) |  2 | new  
(2 rows)

新插入的数据ctid=3, 说明query2_1的xlog信息被恢复了, 但是回滚了. 如果没有执行info=new的ctid应该=2.

场景2

2.
commit_xact1; time1; rollback_xact2; time2; commit_xact3; commit_xact4;

按照以上描述, 使用recovery_target_time恢复,

如果recovery_target_time=time1, 不管recovery_target_inclusive=true|false, 恢复后应该都只能看到commit_xact1;的数据变更. 因为rollback_xact2回滚了, 不过使用ctid也能看出回滚的影响, 因为rollback_xact2;的xlog是需要处理的.  

如果recovery_target_time=time2, 不管recovery_target_inclusive=true|false, 恢复后应该都只能看到commit_xact3;的数据变更. 但是绝对看不到commit_xact4的变更, 即使ctid也不会有影响, 因为commit_xact4;的xlog不会被处理.  
commit_xact1; -- SESSION A :   
digoal=# truncate pitr_test ;  
TRUNCATE TABLE  
digoal=# insert into pitr_test values (1,'test');  
INSERT 0 1  
  
time1; -- SESSION A :   
digoal=# select now();  
              now                
-------------------------------  
 2013-05-27 15:39:57.033134+08  
(1 row)  
  
rollback_xact2; -- SESSION A :   
digoal=# begin;  
BEGIN  
digoal=# insert into pitr_test values (2,'rollback');  
INSERT 0 1  
digoal=# insert into pitr_test values (3,'rollback');  
INSERT 0 1  
digoal=# rollback;  
ROLLBACK  
  
time2; -- SESSION A :   
digoal=# select now();  
              now                
-------------------------------  
 2013-05-27 15:40:24.055161+08  
(1 row)  
  
commit_xact3; -- SESSION A :   
digoal=# insert into pitr_test values (4,'new');  
INSERT 0 1  
  
commit_xact4; -- SESSION A :   
digoal=# insert into pitr_test values (5,'new');  
INSERT 0 1

切换日志, 归档 :

digoal=# checkpoint;  
CHECKPOINT  
digoal=# select pg_xlogfile_name(pg_switch_xlog());  
     pg_xlogfile_name       
--------------------------  
 000000010000000000000003  
(1 row)  
digoal=# checkpoint;  
CHECKPOINT  
digoal=# select pg_xlogfile_name(pg_switch_xlog());  
     pg_xlogfile_name       
--------------------------  
 000000010000000000000004  
(1 row)

使用拷贝的备份以及归档日志还原 :

关闭数据库

pg93@db-172-16-3-33-> pg_ctl stop -m fast  
waiting for server to shut down.... done  
server stopped

删除数据库目录以及表空间目录(为简化例子, 本例无新建的表空间.)

pg93@db-172-16-3-33-> cd $PGDATA  
pg93@db-172-16-3-33-> rm -rf *

还原备份以及表空间软链接

pg93@db-172-16-3-33-> cp -r /pgdata/digoal/1921/data04/pg93backup/20130527_onlinebackup/* $PGDATA

创建pg_log目录, 存放日志 :

pg93@db-172-16-3-33-> cd $PGDATA

配置$PGDATA/recovery.conf

pg93@db-172-16-3-33-> cd $PGDATA  
pg93@db-172-16-3-33-> cp $PGHOME/share/recovery.conf.sample ./recovery.conf  

vi recovery.conf  
restore_command = 'recovery.sh /pgdata/digoal/1921/data04/pg93archdir %f %p'            # e.g. 'cp /mnt/server/archivedir/%f %p'  
recovery_target_time = '2013-05-27 15:39:57.033134+08'  
recovery_target_inclusive = false  
recovery_target_timeline = 'latest'

创建恢复脚本 :

pg93@db-172-16-3-33-> cat recovery.sh  
#!/bin/bash  
  
export LANG=en_US.utf8  
export PGHOME=/opt/pgsql9.3  
export LD_LIBRARY_PATH=$PGHOME/lib:/lib64:/usr/lib64:/usr/local/lib64:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH  
export DATE=`date +"%Y%m%d"`  
export PATH=$PGHOME/bin:$PATH:.  
  
BASEDIR=$1  
  
find $BASEDIR -name $2 -exec cp {} $3 \;

添加可执行权限 :

pg93@db-172-16-3-33-> chmod 700 recovery.sh

启动数据库

pg93@db-172-16-3-33-> pg_ctl start  
server starting  
pg93@db-172-16-3-33-> LOG:  00000: loaded library "pg_stat_statements"  
LOCATION:  load_libraries, miscinit.c:1296

查看还原点是否与预计匹配 :

pg93@db-172-16-3-33-> psql  
psql (9.3devel)  
Type "help" for help.  
digoal=# select ctid,* from pitr_test ;  
 ctid  | id | info   
-------+----+------  
 (0,1) |  1 | test  
(1 row)  
digoal=# insert into pitr_test values(10,'new');  
INSERT 0 1  
digoal=# select ctid,* from pitr_test ;  
 ctid  | id | info   
-------+----+------  
 (0,1) |  1 | test  
 (0,4) | 10 | new  
(2 rows)

新插入的数据ctid=4, 说明rollback_xact2;的xlog信息被恢复了, 但是回滚了. 如果没有执行info=new的ctid应该=2.

其他几种搭配就不测试了, 原理已经介绍清楚了. 有兴趣的朋友可以自行测试.

场景3

3.
commit_xact1;begin2;query2_1;commit_xact3;commit_xact4;query2_2;rollback2;commit_xact5;

recovery_target_xid=commit_xact1, 无论recovery_target_inclusive=true|false, 恢复后数据库将包含commit_xact1的数据变更;

recovery_target_xid=rollback2; 则包含xact1,xact3,xact4的变更以及xact2的回滚;

recovery_target_xid=xact5; 则包含所有xlog信息.

commit_xact1; -- SESSION A :   
digoal=# truncate pitr_test ;  
TRUNCATE TABLE  
digoal=# begin;  
BEGIN  
digoal=# select txid_current();  
 txid_current   
--------------  
         1691  
(1 row)  
digoal=# insert into pitr_test values (1,'test');  
INSERT 0 1  
digoal=# end;  
COMMIT  
  
begin2;query2_1; -- SESSION A :   
digoal=# begin;  
BEGIN  
digoal=# select txid_current();  
 txid_current   
--------------  
         1692  
(1 row)  
digoal=# insert into pitr_test values (1692,'test');  
INSERT 0 1  
  
commit_xact3;commit_xact4; -- SESSION B :   
digoal=# begin;  
BEGIN  
digoal=# select txid_current();  
 txid_current   
--------------  
         1693  
(1 row)  
digoal=# insert into pitr_test values (1693,'teset');  
INSERT 0 1  
digoal=# end;  
COMMIT  
digoal=# begin;  
BEGIN  
digoal=# select txid_current();  
 txid_current   
--------------  
         1694  
(1 row)  
digoal=# insert into pitr_test values (1693,'teset');  
INSERT 0 1  
digoal=# insert into pitr_test values (1694,'teset');  
INSERT 0 1  
digoal=# end;  
COMMIT  
  
query2_2;rollback2; -- SESSION A :   
digoal=# insert into pitr_test values (1692,'new_test');  
INSERT 0 1  
digoal=# rollback;  
ROLLBACK  
  
commit_xact5; -- SESSION A :   
digoal=# begin;  
BEGIN  
digoal=# select txid_current();  
 txid_current   
--------------  
         1695  
(1 row)  
digoal=# insert into pitr_test values (1695,'test');  
INSERT 0 1  
digoal=# commit;  
COMMIT

切换日志, 归档 :

digoal=# checkpoint;  
CHECKPOINT  
digoal=# select pg_xlogfile_name(pg_switch_xlog());  
     pg_xlogfile_name       
--------------------------  
 000000020000000000000003  
(1 row)  
digoal=# checkpoint;  
CHECKPOINT  
digoal=# select pg_xlogfile_name(pg_switch_xlog());  
     pg_xlogfile_name       
--------------------------  
 000000020000000000000004  
(1 row)

使用拷贝的备份以及归档日志还原 :

关闭数据库

pg93@db-172-16-3-33-> pg_ctl stop -m fast  
waiting for server to shut down.... done  
server stopped

删除数据库目录以及表空间目录(为简化例子, 本例无新建的表空间.)

pg93@db-172-16-3-33-> cd $PGDATA  
pg93@db-172-16-3-33-> rm -rf *

还原备份以及表空间软链接

pg93@db-172-16-3-33-> cp -r /pgdata/digoal/1921/data04/pg93backup/20130527_onlinebackup/* $PGDATA

创建pg_log目录, 存放日志 :

pg93@db-172-16-3-33-> cd $PGDATA

配置$PGDATA/recovery.conf

pg93@db-172-16-3-33-> cd $PGDATA  
pg93@db-172-16-3-33-> cp $PGHOME/share/recovery.conf.sample ./recovery.conf  
vi recovery.conf  
restore_command = 'recovery.sh /pgdata/digoal/1921/data04/pg93archdir %f %p'            # e.g. 'cp /mnt/server/archivedir/%f %p'  
recovery_target_xid = '1692'  
recovery_target_inclusive = false  
recovery_target_timeline = 'latest'

创建恢复脚本 :

pg93@db-172-16-3-33-> cat recovery.sh  
#!/bin/bash  
  
export LANG=en_US.utf8  
export PGHOME=/opt/pgsql9.3  
export LD_LIBRARY_PATH=$PGHOME/lib:/lib64:/usr/lib64:/usr/local/lib64:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH  
export DATE=`date +"%Y%m%d"`  
export PATH=$PGHOME/bin:$PATH:.  
  
BASEDIR=$1  
  
find $BASEDIR -name $2 -exec cp {} $3 \;

添加可执行权限 :

pg93@db-172-16-3-33-> chmod 700 recovery.sh

启动数据库

pg93@db-172-16-3-33-> pg_ctl start  
server starting  
pg93@db-172-16-3-33-> LOG:  00000: loaded library "pg_stat_statements"  
LOCATION:  load_libraries, miscinit.c:1296

查看还原点是否与预计匹配 :

pg93@db-172-16-3-33-> psql  
psql (9.3devel)  
Type "help" for help.  
digoal=# select ctid,* from pitr_test ;  
 ctid  |  id  | info    
-------+------+-------  
 (0,1) |    1 | test  
 (0,3) | 1693 | teset  
 (0,4) | 1693 | teset  
 (0,5) | 1694 | teset  
(4 rows)  
digoal=# insert into pitr_test values(10,'new');  
INSERT 0 1  
digoal=# select ctid,* from pitr_test ;  
 ctid  |  id  | info    
-------+------+-------  
 (0,1) |    1 | test  
 (0,3) | 1693 | teset  
 (0,4) | 1693 | teset  
 (0,5) | 1694 | teset  
 (0,7) |   10 | new  
(5 rows)

因为只有当record_info等于XLOG_XACT_ABORT,XLOG_XACT_COMMIT或者XLOG_XACT_COMMIT_COMPACT, 或者自建还原点时才可以被作为截至点,

所以本例使用xid=1692作为截至点, xlog会应用到query2_2;rollback2; -- SESSION A : 这个位置(并且包含这个xlog信息).

因此在此之前应该插入了6条记录, 所以新插入的数据ctid=7, 再次说明query2_2;rollback2;的xlog信息被恢复了, 但是回滚了.

其他几种搭配就不测试了, 原理已经介绍清楚了. 有兴趣的朋友可以自行测试.

自动备份

这个可以结合操作系统的定时脚本来实现, 在Linux中可以使用crontab.

例如 :

1. 首先规划好存放数据库数据文件的目录.

mkdir -p /pgdata/digoal/1921/data04/pg93backup  
chown -R pg93:pg93 /pgdata/digoal/1921/data04/pg93backup  
chmod 700 /pgdata/digoal/1921/data04/pg93backup

2. 编写备份脚本

pg93@db-172-16-3-33-> cd $PGDATA  
pg93@db-172-16-3-33-> vi backup.sh  
#!/bin/bash  
  
export LANG=en_US.utf8  
export PGHOME=/opt/pgsql9.3  
export LD_LIBRARY_PATH=$PGHOME/lib:/lib64:/usr/lib64:/usr/local/lib64:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH  
export DATE=`date +"%Y%m%d"`  
export PATH=$PGHOME/bin:$PATH:.  
export PGDATA=/pgdata1999  
  
BASEDIR="/pgdata/digoal/1921/data04/pg93backup"  
  
date +%F%T  
  
if [ ! -d $BASEDIR/$DATE ]; then  
  mkdir -p $BASEDIR/$DATE  
  if [ $? -eq 0 ]; then  
    psql -h 127.0.0.1 -p 1999 -U postgres postgres -c "select pg_start_backup(now()::text)"  
    if [ $? -eq 0 ]; then  
      cp -r -L $PGDATA $BASEDIR/$DATE  
    else  
      echo -e "select pg_start_backup(now()::text) error"  
      exit 1  
    fi  
    psql -h 127.0.0.1 -p 1999 -U postgres postgres -c "select pg_stop_backup()"  
    date +%F%T  
    echo -e "backup successed"  
    exit 0  
  else  
    echo -e "mkdir -p $BASEDIR/$DATE error"  
    exit 1  
  fi  
else  
  echo -e "$DATE backuped, don't backup repeated"  
  exit 1  
fi

修改权限

pg93@db-172-16-3-33-> chmod 700 backup.sh

3. 测试

pg93@db-172-16-3-33-> ./backup.sh   
 pg_start_backup   
-----------------  
 0/6000028  
(1 row)  
  
NOTICE:  pg_stop_backup complete, all required WAL segments have been archived  
 pg_stop_backup   
----------------  
 0/60000F0  
(1 row)

pg93@db-172-16-3-33-> 再次执行则退出, 因为今天已经备份了.

pg93@db-172-16-3-33-> ./backup.sh   
20130527 backuped, don't backup repeated

4. 配置crontab
首先删除当天备份

rm -rf /pgdata/digoal/1921/data04/pg93backup/20130527

配置自动备份

su - pg93  
crontab -e  
40 16 * * * /pgdata1999/backup.sh >>/tmp/backup.log 2>&1

5. 检查是否自动备份.

pg93@db-172-16-3-33-> cat /tmp/backup.log   
2013-05-2716:40:01  
 pg_start_backup   
-----------------  
 0/8000028  
(1 row)  
  
NOTICE:  pg_stop_backup complete, all required WAL segments have been archived  
 pg_stop_backup   
----------------  
 0/80000F0  
(1 row)  
  
2013-05-2716:40:02  
backup successed

检查备份成功后把crontab调整为你需要的备份时间即可. 例如每天都凌晨2点开始备份.

0 2 * * * /pgdata1999/backup.sh >>/tmp/backup.log 2>&1

参考

1. http://blog.163.com/digoal@126/blog/static/1638770402012914112949546/
2. http://blog.163.com/digoal@126/blog/static/163877040201303082942271/

你可能感兴趣的:(数据库,操作系统)

  • Linux下QT开发的动态库界面弹出操作（SDL2） 13jjyao QT类qt开发语言sdl2linux
    需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
  • Google earth studio 简介 陟彼高冈yu 旅游
    GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
  • PHP环境搭建详细教程 好看资源平台 前端php
    PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
  • 关于提高复杂业务逻辑代码可读性的思考 编程经验分享 开发经验java数据库开发语言
    目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
  • SQL Server_查询某一数据库中的所有表的内容 qq_42772833 SQLServer数据库sqlserver
    1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
  • 深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库python
    深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
  • MongoDB Oplog 窗口 喝醉酒的小白 MongoDB运维
    在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
  • python os 环境变量 CV矿工 python开发语言numpy
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
  • 【PG】常见数据库、表属性设置 江无羡 数据库
    PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • insert into select 主键自增_mybatis拦截器实现主键自动生成 weixin_39521651 insertintoselect主键自增mybatisdelete返回值mybatisinsert返回主键mybatisinsert返回对象mybatisplusinsert返回主键mybatisplus插入生成id
    前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
  • 关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解 秋刀prince mysqlmysql数据库
    提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
  • 【从浅识到熟知Linux】Linux发展史 Jammingpro 从浅学到熟知Linuxlinux运维服务器
    归属专栏：从浅学到熟知Linux个人主页：Jammingpro每日努力一点点，技术变化看得见文章前言：本篇文章记录Linux发展的历史，因在介绍Linux过程中涉及的其他操作系统及人物，本文对相关内容也有所介绍。文章目录Unix发展史Linux发展史开源Linux官网企业应用情况发行版本在学习Linux前，我们可能都会问Linux从哪里来？它是如何发展的。但在介绍Linux之前，需要先介绍一下Un
  • linux 发展史 种树的猴子 内核java操作系统linux大数据
    linux发展史说明此前对linux认识模糊一知半解，近期通过学习将自己对于linux的发展总结一下方便大家日后的学习。那Linux是目前一款非常火热的开源操作系统，可是linux是什么时候出现的，又是因为什么样的原因被开发出来的呢。以下将对linux的发展历程进行详细的讲解。目录一、Linux发展背景二、UINIX的诞生三、UNIX的重要分支-BSD的诞生四、Minix的诞生五、GNU与Free
  • Java爬虫框架（一）--架构设计 狼图腾-狼之传说 java框架java任务html解析器存储电子商务
    一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
  • MongoDB知识概括 GeorgeLin98 持久层mongodb
    MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
  • Mongodb Error: queryTxt ETIMEOUT xxxx.wwwdz.mongodb.net 佛一脚 errorreactmongodb数据库
    背景每天都能遇到奇怪的问题，做个记录，以便有缘人能得到帮助！换了一台电脑开发nextjs程序。需要连接mongodb数据，对数据进行增删改查。上一台电脑好好的程序，新电脑死活连不上mongodb数据库。同一套代码，没任何修改，搞得我怀疑人生了，打开浏览器进入mongodb官网毫无问题，也能进入线上系统查看数据，网络应该是没问题。于是我尝试了一下手机热点，这次代码能正常跑起来，连接数据库了！！！是不
  • 入门MySQL——查询语法练习 K_un
    前言：前面几篇文章为大家介绍了DML以及DDL语句的使用方法，本篇文章将主要讲述常用的查询语法。其实MySQL官网给出了多个示例数据库供大家实用查询，下面我们以最常用的员工示例数据库为准，详细介绍各自常用的查询语法。1.员工示例数据库导入官方文档员工示例数据库介绍及下载链接：https://dev.mysql.com/doc/employee/en/employees-installation.h
  • 2023最详细的Python安装教程（Windows版本） 程序员林哥 Pythonpythonwindows开发语言
    python安装是学习pyhon第一步，很多刚入门小白不清楚如何安装python，今天我来带大家完成python安装与配置，跟着我一步步来，很简单，你肯定能完成。第一部分：python安装（一）准备工作1、下载和安装python(认准官方网站)当然你不想去下载的话也可以分享给你，还有入门学习教程，点击下方卡片跳转进群领取（二）开始安装对于Windows操作系统，可以下载“executableins
  • 博客网站制作教程 2401_85194651 javamaven
    首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
  • ubuntu安装wordpress lissettecarlr
    1安装nginx网上安装方式很多，这就就直接用apt-get了apt-getinstallnginx不用启动啥，然后直接在浏览器里面输入IP:80就能看到nginx的主页了。如果修改了一些配置可以使用下列命令重启一下systemctlrestartnginx.service2安装mysql输入安装前也可以更新一下软件源，在安装过程中将会让你输入数据库的密码。sudoapt-getinstallmy
  • 深入浅出 -- 系统架构之负载均衡Nginx的性能优化 xiaoli8748_软件开发 系统架构系统架构负载均衡nginx
    一、Nginx性能优化到这里文章的篇幅较长了，最后再来聊一下关于Nginx的性能优化，主要就简单说说收益最高的几个优化项，在这块就不再展开叙述了，毕竟影响性能都有多方面原因导致的，比如网络、服务器硬件、操作系统、后端服务、程序自身、数据库服务等，对于性能调优比较感兴趣的可以参考之前《JVM性能调优》中的调优思想。优化一：打开长连接配置通常Nginx作为代理服务，负责分发客户端的请求，那么建议开启H
  • 【RabbitMQ 项目】服务端：数据管理模块之绑定管理 月夜星辉雪 rabbitmq分布式
    文章目录一.编写思路二.代码实践一.编写思路定义绑定信息类交换机名称队列名称绑定关键字：交换机的路由交换算法中会用到没有是否持久化的标志，因为绑定是否持久化取决于交换机和队列是否持久化，只有它们都持久化时绑定才需要持久化。绑定就好像一根绳子，两端连接着交换机和队列，当一方不存在，它就没有存在的必要了定义绑定持久化类构造函数：如果数据库文件不存在则创建，打开数据库，创建binding_table插入
  • 计算机毕业设计PHP仓储综合管理系统（源码+程序+VUE+lw+部署） java毕设程序源码王哥 php课程设计vue.js
    该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：phpStudy+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue+Express。项目技术：原生PHP++Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是小皮phpstudy最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
  • 经纬恒润二面&三七互娱一面&元象二面 Redstone Monstrosity 面试前端
    1.请尽可能详细地说明，进程和线程的区别，分别有哪些应用场景？进程间如何通信？线程间如何通信？你的回答中不要写出示例代码。进程和线程是操作系统中的两个基本概念，它们在计算机系统中扮演着不同的角色，并且在不同的应用场景中发挥作用。进程和线程的区别定义：进程：进程是操作系统进行资源分配和调度的基本单位。每个进程都有独立的内存空间和系统资源。线程：线程是进程内的一个执行单元，是操作系统进行调度的最小单位
  • 3.增删改查--连接查询 问女何所忆
    关系型数据库的一个特点就是，多张表之间存在关系，以致于我们可以连接多张表进行查询操作，所以连接查询会是关系型数据库中最常见的操作。连接查询主要分为三种，交叉连接、内连接和外连接，我们一个个说。1、交叉连接交叉连接其实连接查询的第一个阶段，它简单表现为两张表的笛卡尔积形式，具体例子：如果你没学过数学中的笛卡尔积概念，你可以这样简单的理解这里的交叉连接：两张表的交叉连接就是一个连接合并的过程，T1表中
  • C++常见知识掌握 nfgo c++开发语言
    1.Linux软件开发、调试与维护内核与系统结构Linux内核是操作系统的核心，负责管理硬件资源，提供系统服务，它是系统软件与硬件之间的桥梁。主要组成部分包括：进程管理：内核通过调度器分配CPU时间给各个进程，实现进程的创建、调度、终止等操作。使用进程描述符（task_struct）来存储进程信息，包括状态（就绪、运行、阻塞等）、优先级、内存映射等。内存管理：包括物理内存和虚拟内存管理。通过页表映
  • docker from指令的含义_多个FROM-含义 weixin_39722188 dockerfrom指令的含义
    小编典典什么是基本图片？一组文件，加上EXPOSE端口ENTRYPOINT和CMD。您可以添加文件并基于该基础图像构建新图像，Dockerfile并以FROM指令开头：后面提到的图像FROM是新图像的“基础图像”。这是否意味着如果我neo4j/neo4j在FROM指令中声明，则在运行映像时，neo数据库将自动运行并且可在端口7474的容器中使用？仅当您不覆盖CMD和时ENTRYPOINT。但是图像
  • Redis:缓存击穿 我的程序快快跑啊 缓存redisjava
    缓存击穿(热点key)：部分key(被高并发访问且缓存重建业务复杂的)失效,无数请求会直接到数据库，造成巨大压力1.互斥锁：可以保证强一致性线程一：未命中之后，获取互斥锁，再查询数据库重建缓存，写入缓存，释放锁线程二：查询未命中，未获得锁(已由线程一获得)，等待一会，缓存命中互斥锁实现方式：redis中setnxkeyvalue:改变对应key的value,仅当value不存在时执行，以此来实现互
  • mysql学习教程，从入门到精通，TOP 和MySQL LIMIT 子句（15） 知识分享小能手 大数据数据库MySQLmysql学习oracle数据库开发语言adb大数据
    1、TOP和MySQLLIMIT子句内容在SQL中，不同的数据库系统对于限制查询结果的数量有不同的实现方式。TOP关键字主要用于SQLServer和Access数据库中，而LIMIT子句则主要用于MySQL、PostgreSQL（通过LIMIT/OFFSET语法）、SQLite等数据库中。下面将分别详细介绍这两个功能的语法、语句以及案例。1.1、TOP子句（SQLServer和Access）1.1
  • java线程Thread和Runnable区别和联系 zx_code javajvmthread多线程Runnable
    我们都晓得java实现线程2种方式，一个是继承Thread，另一个是实现Runnable。 模拟窗口买票，第一例子继承thread，代码如下 package thread; public class ThreadTest { public static void main(String[] args) { Thread1 t1 = new Thread1(
  • 【转】JSON与XML的区别比较 丁_新 jsonxml
    1.定义介绍 (1).XML定义 扩展标记语言 (Extensible Markup Language, XML) ，用于标记电子文件使其具有结构性的标记语言，可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。 XML使用DTD(document type definition)文档类型定义来组织数据;格式统一，跨平台和语言，早已成为业界公认的标准。 XML是标
  • c++ 实现五种基础的排序算法 CrazyMizzz C++c算法
    #include<iostream> using namespace std; //辅助函数，交换两数之值 template<class T> void mySwap(T &x, T &y){ T temp = x; x = y; y = temp; } const int size = 10; //一、用直接插入排
  • 我的软件 麦田的设计者 我的软件音乐类娱乐放松
         这是我写的一款app软件，耗时三个月，是一个根据央视节目开门大吉改变的，提供音调，猜歌曲名。1、手机拥有者在android手机市场下载本APP，同意权限，安装到手机上。2、游客初次进入时会有引导页面提醒用户注册。（同时软件自动播放背景音乐）。3、用户登录到主页后，会有五个模块。a、点击不胫而走，用户得到开门大吉首页部分新闻，点击进入有新闻详情。b、
  • linux awk命令详解 被触发 linux awk
    awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息 awk处理过程: 依次对每一行进行处理，然后输出 awk命令形式: awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file [-F|-f|-v]大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=val
  • 各种语言比较 _wy_ 编程语言
                        Java Ruby PHP 擅长领域                  
  • oracle 中数据类型为clob的编辑 知了ing oracle clob
    public void updateKpiStatus(String kpiStatus,String taskId){ Connection dbc=null; Statement stmt=null; PreparedStatement ps=null; try { dbc = new DBConn().getNewConnection(); //stmt = db
  • 分布式服务框架 Zookeeper -- 管理分布式环境中的数据 矮蛋蛋 zookeeper
    原文地址： http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ 安装和配置详解 本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两
  • tomcat数据源 alafqq tomcat
    数据库 JNDI(Java Naming and Directory Interface，Java命名和目录接口)是一组在Java应用中访问命名和目录服务的API。 没有使用JNDI时我用要这样连接数据库： 03.  Class.forName("com.mysql.jdbc.Driver");  04.  conn
  • 遍历的方法 百合不是茶 遍历
                                                          遍历 在java的泛
  • linux查看硬件信息的命令 bijian1013 linux
    linux查看硬件信息的命令 一.查看CPU： cat /proc/cpuinfo   二.查看内存： free   三.查看硬盘： df   linux下查看硬件信息 1、lspci 列出所有PCI 设备； lspci - list all PCI devices:列出机器中的PCI设备（声卡、显卡、Modem、网卡、USB、主板集成设备也能
  • java常见的ClassNotFoundException bijian1013 java
    1.java.lang.ClassNotFoundException: org.apache.commons.logging.LogFactory   添加包common-logging.jar2.java.lang.ClassNotFoundException: javax.transaction.Synchronization    
  • 【Gson五】日期对象的序列化和反序列化 bit1129 反序列化
    对日期类型的数据进行序列化和反序列化时，需要考虑如下问题：   1. 序列化时，Date对象序列化的字符串日期格式如何 2. 反序列化时，把日期字符串序列化为Date对象，也需要考虑日期格式问题 3. Date A -> str -> Date B,A和B对象是否equals   默认序列化和反序列化     import com
  • 【Spark八十六】Spark Streaming之DStream vs. InputDStream bit1129 Stream
      1. DStream的类说明文档：   /** * A Discretized Stream (DStream), the basic abstraction in Spark Streaming, is a continuous * sequence of RDDs (of the same type) representing a continuous st
  • 通过nginx获取header信息 ronin47 nginx header
    1. 提取整个的Cookies内容到一个变量，然后可以在需要时引用，比如记录到日志里面， if ( $http_cookie ~* "(.*)$") {         set $all_cookie $1; }     变量$all_cookie就获得了cookie的值，可以用于运算了
  • java-65.输入数字n，按顺序输出从1最大的n位10进制数。比如输入3，则输出1、2、3一直到最大的3位数即999 bylijinnan java
    参考了网上的http://blog.csdn.net/peasking_dd/article/details/6342984 写了个java版的： public class Print_1_To_NDigit { /** * Q65.输入数字n，按顺序输出从1最大的n位10进制数。比如输入3，则输出1、2、3一直到最大的3位数即999 * 1.使用字符串
  • Netty源码学习-ReplayingDecoder bylijinnan javanetty
    ReplayingDecoder是FrameDecoder的子类，不熟悉FrameDecoder的，可以先看看 http://bylijinnan.iteye.com/blog/1982618 API说，ReplayingDecoder简化了操作，比如： FrameDecoder在decode时，需要判断数据是否接收完全： public class IntegerH
  • js特殊字符过滤 cngolon js特殊字符js特殊字符过滤
    1.js中用正则表达式 过滤特殊字符, 校验所有输入域是否含有特殊符号function stripscript(s) {    var pattern = new RegExp("[`~!@#$^&*()=|{}':;',\\[\\].<>/?~！@#￥……&*（）&mdash;—|{}【】‘；：”“'。，、？]"
  • hibernate使用sql查询 ctrain Hibernate
    import java.util.Iterator; import java.util.List; import java.util.Map; import org.hibernate.Hibernate; import org.hibernate.SQLQuery; import org.hibernate.Session; import org.hibernate.Transa
  • linux shell脚本中切换用户执行命令方法 daizj linuxshell命令切换用户
    经常在写shell脚本时，会碰到要以另外一个用户来执行相关命令，其方法简单记下：   1、执行单个命令：su - user -c "command" 如：下面命令是以test用户在/data目录下创建test123目录 [root@slave19 /data]# su - test -c "mkdir /data/test123" 
  • 好的代码里只要一个 return 语句 dcj3sjt126com return
    别再这样写了：public boolean foo() {    if (true) {         return true;     } else {          return false;    
  • Android动画效果学习 dcj3sjt126com android
    1、透明动画效果 方法一：代码实现 public View onCreateView(LayoutInflater inflater, ViewGroup container, Bundle savedInstanceState) { View rootView = inflater.inflate(R.layout.fragment_main, container, fals
  • linux复习笔记之bash shell (4)管道命令 eksliang linux管道命令汇总linux管道命令linux常用管道命令
    转载请出自出处： http://eksliang.iteye.com/blog/2105461     bash命令执行的完毕以后，通常这个命令都会有返回结果，怎么对这个返回的结果做一些操作呢？那就得用管道命令‘|’。     上面那段话，简单说了下管道命令的作用，那什么事管道命令呢？     答：非常的经典的一句话，记住了，何为管
  • Android系统中自定义按键的短按、双击、长按事件 gqdy365 android
    在项目中碰到这样的问题： 由于系统中的按键在底层做了重新定义或者新增了按键，此时需要在APP层对按键事件（keyevent）做分解处理，模拟Android系统做法，把keyevent分解成： 1、单击事件：就是普通key的单击； 2、双击事件：500ms内同一按键单击两次； 3、长按事件：同一按键长按超过1000ms（系统中长按事件为500ms）； 4、组合按键：两个以上按键同时按住；
  • asp.net获取站点根目录下子目录的名称 hvt .netC#asp.nethovertreeWeb Forms
    使用Visual Studio建立一个.aspx文件(Web Forms)，例如hovertree.aspx,在页面上加入一个ListBox代码如下： <asp:ListBox runat="server" ID="lbKeleyiFolder" />   那么在页面上显示根目录子文件夹的代码如下： string[] m_sub
  • Eclipse程序员要掌握的常用快捷键 justjavac javaeclipse快捷键ide
      判断一个人的编程水平，就看他用键盘多，还是鼠标多。用键盘一是为了输入代码（当然了，也包括注释），再有就是熟练使用快捷键。   曾有人在豆瓣评 《卓有成效的程序员》：“人有多大懒，才有多大闲”。之前我整理了一个 程序员图书列表，目的也就是通过读书，让程序员变懒。  写道 程序员作为特殊的群体，有的人可以这么懒，懒到事情都交给机器去做，而有的人又可
  • c++编程随记 lx.asymmetric C++笔记
     为了字体更好看，改变了格式……   &&运算符：   #include<iostream> using namespace std; int main(){      int a=-1,b=4,k;      k=(++a<0)&&!(b--
  • linux标准IO缓冲机制研究 音频数据 linux
    一、什么是缓存I/O(Buffered I/O)缓存I/O又被称作标准I/O,大多数文件系统默认I/O操作都是缓存I/O。在Linux的缓存I/O机制中，操作系统会将I/O的数据缓存在文件系统的页缓存(page cache)中，也就是说，数据会先被拷贝到操作系统内核的缓冲区中，然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间。1.缓存I/O有以下优点:A.缓存I/O使用了操作系统内核缓冲区，
  • 随想 生活 暗黑小菠萝 生活
    其实账户之前就申请了，但是决定要自己更新一些东西看也是最近。从毕业到现在已经一年了。没有进步是假的，但是有多大的进步可能只有我自己知道。   毕业的时候班里12个女生，真正最后做到软件开发的只要两个包括我，PS：我不是说测试不好。当时因为考研完全放弃找工作，考研失败，我想这只是我的借口。那个时候才想到为什么大学的时候不能好好的学习技术，增强自己的实战能力，以至于后来找工作比较费劲。我
  • 我认为POJO是一个错误的概念 windshome javaPOJO编程J2EE设计
                  这篇内容其实没有经过太多的深思熟虑，只是个人一时的感觉。从个人风格上来讲，我倾向简单质朴的设计开发理念；从方法论上，我更加倾向自顶向下的设计；从做事情的目标上来看，我追求质量优先，更愿意使用较为保守和稳妥的理念和方法。    &
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他