Postgresql中国用户会

PostgreSQL zhparser & english parser, query, insert performance

Postgres2015全国用户大会将于11月20至21日在北京丽亭华苑酒店召开。本次大会嘉宾阵容强大，国内顶级PostgreSQL数据库专家将悉数到场，并特邀欧洲、俄罗斯、日本、美国等国家和地区的数据库方面专家助阵:

Postgres-XC项目的发起人铃木市一(SUZUKI Koichi)
Postgres-XL的项目发起人Mason Sharp
pgpool的作者石井达夫(Tatsuo Ishii)
PG-Strom的作者海外浩平(Kaigai Kohei)
Greenplum研发总监姚延栋
周正中(德哥), PostgreSQL中国用户会创始人之一
汪洋，平安科技数据库技术部经理
……

 
       2015年度PG大象会报名地址：http://postgres2015.eventdove.com/
PostgreSQL中国社区： http://postgres.cn/
PostgreSQL专业1群： 3336901（已满）
PostgreSQL专业2群： 100910388
PostgreSQL专业3群： 150657323

本文主要测试一下PostgreSQL 中英文分词的性能，以及带索引的情况下的插入，查询性能。

测试环境：

CPU：Intel(R) Xeon(R) CPU X7460 @ 2.66GHz

MEM：60G

OS：CentOS 6.x x64

PostgreSQL 9.4.1

中文分词使用 http://blog.163.com/digoal@126/blog/static/163877040201422410175698/

性能数据汇总：

英语分词性能：~ 900万 words每秒 ( Intel(R) Xeon(R) CPU X7460 @ 2.66GHz )

中文分词性能：~ 400万字每秒 ( Intel(R) Xeon(R) CPU X7460 @ 2.66GHz )

英文分词+插入性能：~ 666万字每秒 ( Intel(R) Xeon(R) CPU X7460 @ 2.66GHz )

中文分词+插入性能：~ 290万字每秒 ( Intel(R) Xeon(R) CPU X7460 @ 2.66GHz )

查询性能和查询条件，数据量都有关系，没有很好的评估标准，大多数查询可以在毫秒级返回。

分词性能测试过程如下：

为了测试效果，首先要修改to_tsvector的函数稳定性，避免一次计算多次调用。

对稳定性不了解的话，介绍请参考我以前写的文章或视频。

digoal=> \df+ to_tsvector

List of functions

code | Description

------------+-------------+------------------+---------------------+--------+----------+------------+----------+----------+---------

---------+-----------------------

tor_byid | transform to tsvector

tor | transform to tsvector

(2 rows)

digoal=# alter function to_tsvector(regconfig,text) stable;

ALTER FUNCTION

Time: 0.632 ms

创建英语和中文的测试函数：

英文272个单词，中文包含291个字或单词.


     
     
     
     
      
      
      
      create or replace function f_testts_en() returns void as $$
     
     
     
     
     
     
     
     
      
      
      
      declare
     
     
     
     
     
     
     
     
      
      
      
      begin
     
     
     
     
     
     
     
     
      
      
      
      perform to_tsvector('english', 'Before you can use PostgreSQL you need to install it, of course. It is possible that PostgreSQL is already installed at your site, either because it was included in your operating system distribution or because the system administrator already installed it. If that is the case, you should obtain information from the operating system documentation or your system administrator about how to access PostgreSQL.
     
     
     
     
     
     
     
     
      
      
      
      

     
     
     
     
     
     
     
     
      
      
      
      If you are not sure whether PostgreSQL is already available or whether you can use it for your experimentation then you can install it yourself. Doing so is not hard and it can be a good exercise. PostgreSQL can be installed by any unprivileged user; no superuser (root) access is required.
     
     
     
     
     
     
     
     
      
      
      
      

     
     
     
     
     
     
     
     
      
      
      
      If you are installing PostgreSQL yourself, then refer to Chapter 15 for instructions on installation, and return to this guide when the installation is complete. Be sure to follow closely the section about setting up the appropriate environment variables.
     
     
     
     
     
     
     
     
      
      
      
      

     
     
     
     
     
     
     
     
      
      
      
      If your site administrator has not set things up in the default way, you might have some more work to do. For example, if the database server machine is a remote machine, you will need to set the PGHOST environment variable to the name of the database server machine. The environment variable PGPORT might also have to be set. The bottom line is this: if you try to start an application program and it complains that it cannot connect to the database, you should consult your site administrator or, if that is you, the documentation to make sure that your environment is properly set up. If you did not understand the preceding paragraph then read the next section.');
     
     
     
     
     
     
     
     
      
      
      
      return;
     
     
     
     
     
     
     
     
      
      
      
      end;
     
     
     
     
     
     
     
     
      
      
      
      $$ language plpgsql strict;

分词结果：

'15':126 'access':63,113 'administr':38,59,158,242 'alreadi':19,39,73 'also':209 'applic':225 'appropri':152 'avail':74 'bottom':21

5 'cannot':232 'case':46 'chapter':125 'close':145 'complain':229 'complet':140 'connect':233 'consult':239 'cours':12 'databas':180

,201,236 'default':166 'distribut':33 'document':55,249 'either':24 'environ':153,194,205,255 'exampl':177 'exercis':101 'experiment

':83 'follow':144 'good':100 'guid':135 'hard':94 'includ':28 'inform':50 'instal':9,20,40,87,105,119,130,138 'instruct':128 'line':

216 'machin':182,186,203 'make':251 'might':169,208 'name':198 'need':7,189 'next':271 'obtain':49 'oper':31,53 'paragraph':267 'pgh

ost':193 'pgport':207 'possibl':15 'postgresql':5,17,64,71,102,120 'preced':266 'program':226 'proper':257 'read':269 'refer':123 'r

emot':185 'requir':115 'return':132 'root':112 'section':147,272 'server':181,202 'set':149,161,191,213,258 'site':23,157,241 'start

':223 'superus':111 'sure':69,142,252 'system':32,37,54,58 'thing':162 'tri':221 'understand':264 'unprivileg':108 'use':4,79 'user'

:109 'variabl':154,195,206 'way':167 'whether':70,76 'work':173

(1 row)

create or replace function f_testts_zh() returns void as $$

declare

begin

perform to_tsvector('testzhcfg','

第一天

PostgreSQL的安装, 架构基础介绍, 如何创建和访问数据库;

SQL语言基础(创建表, 操作表数据, 表关联查询, 聚合查询);

SQL高级应用(视图, 外键, 事务, 窗口函数, 继承);

SQL语义结构介绍(关键字, 常量, 操作符, 特殊字符, 注释, 操作符的优先级);

值表达式介绍(列, 位置参数, 数组下标, field引用, 操作符调用, 函数调用, 聚合表达式, 窗口函数调用, 类型转换, collate表达式, 标量子查询, 数组构造器, 行构造器, 表达式逻辑运算规则);

函数调用用法介绍(位置参数调用, 命名参数调用, 混合调用);

数据定义(默认值, 约束, 系统列, 表结构和定义修改, 权限, schema, 继承, 分区, 外部数据);

第二天

数据查询(from子句, where子句, group by having子句, 窗口子句, select子句, 结果集合操作, 排序, 限制, 位移, values子句, CET用法);

数据类型(数字, 货币, 字符, 字节, 时间, 布尔, 枚举, 几何, 网络, 比特, 文本搜索, UUID, XML, JSON, 数组, 复合类型, 范围类型, 对象类型, 伪类型);

函数与操作符(逻辑, 比较, 数学运算, 字符串, 字节流, 比特位, 样式匹配, 格式化, 时间, 枚举, 几何, 网络, 全文检索, XML, JSON, 序列, 条件, 数组, 范围, 聚合, 窗口, 子查询, 行与数组的比较, SRF函数, 系统信息函数, 系统管理函数, 触发器函数, 事件触发器函数);

类型转换;

索引用法;

全文检索用法;

并行控制;

SQL性能优化;

第一天

PostgreSQL源代码安装(源码结构介绍, 配置介绍, 自定义FLAG介绍, 内核参数优化, 安装);

数据库服务器配置(OS USER, 初始化集群, 启动数据库集群, 关闭数据库集群, 升级数据库软件, 防止欺骗, 数据封装方法, SSL, SSH隧道)

数据库集群进程结构介绍(postmaster, logger, checkpointer, writer, wal writer, autovacuum launcher, autovacuum worker, stats collector, backend, worker);

认证和连接(客户端认证方法介绍, 认证配置, 常用认证方法使用举例, 常见认证错误排错);

pgAdmin III 使用介绍(安装, 使用, 调试函数, 维护数据);

数据库配置(guc.c, 参数优先级, 参数含义, 开发参数, guc隐含参数, 如何修改参数并使之生效, 如何查看当前参数值, 如何查看参数值的范围);

用户管理(创建角色, 角色权限管理, 角色membership管理, 角色成员权限管理);

数据库逻辑结构(cluster, database, schema, object, field, access privilege);

数据库物理结构(tablespace, datafile, segment, block, controlfile, xlog, archivelog);

第二天

数据库管理(创建表空间, 创建数据库, 创建数据库模板, 数据库配置, 删除数据库, 跨数据库的数据访问);

基于角色的对象权限管理(表, 列, 序列, 数据库, 域, 外部数据, 函数, 语言, 大对象, schema, 表空间, 类型);

默认权限和继承权限(default privilege, inherit privilege);

数据库安全(认证, 网络, 数据存储, 密码, 注入, 欺骗);

数据库监控(状态监控, 趋势监控, 预警, 常用监控工具和插件nagios, zabbix, pg_statsinfo);

多版本并发控制和垃圾回收;

日常维护(垃圾回收, 数据重组, 索引维护, VM维护, 预防XID溢出, 日志维护);

第三天

数据迁移(逻辑备份和还原, 增量数据迁移的方法, 异构数据迁移的方法(如oracle to postgresql));

如何打数据库补丁;

数据库版本升级(小版本升级方法, 大版本升级方法);

建模与Benchmark(如何根据业务形态建立数据库测试模型, 测试工具的使用, 根据测试模型和硬件标准输出benchmark);

数据库日志分析(错误代码介绍, 日志的筛选过滤, 日志的维护);

数据库审计(参数层面的审计开关, 定制化审计(如触发器结合HSTORE), 审计数据的维护手段);

本地化(字符集, collate, 编码转换, 如何防止乱码);

数据库性能分析(OS性能分析报表, SQL性能分析报表);

数据库巡检(如何定制巡检项, 指标, 如何分析巡检报告);');

return;

end;

$$ language plpgsql strict;

分词结果：

'access':352 'archivelog':363 'autovacuum':271,273 'backend':277 'benchmark':486,500 'block':360 'by':123 'c':309 'cet':137 'checkp

ointer':267 'cluster':347 'collate':75,530 'collector':276 'controlfile':361 'database':348 'datafile':358 'default':405 'field':63,

351 'flag':230 'from':118 'group':122 'guc':308,316 'having':124 'hstore':523 'iii':297 'inherit':407 'json':154,181 'launcher':272

'logger':266 'membership':338 'nagios':429 'object':350 'oracle':468 'os':239,537 'pg_statsinfo':431 'pgadmin':296 'postgresql':1,9,

15,215,221,470 'postmaster':265 'privilege':353,406,408 'schema':112,349,397 'segment':359 'select':127 'sql':10,23,35,43,212,540 's

rf':191 'ssh':258 'ssl':257 'stats':275 'tablespace':357 'to':469 'user':240 'uuid':152 'values':135 'vm':444 'wal':269 'where':120

'worker':274,278 'writer':268,270 'xid':447 'xlog':362 'xml':153,180 'zabbix':430 '下标':62 '业务':487 '举例':291 '乱码':534 '事件':

201 '事务':40 '二天':116,364 '介绍':5,7,19,46,57,91,226,228,231,264,284,299,506 '代码':505 '优先级':54,311 '优化':214,234 '位移':134

'位置':59,92 '使':321 '使用':290,298,301,494 '信息':194 '修改':110,319 '值':55,103,325,328 '全文检索':179,208 '关联':31 '关键字':47

'关闭':246 '内核':232 '几何':148,177 '函数':41,67,71,88,163,192,195,198,200,203,303,393 '分区':114 '分析':503,548 '列':58,106,388 '

创建':20,25,332,367,370,372 '初始化':241 '删除':377 '匹配':173 '升级':249,476,479,483 '历程':3 '参数':60,93,96,233,310,312,315,318,3

20,324,327,514 '发展':2 '含义':313 '启动':243 '命名':95 '回收':436,439 '垃圾':435,438 '域':391 '基础':11,18 '增量':458 '备份':456 '

合':156 '大':395,481 '天':12,14,218,220,452 '如':467,520 '子句':119,121,125,126,128,136 '字':170 '字符':51,143 '字符串':169 '字符集'

:529 '字节':144 '存储':414 '安全':410 '安装':16,223,235,300 '定义':101,109,229 '定制':518,545 '审计':513,516,519,524 '客户端':281 '

码':415 '对象':160,384,396 '封装':255 '小':477 '小时':8 '层面':515 '巡检':544,546,549 '工具':427 '布尔':146 '常用':287,425 '常见':29

2 '常量':48 '并发':433 '并行':210 '序列':182,389 '应用':37 '建模':485 '建立':489 '开关':517 '开发':314 '异':462 '引用':64 '形态':488

'性能':213 '性能分析':536,538,541 '成员':341 '手段':527 '打':471 '报告':550 '报表':539,542 '指标':547 '排序':132 '排错':295 '控制':

211,434 '插件':428 '搜索':151 '操作':27,131 '操作符':49,53,65,164 '数字':141 '数学':167 '数据':29,100,115,139,254,305,381,392,413,44

0,453,459,464,525 '数据库':22,216,236,244,247,250,260,306,344,354,365,371,373,375,378,380,390,409,418,472,474,490,501,512,535,543 '

据查询':117 '数组':61,80,155,184,189 '文本':150 '方法':256,283,289,461,466,480,484 '日志':449,502,507,510 '时间':145,175 '服务器':23

7 '本地化':528 '权限':111,335,342,385,402,404 '条件':183 '构':463 '构造器':81,83 '枚举':147,176 '架构':17 '查看':323,326 '查询':32,3

4,79,187 '标':77 '标准':498 '样式':172 '格式化':174 '模型':492,496 '模板':374 '欺骗':253,417 '比较':166,190 '注入':416 '注释':52 '测

试':491,495 '测试工具':493 '混合':98 '源代码':222 '源码':224 '溢出':448 '版本':432,475,478,482 '物理':355 '特殊':50 '状态':420 '生效

':322 '用户':330 '用法':90,138,207,209 '监控':419,421,423,426 '硬件':497 '社区':4 '空间':369,399 '第一':13,219 '第三':451 '筛选':508

'管理':197,217,331,336,339,343,366,386 '类型':73,140,157,159,161,162,204,400 '系统':105,193,196 '索引':206,442 '约束':104 '结合':52

2 '结构':45,108,225,263,346,356 '结果':129 '继承':42,113,403 '维护':304,437,443,445,450,511,526 '编码':531 '网络':149,178,412 '聚合'

:33,69,186 '节流':171 '范围':158,185,329 '行':82,188 '补丁':473 '表':26,28,30,107,368,387,398 '表达式':56,70,76,84 '规则':87 '视图':

38 '角色':333,334,337,340,383 '触发器':199,202,521 '认证':279,282,285,288,293,411 '访问':21,382 '语义':44 '语言':394 '语言基础':24 '

调用':66,68,72,89,94,97,99 '调试':302 '货币':142 '资源':6 '趋势':422 '跨':379 '转换':74,205,532 '软件':251 '输出':499 '迁移':454,460

,465 '过滤':509 '运算':86,168 '还原':457 '进程':262 '连接':280 '逻辑':85,165,345,455 '配置':227,238,286,307,376 '重组':441 '量子':78

'错误':294,504 '键':39 '防止':252,533 '限制':133 '隐含':317 '隧道':259 '集合':130 '集群':242,245,248,261 '预警':424 '预防':446 '高

':36 '默认':102,401

(1 row)

英文分词性能测试结果：

英语分词性能：~ 900万 words每秒 ( Intel(R) Xeon(R) CPU X7460 @ 2.66GHz )

postgres@db-192-168-173-33-> vi test.sql

select f_testts_en();

postgres@db-192-168-173-33-> pgbench -M prepared -n -f test.sql -P 5 -c 36 -j 36 -T 30000000

progress: 5.0 s, 33072.6 tps, lat 1.083 ms stddev 0.371

progress: 10.0 s, 33218.9 tps, lat 1.082 ms stddev 0.366

progress: 15.0 s, 33213.4 tps, lat 1.083 ms stddev 0.365

progress: 20.0 s, 33202.3 tps, lat 1.083 ms stddev 0.364

progress: 25.0 s, 33204.5 tps, lat 1.083 ms stddev 0.364

progress: 30.0 s, 33215.0 tps, lat 1.083 ms stddev 0.366

progress: 35.0 s, 33220.8 tps, lat 1.082 ms stddev 0.367

progress: 40.0 s, 33210.7 tps, lat 1.083 ms stddev 0.364

progress: 45.0 s, 33220.4 tps, lat 1.082 ms stddev 0.365

progress: 50.0 s, 33217.2 tps, lat 1.083 ms stddev 0.365

progress: 55.0 s, 33231.6 tps, lat 1.082 ms stddev 0.367

progress: 60.0 s, 33234.4 tps, lat 1.082 ms stddev 0.367

progress: 65.0 s, 33232.7 tps, lat 1.082 ms stddev 0.367

progress: 70.0 s, 33212.2 tps, lat 1.083 ms stddev 0.369

progress: 75.0 s, 33232.4 tps, lat 1.082 ms stddev 0.367

progress: 80.0 s, 33222.7 tps, lat 1.082 ms stddev 0.367

progress: 85.0 s, 33221.1 tps, lat 1.082 ms stddev 0.365

progress: 90.0 s, 33220.4 tps, lat 1.082 ms stddev 0.365

progress: 95.0 s, 33213.6 tps, lat 1.083 ms stddev 0.364

progress: 100.0 s, 33227.5 tps, lat 1.082 ms stddev 0.368

progress: 105.0 s, 33230.8 tps, lat 1.082 ms stddev 0.366

progress: 110.0 s, 33228.1 tps, lat 1.082 ms stddev 0.366

中文分词性能测试结果：

中文分词性能：~ 400万字每秒 ( Intel(R) Xeon(R) CPU X7460 @ 2.66GHz )

postgres@db-192-168-173-33-> vi test.sql

select f_testts_zh();

postgres@db-192-168-173-33-> pgbench -M prepared -n -f test.sql -P 5 -c 36 -j 36 -T 30000000

progress: 5.0 s, 13874.6 tps, lat 2.582 ms stddev 0.892

progress: 10.0 s, 13947.0 tps, lat 2.580 ms stddev 0.875

progress: 15.0 s, 13949.0 tps, lat 2.580 ms stddev 0.874

progress: 20.0 s, 13950.1 tps, lat 2.579 ms stddev 0.871

progress: 25.0 s, 13951.1 tps, lat 2.579 ms stddev 0.876

progress: 30.0 s, 13950.6 tps, lat 2.579 ms stddev 0.873

progress: 35.0 s, 13950.5 tps, lat 2.579 ms stddev 0.877

progress: 40.0 s, 13951.8 tps, lat 2.579 ms stddev 0.876

progress: 45.0 s, 13953.2 tps, lat 2.579 ms stddev 0.878

progress: 50.0 s, 13949.9 tps, lat 2.579 ms stddev 0.876

progress: 55.0 s, 13947.4 tps, lat 2.580 ms stddev 0.875

progress: 60.0 s, 13947.8 tps, lat 2.580 ms stddev 0.877

progress: 65.0 s, 13948.4 tps, lat 2.580 ms stddev 0.877

progress: 70.0 s, 13952.1 tps, lat 2.579 ms stddev 0.878

progress: 75.0 s, 13948.1 tps, lat 2.580 ms stddev 0.877

progress: 80.0 s, 13950.3 tps, lat 2.579 ms stddev 0.875

progress: 85.0 s, 13951.3 tps, lat 2.579 ms stddev 0.875

progress: 90.0 s, 13950.9 tps, lat 2.579 ms stddev 0.879

progress: 95.0 s, 13949.6 tps, lat 2.579 ms stddev 0.876

progress: 100.0 s, 13950.1 tps, lat 2.579 ms stddev 0.876

progress: 105.0 s, 13951.9 tps, lat 2.579 ms stddev 0.874

progress: 110.0 s, 13950.7 tps, lat 2.579 ms stddev 0.878

分词+插入性能测试：

使用gist或gin索引，索引的适用场景和优化手段可以参考我以前写的文章。

(静态数据考虑GIN，动态数据考虑GIST，GIN可以通过增加WORK_MEM优化动态性能)。

digoal=> create table test_ts(ts tsvector);

CREATE TABLE

digoal=> create index idx_test_ts on test_ts using gist(ts);

CREATE INDEX

create or replace function f_testts_en() returns void as $$

declare

begin

insert into test_ts values (to_tsvector('Before you can use PostgreSQL you need to install it, of course. It is possible that PostgreSQL is already installed at your site, either because it was included in your operating system distribution or because the system administrator already installed it. If that is the case, you should obtain information from the operating system documentation or your system administrator about how to access PostgreSQL.

If you are not sure whether PostgreSQL is already available or whether you can use it for your experimentation then you can install it yourself. Doing so is not hard and it can be a good exercise. PostgreSQL can be installed by any unprivileged user; no superuser (root) access is required.

If you are installing PostgreSQL yourself, then refer to Chapter 15 for instructions on installation, and return to this guide when the installation is complete. Be sure to follow closely the section about setting up the appropriate environment variables.

If your site administrator has not set things up in the default way, you might have some more work to do. For example, if the database server machine is a remote machine, you will need to set the PGHOST environment variable to the name of the database server machine. The environment variable PGPORT might also have to be set. The bottom line is this: if you try to start an application program and it complains that it cannot connect to the database, you should consult your site administrator or, if that is you, the documentation to make sure that your environment is properly set up. If you did not understand the preceding paragraph then read the next section.'));

return;

end;

$$ language plpgsql strict;

create or replace function f_testts_zh() returns void as $$

declare

begin

insert into test_ts values ( to_tsvector('testzhcfg','

第一天

PostgreSQL的安装, 架构基础介绍, 如何创建和访问数据库;

SQL语言基础(创建表, 操作表数据, 表关联查询, 聚合查询);

SQL高级应用(视图, 外键, 事务, 窗口函数, 继承);

SQL语义结构介绍(关键字, 常量, 操作符, 特殊字符, 注释, 操作符的优先级);

函数调用用法介绍(位置参数调用, 命名参数调用, 混合调用);

数据定义(默认值, 约束, 系统列, 表结构和定义修改, 权限, schema, 继承, 分区, 外部数据);

第二天

数据查询(from子句, where子句, group by having子句, 窗口子句, select子句, 结果集合操作, 排序, 限制, 位移, values子句, CET用法);

数据类型(数字, 货币, 字符, 字节, 时间, 布尔, 枚举, 几何, 网络, 比特, 文本搜索, UUID, XML, JSON, 数组, 复合类型, 范围类型, 对象类型, 伪类型);

类型转换;

索引用法;

全文检索用法;

并行控制;

SQL性能优化;

第一天

PostgreSQL源代码安装(源码结构介绍, 配置介绍, 自定义FLAG介绍, 内核参数优化, 安装);

数据库服务器配置(OS USER, 初始化集群, 启动数据库集群, 关闭数据库集群, 升级数据库软件, 防止欺骗, 数据封装方法, SSL, SSH隧道)

数据库集群进程结构介绍(postmaster, logger, checkpointer, writer, wal writer, autovacuum launcher, autovacuum worker, stats collector, backend, worker);

认证和连接(客户端认证方法介绍, 认证配置, 常用认证方法使用举例, 常见认证错误排错);

pgAdmin III 使用介绍(安装, 使用, 调试函数, 维护数据);

数据库配置(guc.c, 参数优先级, 参数含义, 开发参数, guc隐含参数, 如何修改参数并使之生效, 如何查看当前参数值, 如何查看参数值的范围);

用户管理(创建角色, 角色权限管理, 角色membership管理, 角色成员权限管理);

数据库逻辑结构(cluster, database, schema, object, field, access privilege);

数据库物理结构(tablespace, datafile, segment, block, controlfile, xlog, archivelog);

第二天

数据库管理(创建表空间, 创建数据库, 创建数据库模板, 数据库配置, 删除数据库, 跨数据库的数据访问);

基于角色的对象权限管理(表, 列, 序列, 数据库, 域, 外部数据, 函数, 语言, 大对象, schema, 表空间, 类型);

默认权限和继承权限(default privilege, inherit privilege);

数据库安全(认证, 网络, 数据存储, 密码, 注入, 欺骗);

数据库监控(状态监控, 趋势监控, 预警, 常用监控工具和插件nagios, zabbix, pg_statsinfo);

多版本并发控制和垃圾回收;

日常维护(垃圾回收, 数据重组, 索引维护, VM维护, 预防XID溢出, 日志维护);

第三天

数据迁移(逻辑备份和还原, 增量数据迁移的方法, 异构数据迁移的方法(如oracle to postgresql));

如何打数据库补丁;

数据库版本升级(小版本升级方法, 大版本升级方法);

建模与Benchmark(如何根据业务形态建立数据库测试模型, 测试工具的使用, 根据测试模型和硬件标准输出benchmark);

数据库日志分析(错误代码介绍, 日志的筛选过滤, 日志的维护);

数据库审计(参数层面的审计开关, 定制化审计(如触发器结合HSTORE), 审计数据的维护手段);

本地化(字符集, collate, 编码转换, 如何防止乱码);

数据库性能分析(OS性能分析报表, SQL性能分析报表);

数据库巡检(如何定制巡检项, 指标, 如何分析巡检报告);'));

return;

end;

$$ language plpgsql strict;

英语分词+插入性能：

英文分词+插入性能：~ 666万字每秒 ( Intel(R) Xeon(R) CPU X7460 @ 2.66GHz )

postgres@db-192-168-173-33-> pgbench -M prepared -n -f test.sql -P 5 -c 36 -j 36 -T 30000000

progress: 5.0 s, 24825.6 tps, lat 1.443 ms stddev 1.082

progress: 10.0 s, 24609.2 tps, lat 1.462 ms stddev 1.112

progress: 15.0 s, 24766.2 tps, lat 1.452 ms stddev 1.106

progress: 20.0 s, 24578.8 tps, lat 1.463 ms stddev 1.095

progress: 25.0 s, 24761.1 tps, lat 1.453 ms stddev 1.106

progress: 30.0 s, 24558.6 tps, lat 1.465 ms stddev 1.129

progress: 35.0 s, 22420.1 tps, lat 1.604 ms stddev 1.376

progress: 40.0 s, 25480.7 tps, lat 1.412 ms stddev 1.108

progress: 45.0 s, 25528.4 tps, lat 1.409 ms stddev 1.097

progress: 50.0 s, 25239.3 tps, lat 1.425 ms stddev 1.113

progress: 55.0 s, 25236.4 tps, lat 1.425 ms stddev 1.117

progress: 60.0 s, 25392.1 tps, lat 1.417 ms stddev 1.079

progress: 65.0 s, 25521.0 tps, lat 1.409 ms stddev 1.100

progress: 70.0 s, 25154.2 tps, lat 1.430 ms stddev 1.117

progress: 75.0 s, 25260.6 tps, lat 1.424 ms stddev 1.105

progress: 80.0 s, 25364.2 tps, lat 1.418 ms stddev 1.086

progress: 85.0 s, 25383.5 tps, lat 1.417 ms stddev 1.094

progress: 90.0 s, 25392.8 tps, lat 1.417 ms stddev 1.116

progress: 95.0 s, 25651.1 tps, lat 1.402 ms stddev 1.102

progress: 100.0 s, 25663.7 tps, lat 1.401 ms stddev 1.082

progress: 105.0 s, 24486.3 tps, lat 1.469 ms stddev 1.204

progress: 110.0 s, 22847.7 tps, lat 1.574 ms stddev 1.362

progress: 115.0 s, 24687.0 tps, lat 1.457 ms stddev 1.248

progress: 120.0 s, 25433.6 tps, lat 1.414 ms stddev 1.095

progress: 125.0 s, 25667.7 tps, lat 1.401 ms stddev 1.094

progress: 130.0 s, 25581.7 tps, lat 1.406 ms stddev 1.116

progress: 135.0 s, 25411.5 tps, lat 1.415 ms stddev 1.128

progress: 140.0 s, 25507.5 tps, lat 1.410 ms stddev 1.105

progress: 145.0 s, 25503.0 tps, lat 1.410 ms stddev 1.087

progress: 150.0 s, 25533.5 tps, lat 1.409 ms stddev 1.110

progress: 155.0 s, 25708.8 tps, lat 1.399 ms stddev 1.087

progress: 160.0 s, 25574.1 tps, lat 1.406 ms stddev 1.118

progress: 165.0 s, 25580.5 tps, lat 1.406 ms stddev 1.098

progress: 170.0 s, 25428.9 tps, lat 1.414 ms stddev 1.111

progress: 175.0 s, 25522.0 tps, lat 1.409 ms stddev 1.102

progress: 180.0 s, 23641.7 tps, lat 1.521 ms stddev 1.276

progress: 185.0 s, 23065.6 tps, lat 1.559 ms stddev 1.425

progress: 190.0 s, 24623.5 tps, lat 1.461 ms stddev 1.218

progress: 195.0 s, 25486.2 tps, lat 1.411 ms stddev 1.142

progress: 200.0 s, 25507.4 tps, lat 1.410 ms stddev 1.108

中文分词+插入性能：

中文分词+插入性能：~ 290万字每秒 ( Intel(R) Xeon(R) CPU X7460 @ 2.66GHz )

postgres@db-192-168-173-33-> pgbench -M prepared -n -f test.sql -P 5 -c 36 -j 36 -T 30000000

progress: 5.0 s, 10934.3 tps, lat 3.277 ms stddev 2.349

progress: 10.0 s, 10855.9 tps, lat 3.315 ms stddev 2.359

progress: 15.0 s, 10828.8 tps, lat 3.323 ms stddev 2.426

progress: 20.0 s, 10849.6 tps, lat 3.316 ms stddev 2.361

progress: 25.0 s, 10909.1 tps, lat 3.299 ms stddev 2.320

progress: 30.0 s, 10855.7 tps, lat 3.315 ms stddev 2.388

progress: 35.0 s, 10857.4 tps, lat 3.315 ms stddev 2.367

progress: 40.0 s, 10799.4 tps, lat 3.332 ms stddev 2.503

progress: 45.0 s, 10962.9 tps, lat 3.283 ms stddev 2.390

progress: 50.0 s, 10843.2 tps, lat 3.319 ms stddev 2.466

progress: 55.0 s, 9665.7 tps, lat 3.723 ms stddev 3.115

progress: 60.0 s, 9950.5 tps, lat 3.618 ms stddev 2.918

progress: 65.0 s, 10822.1 tps, lat 3.324 ms stddev 2.470

progress: 70.0 s, 10764.6 tps, lat 3.343 ms stddev 2.517

progress: 75.0 s, 10887.8 tps, lat 3.306 ms stddev 2.481

progress: 80.0 s, 10897.6 tps, lat 3.303 ms stddev 2.474

progress: 85.0 s, 10814.6 tps, lat 3.328 ms stddev 2.458

progress: 90.0 s, 10805.0 tps, lat 3.330 ms stddev 2.552

progress: 95.0 s, 10921.5 tps, lat 3.296 ms stddev 2.422

progress: 100.0 s, 10820.0 tps, lat 3.326 ms stddev 2.518

progress: 105.0 s, 9833.8 tps, lat 3.659 ms stddev 3.212

progress: 110.0 s, 9609.7 tps, lat 3.744 ms stddev 3.084

progress: 115.0 s, 10159.1 tps, lat 3.543 ms stddev 2.917

progress: 120.0 s, 10849.9 tps, lat 3.316 ms stddev 2.520

progress: 125.0 s, 10820.0 tps, lat 3.327 ms stddev 2.505

progress: 130.0 s, 10828.0 tps, lat 3.323 ms stddev 2.549

progress: 135.0 s, 10819.1 tps, lat 3.326 ms stddev 2.536

查询性能：

查询性能视查询条件，数据内容而定。一般可以在毫秒级返回。当然还要关注实际查询条件和索引存储结构，有些查询组合可能使查询时间较长，因为需要扫描的数据链路更长。

digoal=> explain analyze select * from test_ts where ts @@ tsquery '源代码' limit 1;

QUERY PLAN

------------------------------------------------------------------------------------------------------------------------------------

------

Limit (cost=0.41..0.85 rows=1 width=4426) (actual time=0.156..0.156 rows=1 loops=1)

-> Index Scan using idx_test_ts on test_ts (cost=0.41..1039026.29 rows=2371193 width=4426) (actual time=0.154..0.154 rows=1 loo

ps=1)

Index Cond: (ts @@ '''源代码'''::tsquery)

Planning time: 0.222 ms

Execution time: 0.236 ms

(5 rows)

Time: 0.881 ms

digoal=> explain analyze select * from test_ts where ts @@ tsquery '源代码 & !集群' limit 1;

QUERY PLAN

--------------------------------------------------------------------------------------------------------------------------

Limit (cost=178.00..180.01 rows=1 width=4426) (actual time=363.066..363.066 rows=0 loops=1)

-> Bitmap Heap Scan on test_ts (cost=178.00..180.01 rows=1 width=4426) (actual time=363.064..363.064 rows=0 loops=1)

Recheck Cond: (ts @@ '''源代码'' & !''集群'''::tsquery)

-> Bitmap Index Scan on idx_1 (cost=0.00..178.00 rows=1 width=0) (actual time=363.061..363.061 rows=0 loops=1)

Index Cond: (ts @@ '''源代码'' & !''集群'''::tsquery)

Planning time: 0.167 ms

Execution time: 363.105 ms

(7 rows)

Time: 363.683 ms

digoal=> explain analyze select * from test_ts where ts @@ tsquery '德哥' limit 1;

QUERY PLAN

----------------------------------------------------------------------------------------------------------------------------

Limit (cost=181.88..183.68 rows=1 width=4426) (actual time=0.019..0.019 rows=0 loops=1)

-> Bitmap Heap Scan on test_ts (cost=181.88..21478.97 rows=11856 width=4426) (actual time=0.018..0.018 rows=0 loops=1)

Recheck Cond: (ts @@ '''德哥'''::tsquery)

-> Bitmap Index Scan on idx_1 (cost=0.00..178.92 rows=11856 width=0) (actual time=0.015..0.015 rows=0 loops=1)

Index Cond: (ts @@ '''德哥'''::tsquery)

Planning time: 0.180 ms

Execution time: 0.052 ms

(7 rows)

Time: 0.592 ms

存储空间：

digoal=> select count(*) from test_ts;

count

---------

2371193

(1 row)

约6.9亿中文字，分词后约6.4亿中英文词组。

分词占用10GB，索引占用5GB

digoal=> \dt+ test_ts

List of relations

--------+---------+-------+--------+-------+-------------

(1 row)

digoal=> \di+

List of relations

--------+-------------+-------+--------+---------+---------+-------------

(1 row)

[参考]

1. http://blog.163.com/digoal@126/blog/static/163877040201422410175698/

2. http://blog.163.com/digoal@126/blog/static/163877040201552102814822/

你可能感兴趣的:(转载,数据库管理)

《如不承诺天长地久，怎会相遇细水长流》文/苏暖人北京大数据苏焕之
《如不承诺天长地久，怎会相遇细水长流》文/苏暖人原创——莫转载粘贴有人选择昙花一现，如大理的花海，有人选择细水长流，如雨夜的浪漫。都说，五分喜欢的人恨不得将他挂在嘴边，十分喜欢的人却只舍得放在心里边了，在爱情眼里，对方说的每一句话都在乎你的感受，TA的眼里也只有你，我想也是这样！说起我的爱情，我也喜欢过一个忧郁的女孩，她喜欢的男孩不喜欢她，于是我成了她倾诉的朋友＋备胎，一年来我们互相推荐伤感的歌曲
tiff批量转png 诺有缸的高飞鸟 opencv 图像处理 python opencv 图像处理
目录写在前面代码完写在前面1、本文内容tiff批量转png2、平台/环境opencv,python3、转载请注明出处：https://blog.csdn.net/qq_41102371/article/details/132975023代码importnumpyasnpimportcv2importosdeffindAllFile(base):file_list=[]forroot,ds,fsin
使用由 Python 编写的 lxml 实现高性能 XML 解析 hunyxv python 笔记 python xml
转载自：文章lxml简介Python从来不出现XML库短缺的情况。从2.0版本开始，它就附带了xml.dom.minidom和相关的pulldom以及SimpleAPIforXML(SAX)模块。从2.4开始，它附带了流行的ElementTreeAPI。此外，很多第三方库可以提供更高级别的或更具有python风格的接口。尽管任何XML库都足够处理简单的DocumentObjectModel(DOM
[转载] NoSQL简介 weixin_30325793 大数据数据库运维
摘自“百度百科”。NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。虽然NoSQL流行语
玄幻小说《圣爱》第二十九章梦中有梦（上）碧海潮生2019
作者：极天圣洺欢迎转载！转载注明“作者：极天圣洺”即可。图片发自App圣爱第一部跨世之恋第二十九章梦中有梦（上）有诗为证：“愿得一人心，白首不相离！卿卿月明日，嫦娥低语声！”正文月公主满脸的迟疑之色，双手扶起两人，“你们都是法力通天之人，而我也只是一个籍籍无名之凡人而已，两位前辈，快快请起！”“还是不要叫我月圣了，如果可以，称呼我一声，月公主，即可了！”月公主，满脸款款之笑，让这片黑夜中的虚空，在
数据库概述 pokemon.. 数据库 mysql
一、数据库的定义数据库（Database）是存储在计算机系统中的有组织的、通常是结构化的数据集合。数据库系统允许用户通过特定的方式（如查询语言）来插入、更新、删除和检索数据。在数据库管理系统（DBMS）中，数据、表和数据库是三个层次不同的概念，它们之间有着明确的层次结构和关系1.数据（Data）定义：数据是数据库中存储的基本信息单位，是数据库的内容。数据可以是数字、文本、日期、图像、声音等形式，表
面试题24. 反转链表阿星啊阿星
反转链表题目描述定义一个函数，输入一个链表的头节点，反转该链表并输出反转后链表的头节点示例：输入:1->2->3->4->5->NULL输出:5->4->3->2->1->NULL提示：0<=节点个数<=5000转载来源：力扣（LeetCode）题目分析1→2→3→null初始化时h为1，now为2，h的next设置成null，有：null←1（h） 2（now）→3现在将保存一下now的next
Cisco SD-WAN (Viptela) 20.15.1 发布，新增功能概览 sysin.org CiSCO Cisco SD-WAN Viptela 思科 SDN 软件定义广域网
CiscoSD-WAN(Viptela)version20.15.1ED-软件定义广域网CiscoSD-WANpoweredbyViptela请访问原文链接：https://sysin.org/blog/cisco-sd-wan-20/，查看最新版。原创作品，转载请保留出处。作者主页：sysin.org支持SASE的架构，其集成了面向多云、安全、统一通信和应用优化的各种功能，可用于轻松安全地将任何
史上最全的maven的pom.xml文件详解 Meta999 Maven
注：详解文件中，用红色进行标注的是平常项目中常用的配置节点。要详细学习！转载的，太经典了、、、、欢迎收藏xxxxxxxxxxxx4.0.0xxxxxxjar1.0-SNAPSHOTxxx-mavenhttp://maven.apache.orgAmavenprojecttostudymaven.jirahttp://jira.baidu.com/[email protected]
oracle数据库安装和配置详细讲解程序员小羊！运维数据库 oracle
大家好，我是程序员小羊！前言：Oracle数据库是全球广泛使用的关系型数据库管理系统(RDBMS)，提供高性能、可靠性、安全性和可扩展性，广泛应用于企业关键任务系统。下面详细介绍如何在CentOS系统上安装和配置Oracle数据库。1.前提条件1.1硬件要求内存：最小1GB，推荐2GB以上。硬盘：至少10GB的可用空间，视具体应用需求而定。1.2软件要求操作系统：CentOS7或CentOS8（确
【网络安全】漏洞挖掘：php代码审计秋说网络安全 php web安全漏洞挖掘
未经许可，不得转载。文章目录正文正文在应用程序中，通过一个JavaScript注释发现了一个备份ZIP文件。解压后，获取了应用程序的代码，其中包含如下代码片段：代码首先检查变量$action是否等于'convert'，如果是，则继续执行。随后对传入的变量$data使用trim()函数去除两端空白字符，并使用eval()函数执行$data的内容。显然，代码对$data没有进行任何过滤或验证，因此可以
【网络安全 | 代码审计】JFinal之DenyAccessJsp绕过秋说网络安全 web安全 java 代码审计漏洞挖掘
未经许可，不得转载。文章目录前言代码审计推理绕过Tomcat解析JSP总结概念验证阐发前言JFinal是一个基于Java的轻量级MVC框架，用于快速构建Web应用程序。它的设计理念是追求极简、灵活、高效，旨在提高开发效率，减少冗余代码的编写，适合中小型项目以及对性能有较高要求的项目。在较新的JFinal版本中，默认情况下无法直接通过浏览器地址栏输入.jsp文件名来访问对应的JSP文件。也就是说，主
“深圳红树林外国语小学”教育戏剧的师资培训我爱教育戏剧
2020年8月17日-18日，骑士教育戏剧为红树林外国语小学的老师们进行了一场师训，这篇文章由红树林外国语小学官方微信公众号撰写，骑士转载，以期更多学校了解教育戏剧走进校园的情况。暑假研修教育戏剧专场2020年8月16日-21日，红树林举行了为期六天的入职研修培训各位教育大咖空降来袭，带来了满满的干货讲座你以为红树林的培训只是听讲座吗？NO！NO！NO！在这里，红树林的培训还是这样的：还有这样的！
在你身边最后的夏（转载） Bojack没有jack
滚烫的晴空万里，蓝天漂浮在温热的河水里，眩惑出如玉的水波，缠绵着水草轻柔荡漾，惊白色的水鸟掠起。酷暑消退在最纯净的午夜，寂静中万物屏息，澄澈的月光涤荡天地，唤起透明的星辰散落这里。夏天到来，令我回忆。清晨的光线竟略带寒意，漫天而过透明的露珠映着天地，絮状的梦如同回到冬季，美的就像，就像记忆。坐在教室里打哈欠的早读，捂着耳朵大声的背书，转转头，悄悄的注视你，静静的睡着。光线正好打在你脸上，柔和的像幼
D83转载转载转载！雨墨2021
点鼻子请帮手晃动手指，然后用自己的食指点对方的手指。再来回点自己的鼻子，只要都能顺利点到对方的手指，就表示没有问题！如果来回几次都点空，甚至当手指停下不动的时候都无法点中，就一定要去医院检查了！当然这个只是我们自己检测的一个手段，因为有的时候脑梗出现的位置不同，导致的症状也不同，从而自测只能作为参考，如果有很明显的身体症状，可以迅速的去医院，做相关的检查。疾病的预防永远大于治疗，如果你不想脑梗到来
朱松纯委员：科研条件越来越好，为何颠覆性科学发现却越来越少？晨起动铮铎
原文链接：https://mp.weixin.qq.com/s/2hzjWGcqjzhV0Yob7RmCsg原文转载自科学网文｜《中国科学报》记者赵广立“为什么近年来世界各国科研人员成倍增长、经费越来越多、科研条件越来越好，却产生不了根本性的科学发现？”近日，全国政协委员，北京通用人工智能研究院院长，北京大学、清华大学讲席教授朱松纯在一次发言中发出上述疑问。在他看来，重大基础性原创性科学成果“难产
Oozie Bundle 规范 weixin_34075268
为什么80%的码农都做不了架构师？>>>文档地址转载于:https://my.oschina.net/sskxyz/blog/756359
1.25-1.26 Coordinator数据集和oozie bundle weixin_30851867
一、Coordinator数据集二、ooziebundle转载于:https://www.cnblogs.com/weiyiming007/p/10881260.html
嵌入式数据库sqlite和rocksdb的介绍以及对比问道飞鱼数据库相关技术数据库 sqlite rocksdb
SQLite和RocksDB都是非常流行的嵌入式数据库系统，但它们的设计理念和应用场景有所不同。下面是对这两个数据库系统的详细介绍以及它们之间的主要区别。SQLite简介SQLite是一个轻量级的关系数据库管理系统，完全由C语言编写而成。它以单一文件的形式存储数据库，并且不需要独立的服务器进程或管理程序。SQLite直接嵌入到应用程序中，这使得它非常适合移动设备、嵌入式系统和桌面应用程序。特点嵌入
生成一个完整的App代码通常不会仅仅通过单一的文件或几种语言的简单组合来完成，因为App的开发涉及前端用户界面、后端逻辑处理、数据库管理以及可能的第三方服务集成等多个方面。不过，我可以为你提供一个概念 NewmanEdwarda2 前端 ui 数据库
前端(用户界面)yinanjinying.comHTML/CSS/JavaScript(原生Web开发)对于简单的WebApp，你可以直接使用HTML来构建页面结构，CSS来设置样式，JavaScript来添加交互性。React(JavaScript/TypeScript)对于更复杂的单页应用（SPA），React是一个流行的选择。它允许你构建可复用的UI组件。Flutter(Dart)如果你想要
数据库管理的利器Navicat —— 全面测评与热门产品推荐界面开发小八哥数据库 Navicat 数据库开发 sql mysql
在数据库管理领域，Navicat无疑是一款深受欢迎的软件。作为一个强大的数据库管理和开发工具，它支持多种数据库类型，包括MySQL、MariaDB、MongoDB、SQLServer、Oracle、PostgreSQL等。本文将全面测评Navicat的核心功能，同时推荐几款热门的Navicat产品。Navicat的主要特点1.跨平台支持：Navicat支持Windows、Mac和Linux平台，可
大三时MySQL课程设计《MySQL集群的研究与实现》 weixin_30908941 数据库嵌入式 php
河南中医学院《MySQL数据库管理》课程设计报告题目：MySQL集群的研究与实现完成日期：2012年12月31日目录1.课程设计题目概述.32.研究内容与目的.33.研究方法.43.1研究方法………………………………………………………………………..43.2实验方法…………………………………………………………………………53.3可行性分析..…………………………………………………………………………
当大官的大表哥春暖花开cws
所有作品，本人原创，未经允许，不得转载或抄袭，违者必究！图片发自App我有一位大表哥，在上海做大官。这个大表哥，是大舅父的长子。上世纪七十年代，大表哥参了军，在信阳某部队。在自卫反击战中，大表哥参加侦察兵，插入到越军的腹地。有一次，一颗子弹从他的耳边呼啸而过，险而又险。大表哥立了功，加上他人也聪明，所以升职很快。从士兵做起到连级，从连级到营级，从营级到团级，从团级到师级，每一步都稳扎稳打，升职很快
Ubuntu搭建简易Postfix邮箱服务器嫩草终结者邮箱服务
本文转载自https://www.linuxdashen.com/ubuntu%E6%90%AD%E5%BB%BA%E7%AE%80%E6%98%93postfix%E9%82%AE%E7%AE%B1%E6%9C%8D%E5%8A%A1%E5%99%A8Ubuntu搭建简易Postfix邮箱服务器最后更新2016年4月20日分类Ubuntu服务器最新文章邮件服务器标签550mailcontentd
Gerrit审核服务器搭建简易教程(Ubuntu 12.10) LKV_刘言
//**********************************************欢迎转载，转载请注明出处，请尊重作者！http://blog.csdn.net/airk000Email:[email protected]//**********************************************本文将详细记录如何在一个全新的Ubuntu系统中安装及配置Gerri
如何一步步解决 DP 问题顽强的猫尾草
转载自：https://leetcode.com/problems/house-robber/discuss/156523/From-good-to-great.-How-to-approach-most-of-DP-problems./177934例题在这：Leetcode198.HouseRobber这类特定的问题可以用下面的顺序来处理：总结递归关系递归（自顶向下）递归+数组（自顶向下）迭代+
谢谢你，包容我的小任性海隅天玑
转自兰州大学转载人:黄元香作者:双鱼沐小木前几天，我收到了姐姐的一条消息：国庆想去哪里，给我说，我给你钱！就这样简单的一句话，击碎了我那颗故作坚强的心。图片发自App01我出生的那年，姐姐五岁。五岁那年，恰是在父母怀抱里享受温暖的年纪，却因为我的出现，剥夺了那份本该属于她的的权利。我想，姐姐应该会讨厌我吧！是我的出现，让她脱离了父母的怀抱；是我的出现，让她的童年失去了应有的乐趣；是我的出现，让她遭
监控易监测对象及指标之：全面监控MySQL数据库 MXsoft618 智能运维管理系统智能运维管理平台运维管理软件服务器
随着企业信息化建设的不断深入，数据库作为核心数据资产的管理中心，其性能和稳定性直接关系到业务的连续性和企业的运营效率。MySQL作为广泛使用的开源关系型数据库管理系统，其稳定性和性能对于保障业务连续性至关重要。为了确保MySQL数据库的稳定运行和高效性能，对其进行全面监控显得尤为重要。本文基于监控易工具，对MySQL的监测指标进行解读，并探讨如何通过监控来优化数据库性能。一、连通性与响应时间监测连
一个正经的前端学习开源仓库(第1天）掘金-我是哪吒 java vue html css js
低调务实优秀中国好青年(简介)&&附加答案https://github.com/webVueBlog/Leetcode√-“三十年河东，三十年河西，莫欺少年穷”一个☝️正经的前端学习开源仓库，启发来自淘宝大佬@冴羽，初心做一个真正能帮助到大家的仓库。（非常口语化的，手写总结）：我是哪吒：如果你所学的东西处于喜欢才会有强大的动力支撑。交流讨论&&如何学习&&转载声明第一：你可以直接在本仓库阅读即可，
PMSJ寻平面设计师之甲骨文公司(Oracle）全球区块链企业动态
1977年6月.LarryEllison与BobMiner和EdOates在硅谷共同创办了一家名为软件开发实验室（SoftwareDevelopmentLaboratories，SDL）的计算机公司（ORACLE公司的前身）.Ellison和Miner预见到数据库软件的巨大潜力.于是.SDL开始策划构建可商用的关系型数据库管理系统（RDBMS）.很快他们就弄出来一个产品雏形.或者具体的说.更像一个
JVM StackMapTable 属性的作用及理解 lijingyao8206 jvm 字节码 Class文件 StackMapTable
在Java 6版本之后JVM引入了栈图(Stack Map Table)概念。为了提高验证过程的效率，在字节码规范中添加了Stack Map Table属性，以下简称栈图，其方法的code属性中存储了局部变量和操作数的类型验证以及字节码的偏移量。也就是一个method需要且仅对应一个Stack Map Table。在Java 7版
回调函数调用方法百合不是茶 java
最近在看大神写的代码时,.发现其中使用了很多的回调 ,以前只是在学习的时候经常用到 ,现在写个笔记记录一下代码很简单: MainDemo :调用方法得到方法的返回结果
[时间机器]制造时间机器需要一些材料 comsci 制造
根据我的计算和推测,要完全实现制造一台时间机器,需要某些我们这个世界不存在的物质和材料... 甚至可以这样说,这种材料和物质,我们在反应堆中也无法获得......
开口埋怨不如闭口做事邓集海邓集海做人做事工作
“开口埋怨，不如闭口做事。”不是名人名言，而是一个普通父亲对儿子的训导。但是，因为这句训导，这位普通父亲却造就了一个名人儿子。这位普通父亲造就的名人儿子，叫张明正。　　　　张明正出身贫寒，读书时成绩差，常挨老师批评。高中毕业，张明正连普通大学的分数线都没上。高考成绩出来后，平时开口怨这怨那的张明正，不从自身找原因，而是不停地埋怨自己家庭条件不好、埋怨父母没有给他创造良好的学习环境。　　　　
jQuery插件开发全解析，类级别与对象级别开发 IT独行者 jquery 开发插件　函数
jQuery插件的开发包括两种：一种是类级别的插件开发，即给 jQuery添加新的全局函数，相当于给 jQuery类本身添加方法。 jQuery的全局函数就是属于 jQuery命名空间的函数，另一种是对象级别的插件开发，即给 jQuery对象添加方法。下面就两种函数的开发做详细的说明。 1 、类级别的插件开发类级别的插件开发最直接的理解就是给jQuer
Rome解析Rss 413277409 Rome解析Rss
import java.net.URL; import java.util.List; import org.junit.Test; import com.sun.syndication.feed.synd.SyndCategory; import com.sun.syndication.feed.synd.S
RSA加密解密无量加密解密 rsa
RSA加密解密代码代码有待整理 package com.tongbanjie.commons.util; import java.security.Key; import java.security.KeyFactory; import java.security.KeyPair; import java.security.KeyPairGenerat
linux 软件安装遇到的问题 aichenglong linux 遇到的问题 ftp
1 ftp配置中遇到的问题 500 OOPS: cannot change directory 出现该问题的原因:是SELinux安装机制的问题.只要disable SELinux就可以了修改方法:1 修改/etc/selinux/config 中SELINUX=disabled 2 source /etc
面试心得 alafqq 面试
最近面试了好几家公司。记录下；支付宝，面试我的人胖胖的，看着人挺好的；博彦外包的职位，面试失败；阿里金融，面试官人也挺和善，只不过我让他吐血了。。。由于印象比较深，记录下； 1，自我介绍 2，说下八种基本类型；（算上string。楼主才答了3种，哈哈，string其实不是基本类型，是引用类型） 3，什么是包装类，包装类的优点； 4，平时看过什么书？NND，什么书都没看过。。照样
java的多态性探讨百合不是茶 java
java的多态性是指main方法在调用属性的时候类可以对这一属性做出反应的情况 //package 1; class A{ public void test(){ System.out.println("A"); } } class D extends A{ public void test(){ S
网络编程基础篇之JavaScript-学习笔记 bijian1013 JavaScript
1.documentWrite <html> <head> <script language="JavaScript"> document.write("这是电脑网络学校"); document.close(); </script> </h
探索JUnit4扩展：深入Rule bijian1013 JUnit Rule 单元测试
本文将进一步探究Rule的应用，展示如何使用Rule来替代@BeforeClass，@AfterClass，@Before和@After的功能。在上一篇中提到，可以使用Rule替代现有的大部分Runner扩展，而且也不提倡对Runner中的withBefores()，withAfte
[CSS]CSS浮动十五条规则 bit1129 css
这些浮动规则，主要是参考CSS权威指南关于浮动规则的总结，然后添加一些简单的例子以验证和理解这些规则。 1. 所有的页面元素都可以浮动 2. 一个元素浮动后，会成为块级元素，比如<span>,a, strong等都会变成块级元素 3.一个元素左浮动，会向最近的块级父元素的左上角移动，直到浮动元素的左外边界碰到块级父元素的左内边界；如果这个块级父元素已经有浮动元素停靠了
【Kafka六】Kafka Producer和Consumer多Broker、多Partition场景 bit1129 partition
0.Kafka服务器配置 3个broker 1个topic，6个partition，副本因子是2 2个consumer，每个consumer三个线程并发读取 1. Producer package kafka.examples.multibrokers.producers; import java.util.Properties; import java.util.
zabbix_agentd.conf配置文件详解 ronin47 zabbix 配置文件
Aliaskey的别名，例如 Alias=ttlsa.userid:vfs.file.regexp[/etc/passwd,^ttlsa:.:([0-9]+),,,,\1]，或者ttlsa的用户ID。你可以使用key：vfs.file.regexp[/etc/passwd,^ttlsa:.: ([0-9]+),,,,\1]，也可以使用ttlsa.userid。备注: 别名不能重复，但是可以有多个
java--19.用矩阵求Fibonacci数列的第N项 bylijinnan fibonacci
参考了网上的思路，写了个Java版的： public class Fibonacci { final static int[] A={1,1,1,0}; public static void main(String[] args) { int n=7; for(int i=0;i<=n;i++){ int f=fibonac
Netty源码学习-LengthFieldBasedFrameDecoder bylijinnan java netty
先看看LengthFieldBasedFrameDecoder的官方API http://docs.jboss.org/netty/3.1/api/org/jboss/netty/handler/codec/frame/LengthFieldBasedFrameDecoder.html API举例说明了LengthFieldBasedFrameDecoder的解析机制，如下：实
AES加密解密 chicony 加密解密
AES加解密算法，使用Base64做转码以及辅助加密： package com.wintv.common; import javax.crypto.Cipher; import javax.crypto.spec.IvParameterSpec; import javax.crypto.spec.SecretKeySpec; import sun.misc.BASE64Decod
文件编码格式转换 ctrain 编码格式
package com.test; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream;
mysql 在linux客户端插入数据中文乱码 daizj mysql 中文乱码
1、查看系统客户端，数据库，连接层的编码查看方法： http://daizj.iteye.com/blog/2174993 进入mysql，通过如下命令查看数据库编码方式： mysql> show variables like 'character_set_%'; +--------------------------+------
好代码是廉价的代码 dcj3sjt126com 程序员读书
长久以来我一直主张：好代码是廉价的代码。当我跟做开发的同事说出这话时，他们的第一反应是一种惊愕，然后是将近一个星期的嘲笑，把它当作一个笑话来讲。当他们走近看我的表情、知道我是认真的时，才收敛一点。当最初的惊愕消退后，他们会用一些这样的话来反驳： “好代码不廉价，好代码是采用经过数十年计算机科学研究和积累得出的最佳实践设计模式和方法论建立起来的精心制作的程序代码。” 我只
Android网络请求库——android-async-http dcj3sjt126com android
在iOS开发中有大名鼎鼎的ASIHttpRequest库，用来处理网络请求操作，今天要介绍的是一个在Android上同样强大的网络请求库android-async-http，目前非常火的应用Instagram和Pinterest的Android版就是用的这个网络请求库。这个网络请求库是基于Apache HttpClient库之上的一个异步网络请求处理库，网络处理均基于Android的非UI线程，通
ORACLE 复习笔记之SQL语句的优化 eksliang SQL优化 Oracle sql语句优化 SQL语句的优化
转载请出自出处：http://eksliang.iteye.com/blog/2097999 SQL语句的优化总结如下 sql语句的优化可以按照如下六个步骤进行：合理使用索引避免或者简化排序消除对大表的扫描避免复杂的通配符匹配调整子查询的性能 EXISTS和IN运算符下面我就按照上面这六个步骤分别进行总结：
浅析：Android 嵌套滑动机制（NestedScrolling） gg163 android 移动开发滑动机制嵌套
谷歌在发布安卓 Lollipop版本之后，为了更好的用户体验，Google为Android的滑动机制提供了NestedScrolling特性 NestedScrolling的特性可以体现在哪里呢？ 比如你使用了Toolbar，下面一个ScrollView，向上滚
使用hovertree菜单作为后台导航 hvt JavaScript jquery .net hovertree asp.net
hovertree是一个jquery菜单插件，官方网址：http://keleyi.com/jq/hovertree/ ，可以登录该网址体验效果。 0.1.3版本：http://keleyi.com/jq/hovertree/demo/demo.0.1.3.htm hovertree插件包含文件： http://keleyi.com/jq/hovertree/css
SVG 教程（二）矩形天梯梦 svg
SVG <rect> SVG Shapes SVG有一些预定义的形状元素，可被开发者使用和操作：矩形 <rect> 圆形 <circle> 椭圆 <ellipse> 线 <line> 折线 <polyline> 多边形 <polygon> 路径 <path>
一个简单的队列 luyulong java 数据结构队列
public class MyQueue { private long[] arr; private int front; private int end; // 有效数据的大小 private int elements; public MyQueue() { arr = new long[10]; elements = 0; front
基础数据结构和算法九：Binary Search Tree sunwinner Algorithm
A binary search tree (BST) is a binary tree where each node has a Comparable key (and an associated value) and satisfies the restriction that the key in any node is larger than the keys in all
项目出现的一些问题和体会 Steven-Walker DAO Web servlet
第一篇博客不知道要写点什么，就先来点近阶段的感悟吧。这几天学了servlet和数据库等知识，就参照老方的视频写了一个简单的增删改查的，完成了最简单的一些功能，使用了三层架构。 dao层完成的是对数据库具体的功能实现，service层调用了dao层的实现方法，具体对servlet提供支持。 &
高手问答：Java老A带你全面提升Java单兵作战能力！ ITeye管理员 java
本期特邀《Java特种兵》作者：谢宇，CSDN论坛ID: xieyuooo 针对JAVA问题给予大家解答，欢迎网友积极提问，与专家一起讨论! 作者简介：淘宝网资深Java工程师，CSDN超人气博主，人称“胖哥”。 CSDN博客地址： http://blog.csdn.net/xieyuooo 作者在进入大学前是一个不折不扣的计算机白痴，曾经被人笑话过不懂鼠标是什么，