一个优化的SQL:
SELECT order_date,
order_source,
SUM(commodity_num) num,
SUM(actual_charge) charge
FROM (
SELECT to_char(oc.create_date, 'yyyyMMdd') AS order_date,
(CASE
WHEN oo.event_type = 'ONLINE_COMMODITY_ORDER' THEN
'线上'
ELSE
'线下'
END) order_source,
oc.commodity_num,
oc.actual_charge actual_charge
FROM ord.ord_commodity_hb_2017 AS oc, ord.ord_order_hb_2017 AS oo
WHERE oc.order_id = oo.order_id
AND oc.op_type = 3 -- 3个值 ,3->5000 大概1/20的数据
AND oc.create_date BETWEEN '2017-02-05' AND '2017-12-07' -- 无用
AND oc.corp_org_id = 106 -- 无用
AND oo.trade_state = 11 -- 3个值 11 --> 71万行,一半数据
AND oo.event_type IN (values('ONLINE_COMMODITY_ORDER'),
('USER_CANCEL'),
('USER_COMMODITY_UPDATE')) -- 大概1/10 数据
ORDER BY oc.create_date -- 如果业务不强制,最好去掉排序,如果不能去掉,最好等过滤数据量到尽量小时再排序
) T
GROUP BY order_date, order_source;
下面默认以postgresql为例:
一、排序:
1. 尽量避免
2. 排序的数据量尽量少,并保证在内存里完成排序。
(至于具体什么数据量能在内存中完成排序,不同数据库有不同的配置:
oracle是sort_area_size;
postgresql是work_mem (integer),单位是KB,默认值是4MB。
mysql是sort_buffer_size 注意:该参数对应的分配内存是每连接独占!
)
二、索引:
1. 过滤的数据量比较少,一般来说<20%,应该走索引。20%-40% 可能走索引也可能不走索引。> 40% ,基本不走索引(会全表扫描)
2. 保证值的数据类型和字段数据类型要一直。
3. 对索引的字段进行计算时,必须在运算符右侧进行计算。也就是 to_char(oc.create_date, 'yyyyMMdd')是没用的
4. 表字段之间关联,尽量给相关字段上添加索引。
5. 复合索引,遵从最左前缀的原则,即最左优先。(单独右侧字段查询没有索引的)
三、连接查询方式:
1、hash join
放内存里进行关联。
适用于结果集比较大的情况。
比如都是200000数据
2、nest loop
从结果1 逐行取出,然后与结果集2进行匹配。
适用于两个结果集,其中一个数据量远大于另外一个时。
结果集一:1000
结果集二:1000000
四、多表联查时:
在多表联查时,需要考虑连接顺序问题。
1、当postgresql中进行查询时,如果多表是通过逗号,而不是join连接,那么连接顺序是多表的笛卡尔积中取最优的。如果有太多输入的表, PostgreSQL规划器将从穷举搜索切换为基因概率搜索,以减少可能性数目(样本空间)。基因搜索花的时间少, 但是并不一定能找到最好的规划。
2、对于JOIN,
LEFT JOIN / RIGHT JOIN 会一定程度上指定连接顺序,但是还是会在某种程度上重新排列:
FULL JOIN 完全强制连接顺序。
如果要强制规划器遵循准确的JOIN连接顺序,我们可以把运行时参数join_collapse_limit设置为 1
五、PostgreSQL提供了一些性能调优的功能:
优化思路:
0、为每个表执行 ANALYZE
。然后分析 EXPLAIN (ANALYZE,BUFFERS) sql。
1、对于多表查询,查看每张表数据,然后改进连接顺序。
2、先查找那部分是重点语句,比如上面SQL,外面的嵌套层对于优化来说没有意义,可以去掉。
3、查看语句中,where等条件子句,每个字段能过滤的效率。找出可优化处。
比如oc.order_id = oo.order_id是关联条件,需要加索引
oc.op_type = 3 能过滤出1/20的数据,
oo.event_type IN (...) 能过滤出1/10的数据,
这两个是优化的重点,也就是实现确保op_type与event_type已经加了索引,其次确保索引用到了。
优化方案:
a) 整体优化:
1、使用EXPLAIN
EXPLAIN命令可以查看执行计划,这个方法是我们最主要的调试工具。
2、及时更新执行计划中使用的统计信息
由于统计信息不是每次操作数据库都进行更新的,一般是在 VACUUM 、 ANALYZE 、 CREATE INDEX等DDL执行的时候会更新统计信息,
因此执行计划所用的统计信息很有可能比较旧。 这样执行计划的分析结果可能误差会变大。
以下是表tenk1的相关的一部分统计信息。
SELECT relname, relkind, reltuples, relpages
FROM pg_class
WHERE relname LIKE 'tenk1%';
relname | relkind | reltuples | relpages
----------------------+---------+-----------+----------
tenk1 | r | 10000 | 358
tenk1_hundred | i | 10000 | 30
tenk1_thous_tenthous | i | 10000 | 30
tenk1_unique1 | i | 10000 | 30
tenk1_unique2 | i | 10000 | 30
(5 rows)
其中 relkind是类型,r是自身表,i是索引index;reltuples是项目数;relpages是所占硬盘的块数。
估计成本通过 (磁盘页面读取【relpages】*seq_page_cost)+(行扫描【reltuples】*cpu_tuple_cost)计算。
默认情况下, seq_page_cost是1.0,cpu_tuple_cost是0.01。
名字
类型
描述
relpages
int4
以页(大小为BLCKSZ)的此表在磁盘上的形式的大小。 它只是规划器用的一个近似值,是由VACUUM,ANALYZE 和几个 DDL 命令,比如CREATE INDEX更新。
reltuples
float4
表中行的数目。只是规划器使用的一个估计值,由VACUUM,ANALYZE 和几个 DDL 命令,比如CREATE INDEX更新。
3、使用临时表(with)
对于数据量大,且无法有效优化时,可以使用临时表来过滤数据,降低数据数量级。
4、对于会影响结果的分析,可以使用 begin;...rollback;来回滚。
b) 查询优化:
1、明确用join来关联表,确保连接顺序
一般写法:SELECT * FROM a, b, c WHERE a.id = b.id AND b.ref = c.id;
如果明确用join的话,执行时候执行计划相对容易控制一些。
例子:
SELECT * FROM a CROSS JOIN b CROSS JOIN c WHERE a.id = b.id AND b.ref = c.id;
SELECT * FROM a JOIN (b JOIN c ON (b.ref = c.id)) ON (a.id = b.id);
c) 插入更新优化
1、关闭自动提交(autocommit=false)
如果有多条数据库插入或更新等,最好关闭自动提交,这样能提高效率
2、多次插入数据用copy命令更高效
我们有的处理中要对同一张表执行很多次insert操作。这个时候我们用copy命令更有效率。因为insert一次,其相关的index都要做一次,比较花费时间。
3、临时删除index【具体可以查看Navicat表数据生成sql的语句,就是先删再建的】
有时候我们在备份和重新导入数据的时候,如果数据量很大的话,要好几个小时才能完成。这个时候可以先把index删除掉。导入后再建index。
4、外键关联的删除
如果表的有外键的话,每次操作都没去check外键整合性。因此比较慢。数据导入后再建立外键也是一种选择。
d) 修改参数:
选项
默认值
说明
是否优化
原因
max_connections
100
允许客户端连接的最大数目
否
因为在测试的过程中,100个连接已经足够
fsync
on
强制把数据同步更新到磁盘
是
因为系统的IO压力很大,为了更好的测试其他配置的影响,把改参数改为off
shared_buffers
24MB
决定有多少内存可以被PostgreSQL用于缓存数据(推荐内存的1/4)
是
在IO压力很大的情况下,提高该值可以减少IO
work_mem
1MB
使内部排序和一些复杂的查询都在这个buffer中完成
是
有助提高排序等操作的速度,并且减低IO
effective_cache_size
128MB
优化器假设一个查询可以用的最大内存,和shared_buffers无关(推荐内存的1/2)
是
设置稍大,优化器更倾向使用索引扫描而不是顺序扫描
maintenance_work_mem
16MB
这里定义的内存只是被VACUUM等耗费资源较多的命令调用时使用
是
把该值调大,能加快命令的执行
wal_buffer
768kB
日志缓存区的大小
是
可以降低IO,如果遇上比较多的并发短事务,应该和commit_delay一起用
checkpoint_segments
3
设置wal log的最大数量数(一个log的大小为16M)
是
默认的48M的缓存是一个严重的瓶颈,基本上都要设置为10以上
checkpoint_completion_target
0.5
表示checkpoint的完成时间要在两个checkpoint间隔时间的N%内完成
是
能降低平均写入的开销
commit_delay
0
事务提交后,日志写到wal log上到wal_buffer写入到磁盘的时间间隔。需要配合commit_sibling
是
能够一次写入多个事务,减少IO,提高性能
commit_siblings
5
设置触发commit_delay的并发事务数,根据并发事务多少来配置
是
减少IO,提高性能
autovacuum_naptime
1min
下一次vacuum任务的时间
是
提高这个间隔时间,使他不是太频繁
autovacuum_analyze_threshold
50
与autovacuum_analyze_scale_factor配合使用,来决定是否analyze
是
使analyze的频率符合实际
autovacuum_analyze_scale_factor
0.1
当update,insert,delete的tuples数量超过autovacuum_analyze_scale_factor*table_size+autovacuum_analyze_threshold时,进行analyze。
是
使analyze的频率符合实际
下面介绍几个我认为重要的:
1、增加maintenance_work_mem参数大小
增加这个参数可以提升CREATE INDEX和ALTER TABLE ADD FOREIGN KEY的执行效率。
2、增加checkpoint_segments参数的大小
增加这个参数可以提升大量数据导入时候的速度。
3、设置archive_mode无效
这个参数设置为无效的时候,能够提升以下的操作的速度
・CREATE TABLE AS SELECT
・CREATE INDEX
・ALTER TABLE SET TABLESPACE
・CLUSTER等。
4、autovacuum相关参数
autovacuum :默认为on,表示是否开起autovacuum。默认开起。特别的,当需要冻结xid时,尽管此值为off,PG也会进行vacuum。
autovacuum_naptime :下一次vacuum的时间,默认1min。 这个naptime会被vacuum launcher分配到每个DB上。autovacuum_naptime/num of db。
log_autovacuum_min_duration:记录autovacuum动作到日志文件,当vacuum动作超过此值时。 “-1”表示不记录。“0”表示每次都记录。
autovacuum_max_workers :最大同时运行的worker数量,不包含launcher本身。
autovacuum_work_mem :每个worker可使用的最大内存数。
autovacuum_vacuum_threshold :默认50。与autovacuum_vacuum_scale_factor配合使用, autovacuum_vacuum_scale_factor默认值为20%。当update,delete的tuples数量超过autovacuum_vacuum_scale_factor*table_size+autovacuum_vacuum_threshold时,进行vacuum。如果要使vacuum工作勤奋点,则将此值改小。
autovacuum_analyze_threshold :默认50。与autovacuum_analyze_scale_factor配合使用。
autovacuum_analyze_scale_factor : 默认10%。当update,insert,delete的tuples数量超过autovacuum_analyze_scale_factor*table_size+autovacuum_analyze_threshold时,进行analyze。
autovacuum_freeze_max_age :200 million。离下一次进行xid冻结的最大事务数。
autovacuum_multixact_freeze_max_age :400 million。离下一次进行xid冻结的最大事务数。
autovacuum_vacuum_cost_delay :如果为-1,取vacuum_cost_delay值。
autovacuum_vacuum_cost_limit :如果为-1,到vacuum_cost_limit的值,这个值是所有worker的累加值。
你可能感兴趣的:(PostgreSQL,postgresql)
docker怎么端口映射
Lance_mu
docker 容器 运维
1、默认固定的端口#Web服务器:WebApache或Nginx通常使用80端口HTTP:80HTTPS:443#数据库服务器MySQL:3306PostgreSQL:5432MongoDB:27017Redis:6379#邮件服务器SMTP:25POP3:110IMAP:143#其他服务SSH:22FTP:21DNS(域名解析):53代理服务器Squid:3128版本控制系统Git:9418(S
.NET Core 将实体类转换为 SQL(ORM 映射)
你小子在看什么……
.NET .netcore sqlsugar postgresql
一、环境说明PostgreSQL数据库Npgsql数据库连接库SqlSugarORM框架二、映射流程1、创建数据库:检查指定数据库是否存在,如果不存在则创建数据库。2、初始化SqlSugar实例:使用SqlSugarClient初始化数据库连接配置。3、筛选实体类:根据指定的命名空间和排除条件筛选需要创建表的实体类。4、创建表:使用CodeFirst.InitTables方法创建数据库表。////
GROM学习
码小白l
golang
什么是GROMGo语言ORM(对象关系映射)库,它提供了一种高效、简洁的方式来操作数据库。通过将数据库表映射为Go语言的结构体,GORM让数据库操作变得更加直观和类型安全。GORM支持主流的数据库系统,包括MySQL、PostgreSQL、SQLite和SQLServer等GORM提供了一系列的API来操作MySQL数据库。以下是一些常用的GORMAPI操作,以及它们在操作MySQL时的用法:安装
RockyLinux8 & RockyLinux9安装postgresql16-devel开发包
ynzhangyao
postgresql
1、PG的插件扩展有些需要自行编译,需要安装PG开发包2、RockyLinux8安装#创建用户先useraddpostgressudodnfinstall-yhttps://download.postgresql.org/pub/repos/yum/reporpms/EL-8-x86_64/pgdg-redhat-repo-latest.noarch.rpmsudodnf-qymoduledisa
postgresql查看数据库占用空间大小
信息化战略
数据库 postgresql oracle
在PostgreSQL中,查看数据库及数据表当前数据的占用量可以通过执行特定的SQL查询来实现。以下是几种常用的方法:1.查看单个数据表的占用空间大小:使用pg_size_pretty和pg_total_relation_size函数可以获取特定数据表的占用空间大小(包括数据和索引)。例如:SELECTpg_size_pretty(pg_total_relation_size('table_nam
阿里云数据库产品活动:RDS MySQL 9.9元抢购,千元代金券免费领
阿里云最新优惠和活动汇总
近日,阿里云推出云数据库产品活动,RDSMySQL9.9元抢购,千元代金券免费领,爆款规格6.5折起不限量购买,活动涵盖了云数据库MySQL、云数据库Redis、云数据库SQLserver、云数据库PostgreSQL11等众多数据库类产品。活动直达:点此进入阿里云数据库产品活动云数据库RDSMySQL基础版:1核1G存储50GB,秒杀价9.90/年起;云数据库RDSMySQL基础版:1核2G50
如何实现数据库的主从复制?
Xs_layla
java python 数据库
如何实现数据库的主从复制?数据库的主从复制是实现数据备份、负载均衡和故障恢复的重要策略。它涉及一个主数据库(Master)和一个或多个从数据库(Slave),主数据库负责处理写入操作,而从数据库则复制主数据库的数据,用于处理读取操作或作为备份。下面是一个基本的步骤指南,用于实现数据库的主从复制,但请注意,具体的实现细节可能因不同的数据库系统(如MySQL、PostgreSQL等)而有所差异。1.配
【Docker】PostgreSQL 容器化部署
轻云UC
运维部署 postgresql 数据库
PostgreSQL标准软件基于BitnamiPostgreSQL构建。当前版本为16.1.0你可以通过轻云UC部署工具直接安装部署,也可以手动按如下文档操作,该项目已经全面开源,可以从如下环境获取配置文件地址:https://gitee.com/qingplus/qingcloud-platformqinghub自动安装部署配置库连接到其他容器使用Docker容器网络,应用程序容器可以轻松访问容
为什么说PostgreSQL是面向对象的数据库?
不剪发的Tony老师
PostgreSQL 数据库 postgresql
PostgreSQL官方宣称它是世界上最先进的开源对象-关系型数据库管理系统(ORDBMS)。相信大家对于关系型数据库并不陌生,它基于关系模型(由行和列组成的二维表),定义了完整性约束并且使用SQL作为操作语言。不过今天我们的主题不是关系模型,而是PostgreSQL提供的面向对象特性。面向对象编程(OOP)的三大特性包括数据封装、继承和多态,那么PostgreSQL作为对象-关系型数据库,有哪些
5.53 BCC工具之dbslower.py解读
高桐@BILL
Android eBPF Book linux ebpf android python bcc
一,工具简介dbstat用于追踪由MySQL或PostgreSQL数据库进程执行的查询,并显示查询延迟的直方图。二,代码示例#!/usr/bin/envpythonfrombccimportBPF,USDTimportargparseimportsubprocessfromtimeimportsleep,strftimeexamples="""dbstatpostgres#displayahist
PostgreSQL开发与实战(6.2)体系结构2
云掣YUNCHE
Postgresql开发与实战 postgresql 数据库
作者:太阳二、逻辑架构graphTDA[database]-->B(schema)B-->C[表]B-->D[视图]B-->E[触发器]C-->F[索引]tablespace三、内存结构Postgres内存结构主要分为共享内存与本地内存两部分。共享内存为所有的backgroundprocess提供内存,本地内存为每个backendprocess提供内存。3.1共享内存共享内存主要是数据块的缓冲区,
supabase行级安全性策略设置
曹天骄
javascript react.js
下面对createpolicy"Userscanaddnewwatches."onwatchesforinsertwithcheck(auth.uid()=user_id);进行分析在Supabase中,使用PostgreSQL的行级安全性(Row-LevelSecurity,RLS)功能来创建策略是一种常见做法,以确保只有特定用户能够执行某些操作(如插入、更新或删除行)。给出的策略代码creat
GitLab 的具体步骤
微个日光日
gitlab
安装操作系统:选择适合的操作系统,如Linux、Windows等。配置服务器:安装必要的软件和服务,如Web服务器、数据库等。安装GitLab:使用官方安装包或自行编译安装,根据提示进行安装。配置数据库:选择适合的数据库,如MySQL、PostgreSQL等,并进行配置。配置Web服务器:配置Web服务器,如Apache、Nginx等,使其能够处理GitLab的请求。配置邮件服务器:配置邮件服务器
开发中常用的字段更新时间(sql)
多刷亿点题⑧
sql 数据库
语法:sql语句to_char(now(),'yyyy-mm-ddhh24:mi:ss')asupdate_time/*to_char():这是一个将日期、时间或数字转换为字符串的函数。它的第一个参数是要转换的日期或时间,第二个参数是转换的格式。now():这是一个函数,通常在SQL数据库(如PostgreSQL、MySQL等)中可用,用于获取当前的日期和时间。'yyyy-mm-ddhh24:mi
PostgreSQL创建只读用户
dhiivgzni65686145
数据库
创建用户及指定密码:CREATEUSERreadonlyWITHENCRYPTEDPASSWORD'ropass';设置用户默认事务只读:alteruserreadonlysetdefault_transaction_read_only=on;赋予用户权限,查看public模式下所有表:GRANTUSAGEONSCHEMApublictoreadonly;ALTERDEFAULTPRIVILEGE
Rust 操作 PostgreSQL 数据库
csdnhbgjh
RUST Rust语言编程一起学应用 rust
Rust操作PostgreSQL数据库常用操作:一、插入数据-INSERTINTOexterncratepostgres;usepostgres::{Connection,SslMode};fnmain(){letconn=Connection::connect("postgres://postgres@localhost",SslMode::None).unwrap();conn.execute
自动化搭建---环境搭建与配置
测试也是会开发的
自动化项目搭建 自动化 自动化测试
1.确定所需环境与项目团队和开发人员详细沟通,了解项目的具体环境需求。这可能包括操作系统版本、数据库类型(如MySQL、PostgreSQL等)、Web服务器(如Apache、Nginx等)以及其他依赖软件。2.安装操作系统根据项目需求,选择合适的操作系统版本,并在测试机器上进行安装。可以通过官方提供的安装介质(如ISO镜像文件)或从云提供商处获取虚拟机镜像来安装操作系统。3.安装依赖库和软件3.
PostgreSQL开发与实战(4)查询性能Top SQL
云掣YUNCHE
Postgresql开发与实战 postgresql sql 数据库
作者:太阳一、查询当前正在运行的TopSQL查询当前正在运行的会话中耗时最长的TopSQL,where条件可按需修改SELECTpgsa.datnameASdatabase_name,pgsa.usenameASuser_name,pgsa.client_addrASclient_addr,pgsa.application_nameASapplication_name,pgsa.stateASst
Sql 查询一张表中哪些字段做了外键跟哪些表关联了
三希
sql 数据库
要查询一张表中哪些字段做了外键以及它们与哪些表关联了,你可以使用SQL的系统表或信息模式(InformationSchema)来查询。以下是一个通用的方法,适用于大多数关系型数据库(如MySQL,PostgreSQL,SQLServer等):SELECTfk.table_nameAS'ChildTable',fk.column_nameAS'ForeignKeyColumn',ref.table_
PostgreSQL与MySQL,谁更胜一筹
做一枚快乐的程序员
数据库 postgresql mysql 数据库
前言PostgreSQL与MySQL都是优秀的开源数据库。在日常学习中,新手可能接触最多的是MySql,但是实际工作中,两者的应用场景其实都很广。我之前的做过上网流量销售业务,用的是MySQL,现在接触广告业务,用的是pg数据库,每天广告的pv数据都是在亿级别,下面简单分享一下这两者之间的一些区别吧,不是很全面,但是可以了解一下,说不定后续用的上,至少吹牛逼的时候,你吹的逼格别人高一些。性能对比数
JeePlus快速开发平台 validateMobile SQL注入漏洞复现
OidBoy_G
漏洞复现 sql web安全 安全
0x01产品简介JeePlus(洁普斯)是一个软件快速开发平台,使用多种现代Web技术,包括SpringCloud/SpringBoot、MyBatisPlus、SpringSecurity、Redis、Vue3、ElementPlus等。该平台支持多种数据库,如MySQL、Oracle、sqlserver、postgresql等。JeePlus采用标准的SOA架构,依托优秀的前台富客户端框架(如
Jeeplus快速开发平台 validateMobileExist SQL注入漏洞
OidBoy_G
漏洞复现 sql 安全 web安全
0x01产品简介JeePlus(洁普斯)是一个软件快速开发平台,使用多种现代Web技术,包括SpringCloud/SpringBoot、MyBatisPlus、SpringSecurity、Redis、Vue3、ElementPlus等。该平台支持多种数据库,如MySQL、Oracle、sqlserver、postgresql等。JeePlus采用标准的SOA架构,依托优秀的前台富客户端框架(如
PostgreSQL里实现计算多个数字的排列组合
小怪兽ysl
PostgreSQL postgresql 数据库
在进行排列组合的时候,每一次需要知道是否有重复的值,并过滤出已经排列过的值。这个可以创建支持可变参数的函数来实现。下边的函数用到了聚合判断,并且可变参数使用variadic标记的数组。postgres(ConnAs[postgres]:PID[188277]2024-02-19/08:48:02)=#CREATEorreplaceFUNCTIONhas_repeat_values(VARIADIC
PostgreSQL限制密码的有效期(每次增加180天)
小怪兽ysl
PostgreSQL 数据库 postgresql
一、创建用户时,指定密码在180天后过期创建用户时,可以使用如下语句,自动在当前时间的基础上增加180天,作为这个用户密码的有效时间。等到密码到期后或者临近的时候,可以使用SQL修改用户密码,并且重新定义密码的有效期。(也可以直接指定时间,下面方法是为了不用自己算增加180天的天数)postgres(ConnAs[postgres]:PID[205270]2024-02-19/12:04:30)=
PostgreSQL使用session_exec和file_fdw实现失败次数锁定用户策略
小怪兽ysl
PostgreSQL postgresql 数据库
使用session_exec、file_fdw以及自定义函数实现该功能。缺陷:实测发现锁用户后,进去解锁特定用户。只能允许一次登陆,应该再次登陆的时候,触发函数,把之前的日志里的错误登陆的信息也计算到登录次数里了。而且foreigntable不能在数据库里清理。需要删除对应的pg_log,才能使foreigntable信息清理掉,来重制该用户的密码错误记录。https://github.com/o
Postgresql源码(124)两个事务更新同一行数据时的行为和原理分析
高铭杰
pgsql postgresql 数据库
XactLockTableWait函数、transactionid锁的一些原理和分析结论更新行时,会根据xmax拿transactionid锁,等对应的事务结束。如果结束是回滚,则heap_update继续更新。如果结束时提交,则heap_update要返回上层ExecUpdate调用EvalPlanQual重新拿到数据再更新(也有可能更新后不符合谓词就看不到了)。场景先执行事务1更新3为30,不
MyBatis基本使用方法
javapostgresql
使用PostgreSQL数据库与MyBatis结合的方法涉及配置数据库连接、编写Mapper接口和SQL语句、以及整合这些组件。以下是一个简单的步骤指南,以便在Java项目中使用MyBatis访问PostgreSQL数据库:步骤1:添加依赖确保你的项目中包含了以下依赖:org.mybatismybatis3.x.xorg.postgresqlpostgresql42.x.x步骤2:配置数据库连接在
PostgreSQL技术内幕(十三)探究MPP数据库分布式查询分发Dispatcher
postgresql
Dispatcher(分布式查询分发器)是MPP数据库的核心组件,所有的查询任务都要经过其进行分发,起着沟通用户到协调者(Coordinator,即QD)和执行调度的关键作用。在这次的直播中,我们为大家介绍了Dispatcher基本原理和实现机制,并结合实际用例进行了操作演示。以下内容根据直播文字整理而成。Slice与Gang的基本概念与分类传统MPP数据库采用无共享Shared-Nothing架
Postgresql常用命令
小白--AI
postgresql oracle 数据库
1、连接数据库,默认的用户和数据库是postgrespsql-hIP地址-p端口-U数据库名2、创建数据库命令createdb[option…][dbname[description]]dbname:数据库名description:关于新创建的数据库相关的说明options:参数3、访问数据库1、列举数据库:\l2、选择数据库:\c数据库名3、查看该某个库中的所有表:\dt4、切换数据库:\cin
报告pg_jieba中的bug
kmblack1
bug
PostgreSQL是多进程,pg_jieba的字典数据在每个进程中都加载了比较耗费内存,个人觉得字典数据应该加载在share_buffers中.使用字典中不存在的关键字"新华三"证明如下:1启动二个psql客户端,分别为A和B,在A和B中分别执行selectto_tsvector('public.jiebacfg','新华三');输出,A和B结果完全相同to_tsvector----------
Java实现的简单双向Map,支持重复Value
superlxw1234
java 双向map
关键字:Java双向Map、DualHashBidiMap
有个需求,需要根据即时修改Map结构中的Value值,比如,将Map中所有value=V1的记录改成value=V2,key保持不变。
数据量比较大,遍历Map性能太差,这就需要根据Value先找到Key,然后去修改。
即:既要根据Key找Value,又要根据Value
PL/SQL触发器基础及例子
百合不是茶
oracle数据库 触发器 PL/SQL编程
触发器的简介;
触发器的定义就是说某个条件成立的时候,触发器里面所定义的语句就会被自动的执行。因此触发器不需要人为的去调用,也不能调用。触发器和过程函数类似 过程函数必须要调用,
一个表中最多只能有12个触发器类型的,触发器和过程函数相似 触发器不需要调用直接执行,
触发时间:指明触发器何时执行,该值可取:
before:表示在数据库动作之前触发
[时空与探索]穿越时空的一些问题
comsci
问题
我们还没有进行过任何数学形式上的证明,仅仅是一个猜想.....
这个猜想就是; 任何有质量的物体(哪怕只有一微克)都不可能穿越时空,该物体强行穿越时空的时候,物体的质量会与时空粒子产生反应,物体会变成暗物质,也就是说,任何物体穿越时空会变成暗物质..(暗物质就我的理
easy ui datagrid上移下移一行
商人shang
js 上移下移 easyui datagrid
/**
* 向上移动一行
*
* @param dg
* @param row
*/
function moveupRow(dg, row) {
var datagrid = $(dg);
var index = datagrid.datagrid("getRowIndex", row);
if (isFirstRow(dg, row)) {
Java反射
oloz
反射
本人菜鸟,今天恰好有时间,写写博客,总结复习一下java反射方面的知识,欢迎大家探讨交流学习指教
首先看看java中的Class
package demo;
public class ClassTest {
/*先了解java中的Class*/
public static void main(String[] args) {
//任何一个类都
springMVC 使用JSR-303 Validation验证
杨白白
spring mvc
JSR-303是一个数据验证的规范,但是spring并没有对其进行实现,Hibernate Validator是实现了这一规范的,通过此这个实现来讲SpringMVC对JSR-303的支持。
JSR-303的校验是基于注解的,首先要把这些注解标记在需要验证的实体类的属性上或是其对应的get方法上。
登录需要验证类
public class Login {
@NotEmpty
log4j
香水浓
log4j
log4j.rootCategory=DEBUG, STDOUT, DAILYFILE, HTML, DATABASE
#log4j.rootCategory=DEBUG, STDOUT, DAILYFILE, ROLLINGFILE, HTML
#console
log4j.appender.STDOUT=org.apache.log4j.ConsoleAppender
log4
使用ajax和history.pushState无刷新改变页面URL
agevs
jquery 框架 Ajax html5 chrome
表现
如果你使用chrome或者firefox等浏览器访问本博客、github.com、plus.google.com等网站时,细心的你会发现页面之间的点击是通过ajax异步请求的,同时页面的URL发生了了改变。并且能够很好的支持浏览器前进和后退。
是什么有这么强大的功能呢?
HTML5里引用了新的API,history.pushState和history.replaceState,就是通过
centos中文乱码
AILIKES
centos OS ssh
一、CentOS系统访问 g.cn ,发现中文乱码。
于是用以前的方式:yum -y install fonts-chinese
CentOS系统安装后,还是不能显示中文字体。我使用 gedit 编辑源码,其中文注释也为乱码。
后来,终于找到以下方法可以解决,需要两个中文支持的包:
fonts-chinese-3.02-12.
触发器
baalwolf
触发器
触发器(trigger):监视某种情况,并触发某种操作。
触发器创建语法四要素:1.监视地点(table) 2.监视事件(insert/update/delete) 3.触发时间(after/before) 4.触发事件(insert/update/delete)
语法:
create trigger triggerName
after/before 
JS正则表达式的i m g
bijian1013
JavaScript 正则表达式
g:表示全局(global)模式,即模式将被应用于所有字符串,而非在发现第一个匹配项时立即停止。 i:表示不区分大小写(case-insensitive)模式,即在确定匹配项时忽略模式与字符串的大小写。 m:表示
HTML5模式和Hashbang模式
bijian1013
JavaScript AngularJS Hashbang模式 HTML5模式
我们可以用$locationProvider来配置$location服务(可以采用注入的方式,就像AngularJS中其他所有东西一样)。这里provider的两个参数很有意思,介绍如下。
html5Mode
一个布尔值,标识$location服务是否运行在HTML5模式下。
ha
[Maven学习笔记六]Maven生命周期
bit1129
maven
从mvn test的输出开始说起
当我们在user-core中执行mvn test时,执行的输出如下:
/software/devsoftware/jdk1.7.0_55/bin/java -Dmaven.home=/software/devsoftware/apache-maven-3.2.1 -Dclassworlds.conf=/software/devs
【Hadoop七】基于Yarn的Hadoop Map Reduce容错
bit1129
hadoop
运行于Yarn的Map Reduce作业,可能发生失败的点包括
Task Failure
Application Master Failure
Node Manager Failure
Resource Manager Failure
1. Task Failure
任务执行过程中产生的异常和JVM的意外终止会汇报给Application Master。僵死的任务也会被A
记一次数据推送的异常解决端口解决
ronin47
记一次数据推送的异常解决
需求:从db获取数据然后推送到B
程序开发完成,上jboss,刚开始报了很多错,逐一解决,可最后显示连接不到数据库。机房的同事说可以ping 通。
自已画了个图,逐一排除,把linux 防火墙 和 setenforce 设置最低。
service iptables stop
巧用视错觉-UI更有趣
brotherlamp
UI ui视频 ui教程 ui自学 ui资料
我们每个人在生活中都曾感受过视错觉(optical illusion)的魅力。
视错觉现象是双眼跟我们开的一个玩笑,而我们往往还心甘情愿地接受我们看到的假象。其实不止如此,视觉错现象的背后还有一个重要的科学原理——格式塔原理。
格式塔原理解释了人们如何以视觉方式感觉物体,以及图像的结构,视角,大小等要素是如何影响我们的视觉的。
在下面这篇文章中,我们首先会简单介绍一下格式塔原理中的基本概念,
线段树-poj1177-N个矩形求边长(离散化+扫描线)
bylijinnan
数据结构 算法 线段树
package com.ljn.base;
import java.util.Arrays;
import java.util.Comparator;
import java.util.Set;
import java.util.TreeSet;
/**
* POJ 1177 (线段树+离散化+扫描线),题目链接为http://poj.org/problem?id=1177
HTTP协议详解
chicony
http协议
引言
Scala设计模式
chenchao051
设计模式 scala
Scala设计模式
我的话: 在国外网站上看到一篇文章,里面详细描述了很多设计模式,并且用Java及Scala两种语言描述,清晰的让我们看到各种常规的设计模式,在Scala中是如何在语言特性层面直接支持的。基于文章很nice,我利用今天的空闲时间将其翻译,希望大家能一起学习,讨论。翻译
安装mysql
daizj
mysql 安装
安装mysql
(1)删除linux上已经安装的mysql相关库信息。rpm -e xxxxxxx --nodeps (强制删除)
执行命令rpm -qa |grep mysql 检查是否删除干净
(2)执行命令 rpm -i MySQL-server-5.5.31-2.el
HTTP状态码大全
dcj3sjt126com
http状态码
完整的 HTTP 1.1规范说明书来自于RFC 2616,你可以在http://www.talentdigger.cn/home/link.php?url=d3d3LnJmYy1lZGl0b3Iub3JnLw%3D%3D在线查阅。HTTP 1.1的状态码被标记为新特性,因为许多浏览器只支持 HTTP 1.0。你应只把状态码发送给支持 HTTP 1.1的客户端,支持协议版本可以通过调用request
asihttprequest上传图片
dcj3sjt126com
ASIHTTPRequest
NSURL *url =@"yourURL";
ASIFormDataRequest*currentRequest =[ASIFormDataRequest requestWithURL:url];
[currentRequest setPostFormat:ASIMultipartFormDataPostFormat];[currentRequest se
C语言中,关键字static的作用
e200702084
C++ c C#
在C语言中,关键字static有三个明显的作用:
1)在函数体,局部的static变量。生存期为程序的整个生命周期,(它存活多长时间);作用域却在函数体内(它在什么地方能被访问(空间))。
一个被声明为静态的变量在这一函数被调用过程中维持其值不变。因为它分配在静态存储区,函数调用结束后并不释放单元,但是在其它的作用域的无法访问。当再次调用这个函数时,这个局部的静态变量还存活,而且用在它的访
win7/8使用curl
geeksun
win7
1. WIN7/8下要使用curl,需要下载curl-7.20.0-win64-ssl-sspi.zip和Win64OpenSSL_Light-1_0_2d.exe。 下载地址:
http://curl.haxx.se/download.html 请选择不带SSL的版本,否则还需要安装SSL的支持包 2. 可以给Windows增加c
Creating a Shared Repository; Users Sharing The Repository
hongtoushizi
git
转载自:
http://www.gitguys.com/topics/creating-a-shared-repository-users-sharing-the-repository/ Commands discussed in this section:
git init –bare
git clone
git remote
git pull
git p
Java实现字符串反转的8种或9种方法
Josh_Persistence
异或反转 递归反转 二分交换反转 java字符串反转 栈反转
注:对于第7种使用异或的方式来实现字符串的反转,如果不太看得明白的,可以参照另一篇博客:
http://josh-persistence.iteye.com/blog/2205768
/**
*
*/
package com.wsheng.aggregator.algorithm.string;
import java.util.Stack;
/**
代码实现任意容量倒水问题
home198979
PHP 算法 倒水
形象化设计模式实战 HELLO!架构 redis命令源码解析
倒水问题:有两个杯子,一个A升,一个B升,水有无限多,现要求利用这两杯子装C
Druid datasource
zhb8015
druid
推荐大家使用数据库连接池 DruidDataSource. http://code.alibabatech.com/wiki/display/Druid/DruidDataSource DruidDataSource经过阿里巴巴数百个应用一年多生产环境运行验证,稳定可靠。 它最重要的特点是:监控、扩展和性能。 下载和Maven配置看这里: http
两种启动监听器ApplicationListener和ServletContextListener
spjich
java spring 框架
引言:有时候需要在项目初始化的时候进行一系列工作,比如初始化一个线程池,初始化配置文件,初始化缓存等等,这时候就需要用到启动监听器,下面分别介绍一下两种常用的项目启动监听器
ServletContextListener
特点: 依赖于sevlet容器,需要配置web.xml
使用方法:
public class StartListener implements
JavaScript Rounding Methods of the Math object
何不笑
JavaScript Math
The next group of methods has to do with rounding decimal values into integers. Three methods — Math.ceil(), Math.floor(), and Math.round() — handle rounding in differen