did9118
did9118

Mysql优化-分区

Mysql优化-分区_第1张图片

 

分区简介

　　分区是根据一定的规则，数据库把一个表分解成多个更小的、更容易管理的部分。就访问数据库应用而言，逻辑上就只有一个表或者一个索引，但实际上这个表可能有N个物理分区对象组成，每个分区都是一个独立的对象，可以独立处理，可以作为表的一部分进行处理。分区对应用来说是完全透明的，不影响应用的业务逻辑。

　　分区有利于管理非常大的表，它采用分而治之的逻辑，分区引入了分区键的概念，分区键用于根据某个区间值（或者范围值）、特定值列表或者 hash函数值执行数据的聚集，让数据根据规则分布在不同的分区中，让一个大对象变成多个小对象。　　

　　Mysql分区既可以对数据进行分区也可以对索引进行分区。

 

MySQL分区表对分区字段的限制

　　分区的字段，必须是表上所有的唯一索引（或者主键索引）包含的字段的子集。

　　换句话说：（所有的）字段必须出现在（所有的）唯一索引或者主键索引的字段中，或者说：一个表上有一个或者多个唯一索引的情况下，分区的字段必须被包含在所有的主键或者唯一索引字段中。

 

分区类型

　　range分区：基于一个给定的连续区间范围（区间要求连续并且不能重叠），把数据分配到不同的分区

　　list分区：类似于range分区，区别在于list分区是基于枚举出的值列表分区，range是基于给定的连续区间范围分区

　　hash分区：基于给定的分区个数，把数据分配到不同的分区

　　key分区：类似于hash分区

　　

MySQL分区的优点主要包括以下4个方面

　　1）和单个磁盘或者文件系统分区相比，可以存储更多数据

　　2）优化查询。在where子句中含有分区条件时，可以只扫描必要的一个或者多个分区来提高查询效率；同时，在设计sum()和count() 这类聚合函数查询时，可以容易的在每个分区上并行处理，最终只需要汇总所有分区得到的结果

　　3）对于已经过期或者不需要保存的数据，可以通过删除与这些数据有关的分区来快速删除数据

　　4）跨多个磁盘来分散数据查询，以获得更大的查询吞吐量

 

　　分区和水平分表功能类似，将一个大表的数据分割到多张小表中去，由于查询不需要全表扫描了，只要扫描某些分区，所以分区能提高查询速度。

 

　　水平分表需要用户预先手动显式创建出多张分表（如 tbl_user0，tbl_user1，tbl_user2），在物理上实实在在的创建多张表，通过客户端代理（Sharding-JDBC等）或者中间件代理（mycat等）来实现分表逻辑。

　　分区是Mysql的一个插件Plugin功能，将一张大表的数据在数据库底层分成多个分区文件（如 tbl_user#P#p0.ibd，tbl_user#P#p1.ibd，tbl_user#P#p2.ibd），和水平分表不同的是分区不需要显示的创建“分表”，数据库会自动创建分区文件，用户看到的只是一张普通的表，其实是对应的多个分区，这个是对用户是屏蔽、透明的，在使用上和使用一张表完全一样，不需要借助任何功能来实现。分区是一种逻辑上的水平分表，在物理层面还是一张表。

 

数据库文件

create table tbl_user_innodb(

　　id int(11) not null auto_increment,

　　username varchar(255),

　　email varchar(20),

　　age tinyint(4),

　　type int(11),

　　create_time datetime default current_timestamp,

　　primary key (id)

) engine=InnoDB auto_increment=5100002;

 

create table tbl_user_myisam(

　　id int(11) not null auto_increment,

　　username varchar(255),

　　email varchar(20),

　　age tinyint(4),

　　type int(11),

　　create_time datetime default current_timestamp,

　　primary key (id)

) engine=myisam auto_increment=5100002;

 

　　通过show variables like '%datadir%'; 命令查看mysql的data存放目录，进入所在的数据库目录，不同的引擎数据库文件格式不同

 

　　myisan: .frm 存储表结构 + .MYD 存储表数据 + .MYI 存储索引文件

　　innodb: .frm 存储表结构 + .ibd 存储数据和索引 （其只有设置成独立表空间才能成功表分区）

 

 插入500w条数据

 

range分区

　　Mysql有五种分区类型，range、list、hash、key、子分区，其中最常用的是range 和 list 分区

　　

　　-- 查看mysql版本

　　select version();

 

　　-- 查看分区插件是否激活 partition active

　　show plugins;

 

　　对于低版本的 mysql，如果InnoDB引擎要想分区成功，需要在 my.conf 中设置 innodb_file_per_table=1 设置独立表空间（即，每张表都有对应的.ibd文件）

 

　　range 分区：给定一个连续区间的范围值进行分区，某个字段的值满足这个范围就会被分配到该区。适用于字段的值是连续的区间的字段，如，日期范围，连续的数字

　　-- 语法

　　create table (

　　// 字段

　　)ENGIN=MyISAM DEFAULT CHARSET=UTF-8 AUTO_INCREMENT=1

　　partition by range (分区字段) (

　　partition <分区名称> values less than (value),

　　partition <分区名称> values less than (value),

　　...

　　partition <分区名称> values less than maxvalue

　　);

　　range 表示按范围分区

　　分区字段：表示要按照哪个字段进行分区，可以是一个字段名，也可以是对某个字段进行表达式运算，如 year(create_time)，使用 range 最终的值必须是数字

　　分区名称：要保证不同，也可以采用 p0，p1，p2 这样的分区名称

　　value：表示要小于某个具体的值，如 less than (10)，那么分区字段的值小于10的都会被分到这个分区

　　maxvalue：表示一个最大值

　　注意：range 对应的分区键值必须是数字值，可以使用 range columns(分区字段) 对非 int 型做分区，如字符串，对于日期类型的可以使用year()、to_days()、to_seconds() 等函数

　　

　　create table emp_date(

　　　　id int not null,

　　　　separated date not null default '9999-12-31'

　　)  partition by range columns(separated) (

　　　　partition p0 values less than ('1990-01-01'),

　　　　partition p1 values less than ('2001-01-01'),

　　　　parttion p2 values less than ('2018-01-01')

　　)

 

　　分区可在创建表的时候进行分区，也可以在创建表之后进行分区

　　alter table

partition by range(id) (

　　　　partition p0 values less than (100000),

　　　　partition p1 values less than (200000),

　　　　partition p2 values less than (300000)

　　);

　　在创建分区的时候，经常会遇到这个错误：A PRIMARY KEY must include all columns in the table's partition function。意思是分区的字段必须要包含在主键当中。可以使用 PRIMARY KEY(id, xxx) 来将多个字段作为主键。在做分区表时，选择分区的依据字段时要谨慎，需要仔细斟酌这个字段拿来作为分区依据是否合适，这个字段加入到主键中作为复合主键是否适合。

 

　　使用 range 分区时，表结构要么没有主键，要么分区字段必须是主键。

 

 

list分区

　　设置若干个固定值进行分区，如果某个字段的值在这个设置的值列表中就会被分配到该分区。适用于字段的值区分度不高的，或者值有限的，特别像枚举这样特点的列。list 分区使用 in 表示一些固定的值的列表

　　-- 语法

　　create table

(

　　//字段

　　) partition by list (分区字段或者基于该字段的返回的整数值的表达式) (

　　partition <分区名称> values IN (value1, value2,value3),

　　...

　　partition <分区名称> values IN (value4, value5)

　　)

 

columns分区

　　在mysql5.5之前 range分区和list分区只支持整数分区，可以通过额外的函数运算或额外的转换从而得到一个整数。columns 分区分为 range columns 和 list columns 两种，支持整数（tinyint 到 bigint，不支持 decimal 和 float）、日期（date、datetime）、字符串（char、varchar、binary、varbinary）三大数据类型。

　　columns 分区支持一个或者多个字段作为分区键，不支持表达式作为分区键，这点区别于 range 和 list 分区。需要注意的是 range columns 分区键的比较是基于元组的比较，也就是基于字段组的比较，这和 range 分区有差异。

　　create table rc3(

　　a int,

　　b int

　　) partition by range columns(a, b) (

　　partition p01 values less than (0, 10),

　　partition p02 values less than (10, 10),

　　partition p03 values less than (10, 20),

　　partition p04 values less than (10, 35),

　　partition p05 values less than (10, maxvalue),

　　partition p06 values less than (maxvalue, maxvalue)

　　)

　　range columns 分区键的比较（元组的比较）其实就是多列排序，先根据 a 字段排序，再根据 b 字段排序，根据排序结果来分区存放数据，和 range 单字段的分区排序规则实际上是一样的。

 

hash分区

 

　　hash分区主要用来分散热点读，确保数据在预先确定个数的分区中可能的平均分布。对一个表执行 hash 分区时，mysql 会对分区键应用一个散列函数，以此确定数据应当放在N个分区中的哪个分区。

　　mysql支持两种 hash 分区，常规hash分区和线性hash分区（linear hash分区）　　

　　常规hash分区使用的是取模算法，对应一个表达式 expr 是可以计算出它被保存在哪个分区中，N=MOD(expr, num)

　　线性 hash 分区使用的是一个线性的2的幂运算法则。

　　对指定的字段（整数字段）进行哈希，将记录平均的分配到分区中，使得所有的分区的数据比较平均。hash 分区只需要指定分区的字段和要分成几个分区

　　expr是一个字段值或者基于某列值运算返回的一个整数，expr可以是 mysql 中有效的任何函数或者其他表达式，只要他们返回一个即非常熟也非随机数的整数。

　　num 表示分区的数量（看得出来，他是模运算的基数）

　　create table

(

　　// 字段

　　) engine=数据库引擎 default charset=utf8 auto_increment=1

　　partition by hash(expr)

　　partitions

 

　　常规 hash 分区方式看上去不错，通过取模的方式来让数据尽可能平均分布在每个分区，让每个分区管理的数据都减少，提高查询效率，可是当我们要增加分区或者合并分区，问题就来了，假设原来是5个分区，现在需要增加一个分区，原来的取模算法是MOD(expr, 5)，根据余数 0-4 分布在5个分区中，现在新增一个分区后，取模算法变成 MOD(expr, 6)，根据余数 0-5 分区在6个分区中，原来5个分区的数据大部分都需要重新计算进行重新分区。

　　常规 hash 分区在管理上带来的代价太大，不适合需要灵活变动分区的需求。为了降低分区管理上的代价，mysql提供了线性 hash 分区，分区函数是一个线性的 2 的幂的运算法则。同样线性 hash 分区的记录被存在哪个分区也能被计算出来。线性hash分区的优点是在分区维护（增加、删除、合并、拆分分区）时，mysql能够处理的更加迅速，缺点是：对比常规hash分区，线性hash 各个分区之间数据的分布不太均衡。

　　create table (

　　// 字段

　　) engine=数据引擎 default charset = utf-8 auto_increment=1

　　partition by linear hash(expr)

　　partitions ;

 

 

key分区　　

 

　　按照key进行分区非常类似于按照 hash 进行分区，只不过 hash 分区允许使用用户自定义的表达式，而key分区不允许使用自定义的表达式，需要使用 mysql 服务器提供的 hash 函数，同事 hash 分区只支持整数分区，而 key 分区支持使除了 blob or text 类型外的其他类型作为分区键。

　　和 hash 功能一样，不同的是分区的字段可以是非 int 类型，如字符串、日期类型。

　　可以使用 partition by key(expr) 子句来创建一个 key 分区表，expr 是零个或者多个字段名的列表。key 分区也支持线性分区 linear key

 

　　partition by key(expr) partitions num;

　　-- 不指定默认首选主键作为分区键，在没有主键的情况下会选择非空唯一键作为分区键

　　partition by key() partitions num;

　　-- linear key

　　partition by linear key(expr);

 

 

子分区

　　

　　子分区是分区表中对每个分区的再次分割，又被称为复合分区，支持对 range 和 list 进行子分区，子分区既可以使用 hash分区，也可以使用 key分区。符合分区适用于保存非常大量数据记录。

 

管理分区

 

　　mysql 不禁止在分区键值上使用 null，分区键可能是一个字段或者一个用户的定义的表达式，一般情况下，mysql 的分区把 null 值当做零值或者一个最小值进行处理。range 分区中，null 值会被当做最小值来处理；list分区中 null 值必须出现在枚举列表中，否则不被接受；hash/key 分区中，null 值会被当做 0 值来处理。

 

　　mysql 提供了添加、删除、重定义、合并、拆分分区的命令，这些操作都可以通过 alter table 命令来实现

 

　　-- 删除 list 或者 range 分区（同时删除分区对应的数据）

　　alter table

drop partition <分区名称>；

 

　　-- 新增分区

　　-- range 添加新分区

　　alter table

add partition(partition p4 values less than MAXVALUE);

 

　　-- list 添加新分区

　　alter table

add partition(partition p4 values in (25,26,28));

 

　　-- hash 重新分区

　　alter table

add partition partitions 4;

 

　　-- key 重新分区

　　alter table

add partition partition 4;

　　

　　-- 子分区添加新分区，虽然没有指定子分区，但是系统会给子分区命名

　　alter table

add partition(partition p3 values less than MAXVALUE)

 

　　-- range 重新分区

　　alter table user reorganize partition p0,p1,p2,p3,p4 into (partition p0 values less than maxvalue);

 

　　-- list 重新分区

　　alter table

reorganize partition p0,p1,p2,p3,p4 into (partition p0 values in (1,2,3,4,5))

 

分区优点

　　1. 分区可以分在多个磁盘，存储更大一些

　　2. 根据查找条件，只查找相应的分区，不用全部查找

　　3. 进行大数据搜索时，可以并行处理

　　4. 跨多个磁盘来分散数据查询，来获得更大的查询吞吐量

　　

 https://blog.csdn.net/vbirdbest/article/details/82461109

 

 

转载于:https://www.cnblogs.com/lili-xia/p/11325665.html

你可能感兴趣的:(Mysql优化-分区)

  • 第六集如何安装CentOS7.0，3分钟学会centos7安装教程 date分享
    从光盘引导系统按回车键继续进入引导程序安装界面，选择语言这里选择简体中文版点击继续选择桌面安装下面给系统分区选择磁盘，点击完成选择基本分区，点击加号swap分区,大小填内存的两倍在选择根分区，使用所有可用的磁盘空间选择文件系统ext4点击完成，点击开始安装设置root密码，点击完成设置普通用户和密码，点击完成整个过程持续八分钟左右根据个人配置不同，时间长短不同好，现在点击重启系统进入重启状态点击本
  • Kafka是如何保证数据的安全性、可靠性和分区的 喜欢猪猪 kafka分布式
    Kafka作为一个高性能、可扩展的分布式流处理平台，通过多种机制来确保数据的安全性、可靠性和分区的有效管理。以下是关于Kafka如何保证数据安全性、可靠性和分区的详细解析：一、数据安全性SSL/TLS加密：Kafka支持SSL/TLS协议，通过配置SSL证书和密钥来加密数据传输，确保数据在传输过程中不会被窃取或篡改。这一机制有效防止了中间人攻击，保护了数据的安全性。SASL认证：Kafka支持多种
  • 自定义分区 我的K8409 Hadoophdfshadoop大数据
    通过简单例子了解partition分区类的重写方法分区是在MR的过程中进行的，属于Shuffle阶段但是在Job端不要忘记进行调用：job.setPartitionerClass(xxx.class)按照年龄分区：classAgePartitionerextendsPartitioner{@OverridepublicintgetPartition(MyComparablekey,NullWrit
  • xp系统打开计算机硬盘分区,详解WindowsXP硬盘分区步骤 随缘惜情 xp系统打开计算机硬盘分区
    有许多游戏玩家对经典的WinXP系统非常忠实，即使重新购买了一台超强配置的电脑，依然选择安装WinXP系统，因为WinXP对很多老游戏兼容性更强，游戏玩家也对硬盘的分配非常讲究，因为每一款好玩的游戏容量都是非常庞大，而如果硬盘容量太小的话就装不了几款游戏了，所以许多用户喜欢将其它硬盘容量都分配到一个比较大的分区内，若是Win7就可以非常直观的自动分配，而在WinXP系统下该如何实现呢?下面一起来认
  • Tuxera NTFS for Mac破解版下载 Tuxera NTFS for Mac2023激活码 mac电脑ntfs磁盘软件 雨林谷 果粉俱乐部macos电脑免费的NTFS软件
    TuxeraNTFSforMac是一款优秀的Mac系统完全读写软件，提供Fat32、NTFS、Exfat、macos扩展格式的转换，稳定性好，传输速度极快。TuxeraNTFSforMac功能丰富，能修复NTFS卷、创建NTFS磁盘映像、创建NTFS分区等等。同时软件支持所有从OSX10.4Tiger开始的Mac平台，TuxeraNTFS还可以无阻碍地使用各种文件系统磁盘，还能解决磁盘无法正常显示
  • Redis 集群 確定饿的猫 redislinux
    目录Redis主从复制Redis主从复制简介Redis主从复制的作用Redis主从复制流程搭建Redis主从复制master节点slave节点验证哨兵故障转移机制部署哨兵Redis集群作用数据分区高可用Redis集群Redis高可用实现的方式有持久化、主从复制、哨兵、集群，与持久化不同，另外三种方式都是属于集群，之前已经分析了解过两种持久化模式了，现在了解另外几种方式Redis主从复制Redis主
  • windows C++-并行编程-PPL任务并行(一) sului windowsC++并行编程技术c++开发语言
    在并发运行时中，任务是执行特定作业并通常与其他任务并行运行的工作单元。任务可以分解为组织成任务组的其他更细化的任务。编写异步代码，并希望在异步操作完成之后进行某种操作时，可使用任务。例如，可以使用一个任务以异步方式从文件读取，然后使用另一个任务(延续任务，本文档稍后会对此进行说明)在数据可用之后处理数据。相反，可以使用任务组将并行工作分解成较小的各部分。例如，假设你有一个将剩余工作划分为两个分区的
  • 一文搞懂 Flink Task 数据交互之数据写源码 mn_kw flink交互java
    一文搞懂FlinkTask数据交互之数据写源码1.RecordWriterOutput2.RecordWriter3.数据分区器ChannelSelector4.数据输出模型ResultPartition5.子模型ResultSubpartition6.本地buffer池LocalBufferPool7.获取buffer8.将buffer添加到ResultSubpartitionFlink重要源码
  • 2019-04-27 sap install for window 2008 麦兜的刀
    sap安装配置安装介质准备windows2008R2withoutSP16.0安装介质列表安装Java工具安装操作系统补丁配置SWAP交换分区配置主机名开始安装向导运行SAP安装管理器D:\softs\sapcds\IM_WINDOWS_X86_64\sapinst.exe进入安装界面自定义安装参数定义安装参数提示注销，重新登陆回到安装界面注销冲登陆SAP实例号PRD，安装磁盘驱动器R:安装实例名
  • Hbase - 迁移数据[导出,导入] kikiki5
    >有没有这样一样情况，把一个集群中的某个表导到另一个群集中，或者hbase的表结构发生了更改，但是数据还要，比如预分区没做，导致某台RegionServer很吃紧，Hbase的导出导出都可以很快的完成这些操作。![](https://upload-images.jianshu.io/upload_images/9028759-4fb9aa8ca3777969.png?imageMogr2/auto
  • 【HDFS】角色的架构设计 流辉fglow #HDFS大数据hdfshadoop大数据学习分布式
    HDFS角色的架构设计前置知识：Windows与Linux文件系统的差异HDFS中的角色及功能HDFS的架构NameNodeDataNodeNameNode元数据的持久化说明：/表示两个词是同一语义，方便你理解的前置知识：Windows与Linux文件系统的差异Windows&LInux虽然都有硬盘/分区、目录，但感受很不同的是：Windows：有很强的分区概念，要先通过不同的“盘符”去找文件在命
  • Redis安装详解（单机安装，sentinel哨兵模式，Cluster模式） dream21st 中间件学习笔记sentinelredisjava
    文章目录1Redis单机安装1.1windows中安装1.2linux中安装2Redis主从复制安装3Redis哨兵模式安装4Springboot项目操作RedisSentinel集群5官方cluster分区搭建5.1部署架构5.2RedisCluster的优势5.3集群搭建6Springboot项目操作Cluster集群1Redis单机安装Redis安装包可以从官网下载，也可以在redis的官方
  • mysql优化案例 纯demo案例 sql写法优化 不包含索引优化等 pingzhuyan #mysql专项mysqlsql数据库java
    全文目录,一步到位1.前言简介2.sql优化案例(持续填充)2.1casewhenthen里面查询多表的2.1.1原sql2.1.2优化后的sql2.22.2.12.2.22.32.3.12.3.22.42.4.12.4.23.文章的总结与预告3.1本文总结3.2下文预告1.前言简介sql优化案例:测试草稿篇感觉可以优化的记录做过测试的会标记记录而已参考价值如有错误请指出谢谢2.sql优化案例(持
  • 复合Simpson求积算法-C++【可直接复制粘贴/欢迎评论点赞】 月白风清江有声 算法人工智能
    背景复合Simpson求积算法是基于Simpson1/3法则的推广。Simpson1/3法则是一种数值积分方法，它通过将积分区间划分为多个小区间，并在每个小区间上采用一个二次多项式来逼近原函数，进而求得积分的近似值。复合Simpson求积算法则是将这种方法应用于整个积分区间，即将整个区间划分为多个小区间，并在每个小区间上分别应用Simpson1/3法则进行积分计算，最后将各小区间的积分结果相加得到
  • Oracle分区表之MODIFY 使用在线重定义对集合表进行分区 IT皮特 oracle数据库
    您可以使用联机重新定义将未分区的集合表复制到已分区的集合表格，Oracle数据库将行插入集合表格中的相应分区。示例4-41说明了如何对Objects列中的嵌套表执行此操作；类似的例子适用于XMLType表或列中的有序集合类型表。在copy_table_dependents操作期间，您指定0或false用于复制索引和约束，因为您希望保留新定义的集合表的索引和约束。但是，集合表及其分区的名称与临时表的
  • Online Conversion of a Non-Partitioned Table to a Partitioned Table in Oracle Database 12c Release 2 IT皮特 数据库oracle
    从12.2开始，通过MODIFYTABLE可以在线实现普通表转分区表。一、创建测试表：DROPTABLEt1PURGE;CREATETABLEt1(idNUMBER,descriptionVARCHAR2(50),created_dateDATE,CONSTRAINTt1_pkPRIMARYKEY(id));CREATEINDEXt1_created_date_idxONt1(created_da
  • Kafka 实战 - Kafka分区和副本机制理解 用心去追梦 kafka分布式
    ApacheKafka的分区（Partition）和副本（Replica）机制是其核心架构和可靠性保证的关键组成部分。以下是对其理解的详细解释：分区（Partition）分区概念：在Kafka中，每个主题（Topic）可以被划分为多个分区。分区是一个有序的、不可变的消息序列。这意味着消息在分区中按生成顺序存储，每个消息都有一个唯一的偏移量（Offset）。目的：分区的主要目的是为了水平扩展和并行处
  • 故障恢复（残次版） Cat God 007 备忘录服务器数据库运维
    视频地址一：文件系统故障修复案例模拟搞坏磁盘中的某一块ddif=/dev/zeroof=/dev/sdb1bs=1kcount=10(默认4K)1.修补分区中每个组中坏掉的超级块部分查看超级块的备份块dumpe2fs磁盘位置如：dumpe2fs/dev/sdb1使用备份超级块进行修复（超级块的备份块有几份，默认最近，可能最近的备份块可能修复不了，可以制定其他备份块进行恢复{组0，1{32768}，
  • Vue 项目性能优化技巧分享 2401_84437170 程序员vue.js性能优化前端
    importVuefrom‘vue’;import{Button,Select}from‘element-ui’;Vue.use(Button)Vue.use(Select)1.9、优化无限列表性能如果你的应用存在非常长或者无限滚动的列表，那么需要采用窗口化的技术来优化性能，只需要渲染少部分区域的内容，减少重新渲染组件和创建dom节点的时间。你可以参考以下开源项目vue-virtual-scrol
  • 分区Partition DashVector embedding数据库python人工智能数据挖掘
    理解Partition向量检索服务DashVector的Collection具有分区（Partition）的能力，同一个Collection下的Doc可通过不同的Partition进行物理和逻辑上的分区。各种Doc操作（如插入Doc、检索Doc等）若指定Partition，则该操作将限定在该指定的Paritition内进行。通过合理的Partition设置，可有效提升Doc操作的效率。同一个Col
  • 2024Android面试题合集整理（字节跳动+猿辅导，Android面试相关文章及Github学习资料 2401_83739472 2024年程序员学习android面试职场和发展
    斗鱼1.说说HashMap的原理2.说说Java的内存分区3.讲讲你对垃圾回收机制的了解，老年代有什么算法？4.说说你对volatile字段有什么用途？5.说说事件分发机制，怎么写一个不能滑动的ViewPager6.说说你对类加载机制的了解？DexClassLoader与PathClassLoader的区别7.说说插件化的原理，资源的插件化id重复如何解决？8.mvp与mvvm模式的区别是什么？9
  • linux运维常见命令行 问道飞鱼 运维linux服务器
    文章目录用户管理创建用户修改用户信息列出用户信息添加用户到组删除用户创建和管理组查看用户和组的信息其他相关命令文件管理文件和目录的基本操作文件权限管理文件压缩和归档磁盘管理查看磁盘使用情况查看文件和目录的磁盘使用情况磁盘分区管理挂载和卸载文件系统磁盘配额管理LVM（LogicalVolumeManager）管理网络管理查看网络接口状态配置网络接口查看和管理路由表管理DNS和主机名网络诊断工具网络流
  • eureka核心操作解析：集群间数据同步、自我保护、三级缓存 dejavu111 eurekajava
    1.什么是注册中心？Eureka是springcloud中的一个负责服务注册与发现的组件。遵循着CAP理论中的A(可用性)P(分区容错性)。一个Eureka中分为eurekaserver和eurekaclient。其中eurekaserver是作为服务的注册与发现中心。eurekaclient既可以作为服务的生产者，又可以作为服务的消费者。具体结构如下图：Eureka是一个基于REST（表述性状态
  • 嗨咯大家好 redtank
    嗨咯大家好，初来驾到，多多关照中国原油期货上线一张图给你讲明白期货是什么;5G时代新机会要来了一场颠覆性巨变将被引爆;铁总去年利润18亿5年新高收入首破万亿;滴滴顺风车再爆审核漏洞整改成效几何？;吉林松原军分区已集结官兵和职工;四川侦破特大制贩毒案摧毁跨省制贩毒通道;奥凯航空成功接收波音第9999架737飞机(图);辽宁越狱事件调查：部分监狱管理人员非在编干警;被曝“踩脑袋”执法城管队长有啥底气号
  • hive表格统计信息不准确 weixin_41956627 hivehivehadoop数据仓库
    问题描述有个hive分区表，orc存储格式，有个分区，查询selectcount(1)fromtablewheredt='yyyyMMdd'结果是0，但查询select*fromtablewheredt='yyyyMMdd'又能查到数据，去hdfs对应目录下查看，也能看到有数据文件解决执行如下sqlANALYZETABLEdb.table1PARTITION(dt='20240908')COMPU
  • 字节架构师：来说说 Kafka 的消费者客户端详解，你都搞懂了吗？ 2401_84049200 程序员kafkalinq分布式
    点对点模式基于队列，类似于同一个消费者组中的数据，由生产者发送数据到分区，然后消费者拉取分区的消息进行消费，此时消息只能被同一个消费者组的消费者消费一次。发布订阅模式模式就是kafka中的分区消息可以被不同消费者组的消费者消费。这就是一对多的广播模式应用。当然，消费者组是一个逻辑的概念，通过客户端参数group.id来配置，默认值为空字符串。而消费者并不是逻辑的概念，它是真正消费数据的实体，可以是
  • 关于拼多多如何查优惠券返利的操作(微信机器人) 高省APP大九
    2022年618快到了，淘宝京东拼多多各大平台都开始筹备了，拼多多的拼单购物深得大家的喜欢，拼多多618该怎么抢优惠券呢？1.首先需要下载【高省】APP，——邀请码：800000（安卓、iOS各大应用商店搜索高省）2.打开高省APP，找到拼多多专区3.可以看到海量优惠券及返佣商品，以及商品分区4.点开商品领取优惠券5.系统自动跳转至拼多多下单，下单后佣金到【高省】后台6.每个月25号提现已结算佣金
  • linux内存分区bss,data,text,rodata,堆,栈 刚入坑的炸弹 Linux随记Linux内存分区
    各内存分区的介绍系统内的程序分为程序段和数据段，具体也可以细分成以下几个部分:（1）text段，是代码段。用来存放程序代码的，通常是只读，可以直接在ROM或Flash中执行，无需加载到RAM。（2）data段，数据段。data用来存储已经初始化的全局变量和静态变量，是属于静态内存分配，是可读可写的。（3）bss段，是全局变量数据段。是用来存储未初始化的全局变量以及未初始化的静态变量，静态内存分配。
  • 团结凝聚力量 助力运行质量 写写看
    曾有人问一名哲学家：“一滴水怎样才不会干？”哲学家回答说：“把它放到大海里。”这简短的回答揭示出一个深刻的道理：团结互助的集体能凝聚无穷的力量。动力工程部空调换热一班也是一个团结互助的班组，前段时间因电力改造，需对小区部分区域停电，空调一班的3#、4#冷冻站也在停电区域，对于时刻运行的冷冻换热站，停电是有严格操作流程的。为了保证电气设备的安全，需在停电前20分钟停止运行的设备，关闭进、出水阀门，待
  • C语言学习笔记：内存的五大分区 五虎蘸酱 C语言学习笔记c语言开发语言
    在C语言中，进程可在内存中分别存入五大分区：1、text：也称为代码段，其中主要用于存放二进制指令、常量、被const修饰过的初始化过的全局变量、静态局部变量；该分区为只读权限，若强制修改将会产生段错误。2、data：也称为数据段，其中主要用于存放初始化过的全局变量、静态局部变量。3、bss：也称为静态数据段，主要用于存放未初始化过的全局变量、静态局部变量。Ps：该段内存在进程运行前自动清理为04
  • 解线性方程组 qiuwanchi
    package gaodai.matrix; import java.util.ArrayList; import java.util.List; import java.util.Scanner; public class Test { public static void main(String[] args) { Scanner scanner = new Sc
  • 在mysql内部存储代码 annan211 性能mysql存储过程触发器
    在mysql内部存储代码 在mysql内部存储代码，既有优点也有缺点，而且有人倡导有人反对。 先看优点： 1 她在服务器内部执行，离数据最近，另外在服务器上执行还可以节省带宽和网络延迟。 2 这是一种代码重用。可以方便的统一业务规则，保证某些行为的一致性，所以也可以提供一定的安全性。 3 可以简化代码的维护和版本更新。 4 可以帮助提升安全，比如提供更细
  • Android使用Asynchronous Http Client完成登录保存cookie的问题 hotsunshine android
    Asynchronous Http Client是android中非常好的异步请求工具 除了异步之外还有很多封装比如json的处理，cookie的处理 引用 Persistent Cookie Storage with PersistentCookieStore This library also includes a PersistentCookieStore whi
  • java面试题 Array_06 java面试
    java面试题 第一，谈谈final, finally, finalize的区别。 final-修饰符（关键字）如果一个类被声明为final，意味着它不能再派生出新的子类，不能作为父类被继承。因此一个类不能既被声明为 abstract的，又被声明为final的。将变量或方法声明为final，可以保证它们在使用中不被改变。被声明为final的变量必须在声明时给定初值，而在以后的引用中只能
  • 网站加速 oloz 网站加速
    前序:本人菜鸟，此文研究总结来源于互联网上的资料，大牛请勿喷！本人虚心学习，多指教. 1、减小网页体积的大小，尽量采用div+css模式，尽量避免复杂的页面结构，能简约就简约。 2、采用Gzip对网页进行压缩；    GZIP最早由Jean-loup Gailly和Mark Adler创建，用于UNⅨ系统的文件压缩。我们在Linux中经常会用到后缀为.gz
  • 正确书写单例模式 随意而生 java 设计模式 单例
    　　单例模式算是设计模式中最容易理解，也是最容易手写代码的模式了吧。但是其中的坑却不少，所以也常作为面试题来考。本文主要对几种单例写法的整理，并分析其优缺点。很多都是一些老生常谈的问题，但如果你不知道如何创建一个线程安全的单例，不知道什么是双检锁，那这篇文章可能会帮助到你。 　　懒汉式，线程不安全 　　当被问到要实现一个单例模式时，很多人的第一反应是写出如下的代码，包括教科书上也是这样
  • 单例模式 香水浓 java
    懒汉  调用getInstance方法时实例化 public class Singleton { private static Singleton instance; private Singleton() {} public static synchronized Singleton getInstance() { if(null == ins
  • 安装Apache问题：系统找不到指定的文件 No installed service named "Apache2" AdyZhang apachehttp server
    安装Apache问题：系统找不到指定的文件 No installed service named "Apache2" 每次到这一步都很小心防它的端口冲突问题，结果，特意留出来的80端口就是不能用，烦。 解决方法确保几处： 1、停止IIS启动 2、把端口80改成其它 （譬如90，800，，，什么数字都好） 3、防火墙(关掉试试) 在运行处输入 cmd 回车，转到apa
  • 如何在android 文件选择器中选择多个图片或者视频？ aijuans android
    我的android app有这样的需求，在进行照片和视频上传的时候，需要一次性的从照片/视频库选择多条进行上传 但是android原生态的sdk中，只能一个一个的进行选择和上传。 我想知道是否有其他的android上传库可以解决这个问题，提供一个多选的功能，可以使checkbox之类的，一次选择多个 处理方法 官方的图片选择器(但是不支持所有版本的androi，只支持API Level
  • mysql中查询生日提醒的日期相关的sql baalwolf mysql
    SELECT sysid,user_name,birthday,listid,userhead_50,CONCAT(YEAR(CURDATE()),DATE_FORMAT(birthday,'-%m-%d')),CURDATE(),  dayofyear( CONCAT(YEAR(CURDATE()),DATE_FORMAT(birthday,'-%m-%d')))-dayofyear(
  • MongoDB索引文件破坏后导致查询错误的问题 BigBird2012 mongodb
    问题描述： MongoDB在非正常情况下关闭时，可能会导致索引文件破坏，造成数据在更新时没有反映到索引上。 解决方案：   使用脚本，重建MongoDB所有表的索引。 var names = db.getCollectionNames(); for( var i in names ){ var name = names[i]; print(name);
  • Javascript Promise bijian1013 JavaScriptPromise
            Parse JavaScript SDK现在提供了支持大多数异步方法的兼容jquery的Promises模式，那么这意味着什么呢，读完下文你就了解了。 一.认识Promises         “Promises”代表着在javascript程序里下一个伟大的范式，但是理解他们为什么如此伟大不是件简
  • [Zookeeper学习笔记九]Zookeeper源代码分析之Zookeeper构造过程 bit1129 zookeeper
       Zookeeper重载了几个构造函数，其中构造者可以提供参数最多，可定制性最多的构造函数是     public ZooKeeper(String connectString, int sessionTimeout, Watcher watcher, long sessionId, byte[] sessionPasswd, boolea
  • 【Java命令三】jstack bit1129 jstack
    jstack是用于获得当前运行的Java程序所有的线程的运行情况(thread dump），不同于jmap用于获得memory dump   [hadoop@hadoop sbin]$ jstack Usage: jstack [-l] <pid> (to connect to running process) jstack -F
  • jboss 5.1启停脚本　动静分离部署 ronin47
    以前启动jboss，往各种xml配置文件，现只要运行一句脚本即可。start nohup sh /**/run.sh -c servicename  -b ip -g  clustername   -u broatcast jboss.messaging.ServerPeerID=int  -Djboss.service.binding.set=p
  • UI之如何打磨设计能力? brotherlamp UIui教程ui自学ui资料ui视频
      在越来越拥挤的初创企业世界里，视觉设计的重要性往往可以与杀手级用户体验比肩。在许多情况下，尤其对于 Web 初创企业而言，这两者都是不可或缺的。前不久我们在《右脑革命：别学编程了，学艺术吧》中也曾发出过重视设计的呼吁。如何才能提高初创企业的设计能力呢?以下是 9 位创始人的体会。 1.找到自己的方式 如果你是设计师，要想提高技能可以去设计博客和展示好设计的网站如D-lists或
  • 三色旗算法 bylijinnan java算法
    import java.util.Arrays; /** 问题： 假设有一条绳子，上面有红、白、蓝三种颜色的旗子，起初绳子上的旗子颜色并没有顺序， 您希望将之分类，并排列为蓝、白、红的顺序，要如何移动次数才会最少，注意您只能在绳 子上进行这个动作，而且一次只能调换两个旗子。 网上的解法大多类似： 在一条绳子上移动，在程式中也就意味只能使用一个阵列，而不使用其它的阵列来
  • 警告:No configuration found for the specified action: \'s chiangfai configuration
    1.index.jsp页面form标签未指定namespace属性。 <!--index.jsp代码--> <%@taglib prefix="s" uri="/struts-tags"%> ... <s:form action="submit" method="post"&g
  • redis -- hash_max_zipmap_entries设置过大有问题 chenchao051 redishash
    使用redis时为了使用hash追求更高的内存使用率，我们一般都用hash结构，并且有时候会把hash_max_zipmap_entries这个值设置的很大，很多资料也推荐设置到1000，默认设置为了512，但是这里有个坑   #define ZIPMAP_BIGLEN 254 #define ZIPMAP_END 255     /* Return th
  • select into outfile access deny问题 daizj mysqltxt导出数据到文件
    本文转自：http://hatemysql.com/2010/06/29/select-into-outfile-access-deny%E9%97%AE%E9%A2%98/ 为应用建立了rnd的帐号，专门为他们查询线上数据库用的，当然，只有他们上了生产网络以后才能连上数据库，安全方面我们还是很注意的，呵呵。 授权的语句如下： grant select on armory.* to rn
  • phpexcel导出excel表简单入门示例 dcj3sjt126com PHPExcelphpexcel
    <?php error_reporting(E_ALL); ini_set('display_errors', TRUE); ini_set('display_startup_errors', TRUE);   if (PHP_SAPI == 'cli') die('This example should only be run from a Web Brows
  • 美国电影超短200句 dcj3sjt126com 电影
    1. I see． 我明白了。2. I quit! 我不干了!3. Let go! 放手!4. Me too． 我也是。5. My god! 天哪!6. No way! 不行!7. Come on． 来吧(赶快)8. Hold on． 等一等。9. I agree。 我同意。10. Not bad． 还不错。11. Not yet． 还没。12. See you． 再见。13. Shut up!
  • Java访问远程服务 dyy_gusi httpclientwebservicegetpost
        随着webService的崛起，我们开始中会越来越多的使用到访问远程webService服务。当然对于不同的webService框架一般都有自己的client包供使用，但是如果使用webService框架自己的client包，那么必然需要在自己的代码中引入它的包，如果同时调运了多个不同框架的webService，那么就需要同时引入多个不同的clien
  • Maven的settings.xml配置 geeksun settings.xml
    settings.xml是Maven的配置文件，下面解释一下其中的配置含义： settings.xml存在于两个地方： 1.安装的地方：$M2_HOME/conf/settings.xml 2.用户的目录：${user.home}/.m2/settings.xml 前者又被叫做全局配置，后者被称为用户配置。如果两者都存在，它们的内容将被合并，并且用户范围的settings.xml优先。
  • ubuntu的init与系统服务设置 hongtoushizi ubuntu
    转载自：  http://iysm.net/?p=178 init Init是位于/sbin/init的一个程序，它是在linux下，在系统启动过程中，初始化所有的设备驱动程序和数据结构等之后，由内核启动的一个用户级程序，并由此init程序进而完成系统的启动过程。 ubuntu与传统的linux略有不同，使用upstart完成系统的启动，但表面上仍维持init程序的形式。 运行
  • 跟我学Nginx+Lua开发目录贴 jinnianshilongnian nginxlua
    使用Nginx+Lua开发近一年的时间，学习和实践了一些Nginx+Lua开发的架构，为了让更多人使用Nginx+Lua架构开发，利用春节期间总结了一份基本的学习教程，希望对大家有用。也欢迎谈探讨学习一些经验。    目录 第一章 安装Nginx+Lua开发环境 第二章 Nginx+Lua开发入门 第三章 Redis/SSDB+Twemproxy安装与使用 第四章 L
  • php位运算符注意事项 home198979 位运算PHP&
    $a = $b = $c = 0; $a & $b = 1; $b | $c = 1  问a,b,c最终为多少?   当看到这题时，我犯了一个低级错误，误 以为位运算符会改变变量的值。所以得出结果是1 1 0 但是位运算符是不会改变变量的值的，例如： $a=1;$b=2; $a&$b;  这样a,b的值不会有任何改变
  • Linux shell数组建立和使用技巧 pda158 linux
    1.数组定义 　　[chengmo@centos5 ~]$ a=(1 2 3 4 5) 　　[chengmo@centos5 ~]$ echo $a 　　1 　　一对括号表示是数组，数组元素用“空格”符号分割开。 　　 2.数组读取与赋值 　　得到长度： 　　[chengmo@centos5 ~]$ echo ${#a[@]} 　　5 　　用${#数组名[@或
  • hotspot源码(JDK7) ol_beta javaHotSpotjvm
    源码结构图，方便理解：   ├─agent                            Serviceab
  • Oracle基本事务和ForAll执行批量DML练习 vipbooks oraclesql
    基本事务的使用： 从账户一的余额中转100到账户二的余额中去，如果账户二不存在或账户一中的余额不足100则整笔交易回滚 select * from account; -- 创建一张账户表 create table account( -- 账户ID id number(3) not null, -- 账户名称 nam