weixin_34221036
weixin_34221036

mysql-innodb笔记和Spring的那些事

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

一直觉得mysql怎么用用就行，深得公司DBA大神的影响，当各种细节需要处理的时候就会知道深入的太少，各种拙荆见肘，各种靠猜的武断决策，决心系统化通读下innodb的知识。

Mysql从使用到现在差不多跟工龄有的一比了，减掉前几年的Sql Server的时间，就算是对sql的范式稍微长进了那么一点，总是不甘心停留在知道，会这么用，至于为什么这么用，还是需要更加系统一点的知识，这里就做个笔记吧，顺便和平常项目开发举一反三一下。

因为不是DBA出生，很多内容都参考书上和网上的部分知识，并未花太多时间去验证，总觉得平常对mysql的知识接收的过于发散，难以系统化理解，心里永远一块搁不下的石头，最近花了很多时间去研究监控系统的来龙去脉，系统化的研究会带来很多知识的延伸，这些延伸会更加让整个系统架构更加具备可比性和可扩展性，在继续研究监控系统中，穿插再系统化研究下Mysql innodb的知识。

这篇博文的链接：http://www.j360.me/2016/10/27/mysql-innodb%E7%AC%94%E8%AE%B0%E5%8F%8A%E9%A1%B9%E7%9B%AE%E5%BC%80%E5%8F%91%E6%83%B3%E6%B3%95%E4%B8%80%E4%BA%8C%E4%B8%89/

小小的一点抱怨

看到Mysql技术内幕这段话的时候很有感触

不系统的分析和未加验证的实验结果会产生误导，互联网更是加剧了结果的传播，每个人是受益者，也是受害者。包括我现在写的笔记，仅作为参考。

InnoDB

平常工作当中用的5.6版本，innodb1.2版本，所以只总结这方面吧

总结性一段话： InnoDB通过使用多版本并发控**（MVCC）** 来获得高并发性，并且实现了SQL标准的4种隔离级别，默认为REPEATABLE级别。同时，使用一种被称为next-keylocking的策略来避免幻读（phantom)

PS:从这里可以看出InnoDB在ACID中的I隔离性。

前面的一点概念知识

  1. 表的存储按照主键顺序存放，如果没有显示定义主键，则自动生成6字节的rowid作为主键。

    • 没有显示定义主键，则先去找第一个非空的唯一索引，第一个是指add index的顺序，而不是字段的顺序
    • 不满足上面条件，则是6字节的自动生成的指针

  2. innodb支持的作用

    • 最大支持64T
    • 事务
    • 行锁
    • 外键
    • XA,SAVEPOINTS
    • B-tree Index,Hash Index
mysql> show engines\G;
*************************** 1. row ***************************
      Engine: InnoDB
     Support: DEFAULT
     Comment: Supports transactions, row-level locking, and foreign keys
Transactions: YES
          XA: YES
  Savepoints: YES
*************************** 2. row ***************************
      Engine: MRG_MYISAM
     Support: YES
     Comment: Collection of identical MyISAM tables
Transactions: NO
          XA: NO
  Savepoints: NO
*************************** 3. row ***************************
      Engine: MEMORY
     Support: YES
     Comment: Hash based, stored in memory, useful for temporary tables
Transactions: NO
          XA: NO
  Savepoints: NO
*************************** 4. row ***************************
      Engine: BLACKHOLE
     Support: YES
     Comment: /dev/null storage engine (anything you write to it disappears)
Transactions: NO
          XA: NO
  Savepoints: NO
*************************** 5. row ***************************
      Engine: MyISAM
     Support: YES
     Comment: MyISAM storage engine
Transactions: NO
          XA: NO
  Savepoints: NO
*************************** 6. row ***************************
      Engine: CSV
     Support: YES
     Comment: CSV storage engine
Transactions: NO
          XA: NO
  Savepoints: NO
*************************** 7. row ***************************
      Engine: ARCHIVE
     Support: YES
     Comment: Archive storage engine
Transactions: NO
          XA: NO
  Savepoints: NO
*************************** 8. row ***************************
      Engine: PERFORMANCE_SCHEMA
     Support: YES
     Comment: Performance Schema
Transactions: NO
          XA: NO
  Savepoints: NO
*************************** 9. row ***************************
      Engine: FEDERATED
     Support: NO
     Comment: Federated MySQL storage engine
Transactions: NULL
          XA: NULL
  Savepoints: NULL
9 rows in set (0.00 sec)
  1. 索引

上面的概念里面说InnoDB支持3种索引：

- B+tree
- Hash索引
- 全文索引

这和我们在网上搜到的不一致嘛?! InnoDB生成的哈希索引是自适应的，DBA不能干预是否生成这货，字典查找时会使用哈希索引

另外，b+tree索引并不能定位到具体的行，而是只能定位到页，innodb把页的信息全部加载到内存中，在通过Page Directory 二分查找法定义到具体的行。切记

show engine innodb status\G;
\-------------------------------------
\INSERT BUFFER AND ADAPTIVE HASH INDEX
\-------------------------------------
Ibuf: size 1, free list len 0, seg size 2, 0 merges
merged operations:
 insert 0, delete mark 0, delete 0
discarded operations:
 insert 0, delete mark 0, delete 0
Hash table size 34679, node heap has 3 buffer(s)
Hash table size 34679, node heap has 0 buffer(s)
Hash table size 34679, node heap has 3 buffer(s)
Hash table size 34679, node heap has 4 buffer(s)
Hash table size 34679, node heap has 4 buffer(s)
Hash table size 34679, node heap has 3 buffer(s)
Hash table size 34679, node heap has 3 buffer(s)
Hash table size 34679, node heap has 3 buffer(s)
0.00 hash searches/s, 0.00 non-hash searches/s

一些重要的概念：

  • 聚簇索引：顺序存放的主键，和他的所有的行的数据放一起，只能有一个
  • 辅助索引：就是非主键的其他定义的索引，可以有多个，这里并没有其他数据，但是会有一个关联的主键信息，便于关联到上面的信息

从这里可以看出来，通过辅助索引的查找的工作量起码是2倍了

看下索引吧

mysql> show index from user\G;
*************************** 1. row ***************************
        Table: user
   Non_unique: 0
     Key_name: PRIMARY
 Seq_in_index: 1
  Column_name: uid
    Collation: A
  Cardinality: 0
     Sub_part: NULL
       Packed: NULL
         Null:
   Index_type: BTREE
      Comment:
Index_comment:
8 rows in set (0.00 sec)

索引的查询一二三

innoDB在使用查询时，一般都会去注意2个方面的问题

1. 如何建索引
2. 如何能用到索引

如何建索引一般问题都比较容易，只需要注意这么几点

1.查询是不是需要用到
2.组合的查询建联合索引，看是否可以合并部分索引，向左原则
3.like查询使用x%时，向左原则
4.索引对字段长度的限制，需要满足条件
5.考虑索引的Cardinality值，也就是可取值的范围，比如男女/是否/1-0，就没必要索引了

如何能用到索引，是个比较麻烦的事情，不同情况innodb，特别是1.2版本之后的innodb根据配置也不一样，但是遵循的逻辑是可推的，多用explain才是王道

1.按主键的单查询索引是最快的
2.辅助索引的查询会分为ref和range，如果是范围查找innodb优化器会考虑全表扫描filesort，大概的范围是20%的阈值，这里可以强制使用索引 force index，而hint index的使用对innodb仅仅是参考
3.如果使用辅助索引，在可能的情况下使用覆盖索引 using index，即查询的字段在使用该索引字段的范围内
4.覆盖索引在进行部分统计 count(*)的时候可以被用到，补充下：凡是用到覆盖索引的地方，都可以用到索引
5.索引可以被使用到的关键字 = ,between,in,like x%
6.MRR优化是否开启，优化range，ref，eq_ref类型的查询，范围查询优化的思路就是将索引按照顺序的方式进行书签查找
7.ICP优化是否开启，索引查询的同时会部分按照where条件过滤，减少fetch的量级

如果按照单一索引进行查询，innodb在开启字典查询情况下会极大优化查询的性能，这里会用到innodb自己生成的自适应的哈希索引

  • Using where：表示优化器需要通过索引回表查询数据；
  • Using index：表示直接访问索引就足够获取到所需要的数据，不需要通过索引回表；
  • Using index condition：在5.6版本后加入的新特性（Index Condition Pushdown）ICP;

在这种情况如何定义索引，找到uid=1，2，3并且按创建时间排序取前3个，看下面的结果，取的是uid的索引+createtime_uid联合索引，想想为什么不是uid_createtime的联合索引

mysql> select * from userlink;
+----+-----+------------+------------+
| id | uid | createtime | updatetime |
+----+-----+------------+------------+
|  1 |   1 |          1 |          3 |
|  2 |   2 |          2 |          4 |
|  3 |   3 |          3 |          5 |
|  4 |   4 |          4 |          6 |
+----+-----+------------+------------+
4 rows in set (0.00 sec)

先看一个辅助索引用不上的场景
mysql> explain select * from userlink where createtime in (1,2)  order by uid desc limit 2;
+----+-------------+----------+------------+------+----------------+------+---------+------+------+----------+-----------------------------+
| id | select_type | table    | partitions | type | possible_keys  | key  | key_len | ref  | rows | filtered | Extra                       |
+----+-------------+----------+------------+------+----------------+------+---------+------+------+----------+-----------------------------+
|  1 | SIMPLE      | userlink | NULL       | ALL  | createtime_uid | NULL | NULL    | NULL |    4 |    50.00 | Using where; Using filesort |
+----+-------------+----------+------------+------+----------------+------+---------+------+------+----------+-----------------------------+
1 row in set, 1 warning (0.00 sec)


再看上述需求下的用例解释
mysql> explain select createtime from userlink  where  uid in (1,2) and createtime < 3 order by createtime desc limit 2;
+----+-------------+----------+------------+-------+--------------------+----------------+---------+------+------+----------+--------------------------+
| id | select_type | table    | partitions | type  | possible_keys      | key            | key_len | ref  | rows | filtered | Extra                    |
+----+-------------+----------+------------+-------+--------------------+----------------+---------+------+------+----------+--------------------------+
|  1 | SIMPLE      | userlink | NULL       | range | uid,createtime_uid | createtime_uid | 8       | NULL |    2 |    50.00 | Using where; Using index |
+----+-------------+----------+------------+-------+--------------------+----------------+---------+------+------+----------+--------------------------+
1 row in set, 1 warning (0.00 sec)


mysql> explain select * from userlink where uid in (1,2) and createtime < 3 order by createtime desc limit 2;
+----+-------------+----------+------------+-------+--------------------+----------------+---------+------+------+----------+-----------------------+
| id | select_type | table    | partitions | type  | possible_keys      | key            | key_len | ref  | rows | filtered | Extra                 |
+----+-------------+----------+------------+-------+--------------------+----------------+---------+------+------+----------+-----------------------+
|  1 | SIMPLE      | userlink | NULL       | range | uid,createtime_uid | createtime_uid | 8       | NULL |    2 |    50.00 | Using index condition |
+----+-------------+----------+------------+-------+--------------------+----------------+---------+------+------+----------+-----------------------+
1 row in set, 1 warning (0.00 sec)


在修改createtime_uid联合索引，留下createtime的单一索引后的结果

mysql> explain select * from userlink where uid in (1,2) and createtime < 3 order by createtime desc limit 2;
+----+-------------+----------+------------+-------+----------------+------------+---------+------+------+----------+------------------------------------+
| id | select_type | table    | partitions | type  | possible_keys  | key        | key_len | ref  | rows | filtered | Extra                              |
+----+-------------+----------+------------+-------+----------------+------------+---------+------+------+----------+------------------------------------+
|  1 | SIMPLE      | userlink | NULL       | range | uid,createtime | createtime | 8       | NULL |    2 |    50.00 | Using index condition; Using where |
+----+-------------+----------+------------+-------+----------------+------------+---------+------+------+----------+------------------------------------+
1 row in set, 1 warning (0.00 sec)

结果证明联合索引在这里充分体现了联合索引的具体的存储方式为第一个索引会给第二个索引的顺序性查找增强了性能，icp在5.6也有所体现

全文索引

先把全文检索的语法列出来，建全文索引就是为了用

match against

select * from user where match(name) against ('j360')

innoDB1.2开始支持全文索引，简单总结下，参考资料的举例都是英文单词，可以想象到对中文的支持应该比较差，这里直接推荐ES了，在量级不大的海外英文主体市场可以尝试

相关值的依据有4个条件

1.word是否在文档中出现
2.word出现的次数
3.word在索引中的数量
4.多少个文档包含word

锁

接着聊...

第二天...

innodb中锁是基于行锁的机制，MyISAM是表锁设计，提供的一致性的非锁定读、行级锁支持

行级锁没有额外的开销，并可以同时得到并发性和一致性。 《innoDB存储引擎一书》

innoDB有两种容易混淆的锁概念，lock 、latch

  • lock：针对事务，数据库内容，行锁，表锁，意向锁
  • latch：针对线程，内存数据结构，读写锁，互斥量，有点像java多线程的锁

这里只讲lock。

行级锁：

  • 共享锁S lock:允许事务读一行数据
  • 排它锁X lock：允许事务删除或更新一行数据

举例子：

对统一记录row 的兼容情况

  • 事务T1 read row100
  • 事务T2 read row100 √ 锁兼容 LockCompatible
  • 事务T3 update row100 × 锁不兼容

查看锁定情况：

  1. show engine innodb status
  2. select * from infomation_schema.innodb_trx
  3. select * from infomation_schema.innodb_locks
  4. select * from infomation_schema.innodb_lock_waits

一致性非锁定读：

读一行数据：如果正在执行X锁 update，delete，会去读快照数据，不会锁定（MVCC），读取的是undo （用来回滚）的数据

那么问题来了，多版本的控制意思就是会有多份快照数据，到底读的是哪一份数据？答案在这里 ↓

innodb的事务隔离级别，READ COMMITTED/REPEATABLE READ

  • READ COMMITTED：读取最新的一份，不满足事务间隔离性问题
  • REPEATABLE READ：读取事务开始的那一份，这个精确度更高，默认的innodb隔离级别

一致性锁定读：

这个平常基本上不敢用，但是有些情况下会用

select ... for update  加X锁
select ... lock in share mode 加S锁

如果使用一致性非锁定读，这和上面的锁定度不影响，因为会MVCC

自增

之前没有搞懂的一道亮丽的坑在这里填上。

自增的锁在提交完自动释放，而不是等待事务结束才释放。如果经过的事务都是不回滚的事务，则这里的自增是连续的，否则会不连续。

  • Auto-INC Locking:传统自增, Mysql 5.1.22之前，一种经过优化的表锁设计
  • innodb_autoinc_lock_mode,会有3个选择0/1（默认值）/2
  • 1的意思是，对于“simple inserts”（插入前就已经知道插叙行数，insert，replace等）会使用互斥量对内存计数器进行累加，“buck inserts”（不确定的行数，）使用传统的自增，如果Auto-INC之后执行“simple inserts”，需要等待哦
  • 自增长的列必须是索引，且第一个列

SpringJdbcTemplate在执行insert操作切没有附加自增ID的值时，mysql会默认提供生成一个自增id，且Spring会通过prepareStatment回调拿到该自增的值，执行完该操作，如果成功，则可以将该id作为key返回，如果失败，该自增id丢弃，数据库自增id不连续。 留一个问题，spring是在什么时候拿到的这个自增id？翻一下源码看看。

这里是SpringJdbc中执行写操作的伪代码，Spring对JDBC的封装分为模板+回调，模板控制着事务中的操作，回调控制操作中的部分自定义内容，比如下面的：

public int update(final PreparedStatementCreator psc, final KeyHolder generatedKeyHolder)
			throws DataAccessException {

		Assert.notNull(generatedKeyHolder, "KeyHolder must not be null");
		logger.debug("Executing SQL update and returning generated keys");

		return execute(psc, new PreparedStatementCallback() {
			@Override
			public Integer doInPreparedStatement(PreparedStatement ps) throws SQLException {
				// 在这里，执行了操作
				int rows = ps.executeUpdate();
				
				// 2） 在execute的函数中拿到了被包装的stmt的返回值
				List> generatedKeys = generatedKeyHolder.getKeyList();
				generatedKeys.clear();
				ResultSet keys = ps.getGeneratedKeys();
				if (keys != null) {
					try {
						RowMapperResultSetExtractor> rse =
								new RowMapperResultSetExtractor>(getColumnMapRowMapper(), 1);
						generatedKeys.addAll(rse.extractData(keys));
					}
					finally {
						JdbcUtils.closeResultSet(keys);
					}
				}
				if (logger.isDebugEnabled()) {
					logger.debug("SQL update affected " + rows + " rows and returned " + generatedKeys.size() + " keys");
				}
				return rows;
			}
		});
	}

如何调用上面的Spring的伪代码

public long insertAndGetKey(JdbcTemplate jdbcTemplate,final String sql, final Object... params) {
        KeyHolder keyHolder = new GeneratedKeyHolder();
        jdbcTemplate.update(new PreparedStatementCreator() {
            @Override
            public PreparedStatement createPreparedStatement(Connection con) throws SQLException {
            //这里标记处需要返回GENERATED_KEYS，是一个LinkedList，需要进一步解析，所以需要定义一个KeyHolder
                PreparedStatement pstmt = con.prepareStatement(sql, java.sql.Statement.RETURN_GENERATED_KEYS);
                for (int i = 0; i < params.length; i++) {
                    pstmt.setObject(i + 1, params[i]);
                }
                return pstmt;
            }
        }, keyHolder);
        
        // 4）最终拿到返回的主键id
        return keyHolder.getKey().longValue();
    }

GeneratedKeyHolder获取到最终的主键的Id


// 3） 这里KeyHolder的函数解析返回的值
public Number getKey() throws InvalidDataAccessApiUsageException, DataRetrievalFailureException {
		if (this.keyList.size() == 0) {
			return null;
		}
		if (this.keyList.size() > 1 || this.keyList.get(0).size() > 1) {
			throw new InvalidDataAccessApiUsageException(
					"The getKey method should only be used when a single key is returned.  " +
					"The current key entry contains multiple keys: " + this.keyList);
		}
		Iterator keyIter = this.keyList.get(0).values().iterator();
		if (keyIter.hasNext()) {
			Object key = keyIter.next();
			if (!(key instanceof Number)) {
				throw new DataRetrievalFailureException(
						"The generated key is not of a supported numeric type. " +
						"Unable to cast [" + (key != null ? key.getClass().getName() : null) +
						"] to [" + Number.class.getName() + "]");
			}
			return (Number) key;
		}
		else {
			throw new DataRetrievalFailureException("Unable to retrieve the generated key. " +
					"Check that the table has an identity column enabled.");
		}
	}
 
   
再往里面看，Spring最终回去调用连接池，比如Druid的conn
 
   
Connection con = DataSourceUtils.getConnection(getDataSource());
		Statement stmt = null;
		try {
			Connection conToUse = con;
			if (this.nativeJdbcExtractor != null &&
					this.nativeJdbcExtractor.isNativeConnectionNecessaryForNativeStatements()) {
				conToUse = this.nativeJdbcExtractor.getNativeConnection(con);
			}
			stmt = conToUse.createStatement();
			applyStatementSettings(stmt);
			Statement stmtToUse = stmt;
			if (this.nativeJdbcExtractor != null) {
				stmtToUse = this.nativeJdbcExtractor.getNativeStatement(stmt);
			}
			//1）在这里把拿到的结果warpper包装下，返回给KeyHolder
			T result = action.doInStatement(stmtToUse);
			handleWarnings(stmt);
			return result;
		}

 
   
锁算法
 
   
 
    
     
     
  • a.Record Lock 行记录锁
    •  
    
 
   
 
   
 
    
     
     
  • b.Gap Lock 间隙锁，锁一个范围，不包含记录本上
    •  
    
 
   
 
   
 
    
     
     
  • c.Next-Key Lock:Gap Lock+Record Lord c=b+a 范围+记录本身，解决幻读问题
    •  
    
 
   
 
   
太复杂，还要好好归纳下
 
   
幻读 是连续两次读取到的内容不一致，这里和隔离性是息息相关的，两个不同事务间的隔离，在其他数据库中可能需要串行化的隔离级别才能达到，在READ COMMITED隔离级别中只有Record Lock，所以不具备隔离性的特征，存在幻读的可能。
 
   
究竟next key locking是如何解决的，用的就是上面的锁算法
 
   
脏读 脏读和幻读有点像，都是读取了别人的数据，违背隔离性的问题，但是有着本质上的区别，幻读最起码读取的内容是提交过的事务的数据，而脏读则是读取了未被提交的数据。这种问题在隔离级别为READ UNCOMMITED中会发生
 
   
不可重复读 也就是幻读，这种叫法更加符合隔离级别定义
 
   
后面3个问题在平常开发过程中很可能会碰到，即便在默认的隔离级别之下，所以这里作为开发人员要小心注意了
 
   
丢失更新 现在都是并发场景多，你把看到的内容经过计算后的提交内容，把我看到的内容经过计算处理后的提交内容覆盖了。啰嗦在什么地方，这里并没有违反什么规定，而是业务上需要注意看到这个读操作，也就是读和写之间存在了其他的操作，需要做的就是将读写串行化，对读加一致性读操作。【重要等级】
 
   
阻塞 等待别人的锁超时，报了超时异常，但是结果却执行了，需要注意。
 
   
死锁 死锁一律异常回滚，但是回滚的是谁需要探个究竟，FIFO是之前innodb的做法，现在也能够优化成通过位图来计算事务大小回滚事务小的这个，谢谢oracle。
 
   
死锁在位图中的表达方式就是一个回路，我调了你的资源锁你也调了我的资源锁，互相持有对方需要的资源。
 
   
把这些搞清楚了，再看看事务吧。
 
   
 
    
PS；innodb没有锁升级的概念，其他数据库有
 
   
 
   
事务
 
   
等待完成... 事务这节笔记是看的最激动的一节，配合JTA+Spring对于事务的传播方式可以从开发的角度理解这些配置的来龙去脉，再往上深入到前面的章节，对知识做一个深入，也算是对平常开发过程中各种用法理论上的交代。
 
   
innodb的事务
 
   
innodb是能够实现ACID特性的数据库引擎，这些都和事务息息相关，事务在Spring的传播机制谈到了一些配置，具体用到innodb时又是怎么关联的，先列出事务的种类：
 
   
     
    
  1. 扁平化事务
    2.  
    
  2. 保存点事务
    3.  
    
  3. 链式事务
    4.  
    
  4. 嵌套事务 innodb不支持
    5.  
    
  5. 分布式事务
    6.  
   
 
   
根据各自的名称也能猜得到意思，在spring的传播机制中特地提到了大小事务的概念，看来这里是不支持了，但是spring中的嵌套事务是否是这里提到的嵌套事务呢，接着验证。在某些情况下保存点事务通过某些方法是可以变种成嵌套事务的。这就是Savepoint机制了。它要求事务管理器或者使用JDBC 3.0 Savepoint API提供嵌套事务行为（如Spring的DataSourceTransactionManager） Spring的定义是这么解释的： PROPAGATION_NESTED 开始一个 "嵌套的" 事务, 它是已经存在事务的一个真正的“子事务”（这个好像有点不对）. 嵌套事务开始执行时, 它将取得一个 savepoint. 如果这个嵌套事务失败, 我们将回滚到此 savepoint. 嵌套事务是外部事务的一部分, 只有外部事务结束后它才会被提交.
 
   
扁平化事务是使用中几乎是绝对使用的范畴，意思就是全部是了，关于保存点事务就是回滚到一个保存点上，不至于回滚整个事务，这里在批处理的时候用途很大。链式事务会带上上一个事务的部分信息，上一个事务是一个commit的事务，但是后者可以看到上一个事务的结果。具体和Spring的事务有着何种关系，在Spring中怎么配置，见下面的Spring 配置。
 
   
Spring对于事务的配置
 
   
Spring在JDBC中定义了实际操作中的异常，基于Driver的异常少的可怜，根据mysql返回给client的错误代码可以得到具体的异常。
 
   
JDBC异常体系
 
   
     
    
  • BatchUpdateException
    •  
    
  • DataTruncation
    •  
    
  • SQLException
    •  
    
  • SQLWarning
    •  
   
 
   
Spring异常体系太多了，只能看源码了，看DataAccessException的子类。
 
   
先看看Spring对于事务的定义都有哪些选项，具体的代码可以通过DataSourceTransactionManager来查看，在这里可以通过事务的aop实现简单的读写分离，也就是通过方法名做为读写分离技术的依据key，比如通过前缀匹配、正则等。这里也有一个前提，相同线程下的同一个事务请求需要走同一个db，具体走哪一个需要指定读还是写，有读有写则一并写到写库。
 
   

		
			
				
					
						
							
						
					
					
						
							
						
						
							
							
								
								
								
								
								
								
								
							
						
					
					
						
							
						
						
						
							
								
								
								
								
								
							
						
					
					
						
							
						
					
					
					
						
							
						
					
					
						
						
							
						
					
					
						
							
						
					
				
			
		
	

 
   
只读事务在这里体现在一致性读和非一致性读的方式。 InnoDB默认的read only有两种方式：
 
   
 
    
     
     
  • The transaction is started with the START TRANSACTION READ ONLY statement.
    •  
     
  • The autocommit setting is turned on（打开）
    •  
    
 
   
 
   
详细说明，来自于官方的解释: https://dev.mysql.com/doc/refman/5.7/en/innodb-performance-ro-txn.html
 
   
     
    
  • InnoDB can avoid the overhead associated with setting up the transaction ID (TRX_ID field) for transactions that are known to be read-only. A transaction ID is only needed for a transaction that might perform write operations or locking reads such as SELECT ... FOR UPDATE. Eliminating（排除） unnecessary transaction IDs（不必要的transaction id） reduces（降低） the size of internal data structures that are consulted（商量，顾及） each time a query or DML（数据操纵语言） statement constructs a read view. Currently, InnoDB detects（发现，发觉） read-only transactions when: The transaction is started with the START TRANSACTION READ ONLY statement. In this case, attempting to make changes to the database (for InnoDB, MyISAM, or other types of tables) causes an error, and the transaction continues in read-only state:
    •  
   
 
   
ERROR 1792 (25006): Cannot execute statement in a READ ONLY transaction.

 
   
 
    
You can still make changes to session-specific temporary（临时的） tables in a read-only transaction, or issue locking queries for them, because those changes and locks are not visible to any other transaction.
 
   
 
   
     
    
  •  
    The autocommit setting is turned on（打开）, so that the transaction is guaranteed to be a single statement, and the single statement making up the transaction is a “non-locking” SELECT statement. That is, a SELECT that does not use a FOR UPDATE or LOCK IN SHARED MODE clause.
     
    •  
    
  •  
    The transaction is started without the READ ONLY option, but no updates or statements that explicitly lock rows have been executed yet. Until updates or explicit locks are required, a transaction stays in read-only mode.
     
    •  
   
 
   
关于Savepoint机制在上面的配置中没有看到，嵌套的配置是不是还需要再验证，但是可以通过编程创建基于Savepoint的嵌套事务。
 
   
txTemplate.execute(new TransactionCallbackWithoutResult(){
@Override
protected void doInTransactionWithoutResult(TransactionStatus txStatus) {
BigDecimal transferAmount = new BigDecimal("20000");
try
{
withdraw("WITHDRAW_ACOUNT_ID",transferAmount);
Object savePointBeforeDeposit = txStatus.createSavepoint();
try
{
deposit("MAIN_ACOUNT_ID",transferAmount);
}
catch(DepositException ex)
{
logger.warn("rollback to savepoint for main acount transfer failure",ex);
txStatus.rollbackToSavepoint(savePointBeforeDeposit);
deposit("SECONDARY_ACOUNT_ID", transferAmount);
}
finally
{
txStatus.releaseSavepoint(savePointBeforeDeposit);
}
}
catch(TransferException e)
{
logger.warn("failed to complete transfer operation!",e);
txStatus.setRollbackOnly();
}
}});

 
   
那些不了了之的未知
 
   
     
    
  1.  
    开门见山，innodb不支持嵌套事务，所以在平常使用spring的时候很多人提起spring的事务传播机制并且讨论各种情况的时候，如果用innodb是提供不了支持了，不过可以使用savepoint机制进行改造
     
    2.  
    
  2.  
    xa事务需要使用的驱动也必须支持xa，并且链接池是支持xa的，java在使用时需要依赖一些第三方的类库进行操作，比如atomikos,jotm等
     
    3.  
    
  3.  
    常说的乐观锁悲观说：这个只是业务上的叫法，一般for update悲观锁，意思就是假设一定不一致，就是用锁，另一个方式是version的方式，select version from xxx where id = x,更新时使用update xx where version=xxx and id = x.假设一致，这种情况下会存在碰撞失败一致重试的可能，意思和java的乐观锁cas概念有点相似，可以看看 AQS的思路，类AbstractQueuedSynchronizer。
     
    4.  
   
 
   
AQS -> 狂魔兄的博客：https://my.oschina.net/pingpangkuangmo/blog/679636
 
   
     
    
  1. 连接池如何去设置：配置初始值，再联系DBA获得线上数据库支持的连接数，计算最大连接数。连接有效性检查，只在连接空闲检测时执行，不在borrow和return时执行，最好是直接使用数据的Ping方案，不要配置检查SQL。 from 江南白衣的博客
    2.  
    
  2. 分表分库：一般都尝试在java客户端框架处理（shard-jdbc，tddl），减少两者之间过多的跳转，mycat毕竟中间加了一个环节。
    3.  
   
 
   
项目中碰到的问题
 
   
     
    
  1. 覆盖索引：index
    2.  
    
  2. 分页问题：limit
    3.  
    
  3. 关联问题：join
    4.  
    
  4. 显式事务：声明式 or 编程式
    5.  
    
  5. 读写分离：声明式 or sqlparse
    6.  
    
  6. 低并发统计：count+1，高并发redis回写
    7.  
    
  7. count(*) count(1) count(非主键）
    8.  
    
  8. 多组order order and union
    9.  
    
  9. 多层聚合 join group by
    10.  
    
  10. 批处理 （多线程批处理，Spring batch，data load）批处理导入尽量减少事务的提交，也就是不在循环中提交事务
    11.  
   
 
   
参考
 
   
     
    
  • mysql技术内幕-innodb
    •  
    
  • spring实战
    •  
    
  • spring.io
    •  
   
 
   
没有贴的细节：Spring读取配置后如何去针对各种事务情况处理的源码
 
   
PS：网上贴的各种mysql注意事项，经过一段时间的学习，大体上都是没有问题的，只是在特殊地方有着不同的处理方式，特别是到了高级语言客户端中如何去处理便又是另一个世界的问题了，但最终还是逃不掉数据库引擎的一片天。
 
   
这篇博文的链接：http://www.j360.me/2016/10/27/mysql-innodb%E7%AC%94%E8%AE%B0%E5%8F%8A%E9%A1%B9%E7%9B%AE%E5%BC%80%E5%8F%91%E6%83%B3%E6%B3%95%E4%B8%80%E4%BA%8C%E4%B8%89/
 
   
 
    
 
      
    
 
   
 
   
  
转载于:https://my.oschina.net/smartsales/blog/785314
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(java,python,系统架构)

        

            

                
    
                    
  • 理解Gunicorn：Python WSGI服务器的基石
                        范范0825
ipythonlinux运维
                        
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
    
                    
    • 
                    
  • Long类型前后端数据不一致
                        igotyback
前端
                        
    响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
    
                    
    • 
                    
  • LocalDateTime 转 String
                        igotyback
java开发语言
                        
    importjava.time.LocalDateTime;importjava.time.format.DateTimeFormatter;publicclassMain{publicstaticvoidmain(String[]args){//获取当前时间LocalDateTimenow=LocalDateTime.now();//定义日期格式化器DateTimeFormatterformat
    
                    
    • 
                    
  • Linux下QT开发的动态库界面弹出操作（SDL2）
                        13jjyao
QT类qt开发语言sdl2linux
                        
    需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
    
                    
    • 
                    
  • Python数据分析与可视化实战指南
                        William数据分析
pythonpython数据
                        
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
    
                    
    • 
                    
  • python os.environ
                        江湖偌大
python深度学习
                        
    os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
    
                    
    • 
                    
  • Python中os.environ基本介绍及使用方法
                        鹤冲天Pro
#Pythonpython服务器开发语言
                        
    文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
    
                    
    • 
                    
  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验
                        我的运维人生
信息可视化数据分析数据挖掘运维开发技术共享
                        
    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
    
                    
    • 
                    
  • Python教程：一文了解使用Python处理XPath
                        旦莫
Python进阶python开发语言
                        
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
    
                    
    • 
                    
  • python os.environ_python os.environ 读取和设置环境变量
                        weixin_39605414
pythonos.environ
                        
    >>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
    
                    
    • 
                    
  • DIV+CSS+JavaScript技术制作网页（旅游主题网页设计与制作）云南大理
                        STU学生网页设计
网页设计期末网页作业html静态网页html5期末大作业网页设计web大作业
                        
    ️精彩专栏推荐作者主页:【进入主页—获取更多源码】web前端期末大作业：【HTML5网页期末作业(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】文章目录二、网站介绍三、网站效果▶️1.视频演示2.图片演示四、网站代码HTML结构代码CSS样式代码五、更多源码二、网站介绍网站布局方面：计划采用目前主流的、能兼容各大主流浏览器、显示效果稳定的浮动网页布局结构。网站程
    
                    
    • 
                    
  • 【华为OD机试真题2023B卷 JAVA&JS】We Are A Team
                        若博豆
java算法华为javascript
                        
    华为OD2023（B卷）机试题库全覆盖，刷题指南点这里WeAreATeam时间限制：1秒|内存限制：32768K|语言限制：不限题目描述：总共有n个人在机房，每个人有一个标号（1<=标号<=n），他们分成了多个团队，需要你根据收到的m条消息判定指定的两个人是否在一个团队中，具体的：1、消息构成为：abc，整数a、b分别代
    
                    
    • 
                    
  • 使用Faiss进行高效相似度搜索
                        llzwxh888
faisspython
                        
    在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
    
                    
    • 
                    
  • python是什么意思中文-在python中%是什么意思
                        编程大乐趣

                        
    Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
    
                    
    • 
                    
  • 关于城市旅游的HTML网页设计——(旅游风景云南 5页)HTML+CSS+JavaScript
                        二挡起步
web前端期末大作业javascripthtmlcss旅游风景
                        
    ⛵源码获取文末联系✈Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业|游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作|HTML期末大学生网页设计作业，Web大学生网页HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScrip
    
                    
    • 
                    
  • HTML网页设计制作大作业（div+css） 云南我的家乡旅游景点 带文字滚动
                        二挡起步
web前端期末大作业web设计网页规划与设计htmlcssjavascriptdreamweaver前端
                        
    Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作HTML期末大学生网页设计作业HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScript：做与用户的交互行为文章目录前端学习路线
    
                    
    • 
                    
  • Day1笔记-Python简介&标识符和关键字&输入输出
                        ~在杰难逃~
Pythonpython开发语言大数据数据分析数据挖掘
                        
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
    
                    
    • 
                    
  • python八股文面试题分享及解析(1)
                        Shawn________
python
                        
    #1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
    
                    
    • 
                    
  • 每日算法&面试题，大厂特训二十八天——第二十天（树）
                        肥学
⚡算法题⚡面试题每日精进java算法数据结构
                        
    目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
    
                    
    • 
                    
  • Python快速入门 —— 第三节：类与对象
                        孤华暗香
Python快速入门python开发语言
                        
    第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
    
                    
    • 
                    
  • pyecharts——绘制柱形图折线图
                        2224070247
信息可视化pythonjava数据可视化
                        
    一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
    
                    
    • 
                    
  • node.js学习
                        小猿L
node.jsnode.js学习vim
                        
    node.js学习实操及笔记温故node.js，node.js学习实操过程及笔记~node.js学习视频node.js官网node.js中文网实操笔记githubcsdn笔记为什么学node.js可以让别人访问我们编写的网页为后续的框架学习打下基础，三大框架vuereactangular离不开node.jsnode.js是什么官网：node.js是一个开源的、跨平台的运行JavaScript的运行
    
                    
    • 
                    
  • Python 实现图片裁剪（附代码） | Python工具
                        剑客阿良_ALiang

                        
    前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
    
                    
    • 
                    
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（4)
                        算法大师
华为od面试python
                        
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
    
                    
    • 
                    
  • python os 环境变量
                        CV矿工
python开发语言numpy
                        
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
    
                    
    • 
                    
  • Python爬虫解析工具之xpath使用详解
                        eqa11
python爬虫开发语言
                        
    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
    
                    
    • 
                    
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）
                        算法大师
华为od面试python
                        
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
    
                    
    • 
                    
  • nosql数据库技术与应用知识点
                        皆过客，揽星河
NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
                        
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
    
                    
    • 
                    
  • 《Python数据分析实战终极指南》
                        xjt921122
python数据分析开发语言
                        
    对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
    
                    
    • 
                    
  • Python中深拷贝与浅拷贝的区别
                        yuxiaoyu.

                        
    转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
    
                    
    • 
                                
  • SQL的各种连接查询
                                    xieke90
UNION ALLUNION外连接内连接JOIN
                                    
    一、内连接 
  概念：内连接就是使用比较运算符根据每个表共有的列的值匹配两个表中的行。 
                内连接（join 或者inner join ） 
      SQL语法： 
      select * fron
    
                                
    • 
                                
  • java编程思想--复用类
                                    百合不是茶
java继承代理组合final类
                                    
          复用类看着标题都不知道是什么,再加上java编程思想翻译的比价难懂,所以知道现在才看这本软件界的奇书 
  
一:组合语法:就是将对象的引用放到新类中即可 
    代码: 
    
package com.wj.reuse;

/**
 * 
 * @author Administrator 组
    
                                
    • 
                                
  • [开源与生态系统]国产CPU的生态系统
                                    comsci
cpu
                                    
     
 
      计算机要从娃娃抓起...而孩子最喜欢玩游戏.... 
 
      要让国产CPU在国内市场形成自己的生态系统和产业链,国家和企业就不能够忘记游戏这个非常关键的环节.... 
 
      投入一些资金和资源,人力和政策,让游
    
                                
    • 
                                
  • JVM内存区域划分Eden Space、Survivor Space、Tenured Gen，Perm Gen解释
                                    商人shang
jvm内存
                                    
    jvm区域总体分两类，heap区和非heap区。heap区又分：Eden Space（伊甸园）、Survivor Space(幸存者区)、Tenured Gen（老年代-养老区）。 非heap区又分：Code Cache(代码缓存区)、Perm Gen（永久代）、Jvm Stack(java虚拟机栈)、Local Method Statck(本地方法栈)。 
HotSpot虚拟机GC算法采用分代收
    
                                
    • 
                                
  • 页面上调用 QQ
                                    oloz
qq
                                    
    <A href="tencent://message/?uin=707321921&amp;Site=有事Q我&amp;Menu=yes">   
<img style="border:0px;" src=http://wpa.qq.com/pa?p=1:707321921:1></a>
    
                                
    • 
                                
  • 一些问题
                                    文强chu
问题
                                    
    1.eclipse 导出 doc  出现“The Javadoc command does not exist.” javadoc command 选择 jdk/bin/javadoc.exe 2.tomcate 配置 web 项目 ..... 
SQL:3.mysql  * 必须得放前面 否则  select&nbs
    
                                
    • 
                                
  • 生活没有安全感
                                    小桔子
生活孤独安全感
                                    
           圈子好小，身边朋友没几个，交心的更是少之又少。在深圳，除了男朋友，没几个亲密的人。不知不觉男朋友成了唯一的依靠，毫不夸张的说，业余生活的全部。现在感情好，也很幸福的。但是说不准难免人心会变嘛，不发生什么大家都乐融融，发生什么很难处理。我想说如果不幸被分手(无论原因如何)，生活难免变化很大，在深圳，我没交心的朋友。明
    
                                
    • 
                                
  • php 基础语法
                                    aichenglong
php 基本语法
                                    
    1 .1 php变量必须以$开头 
<?php 
$a=” b”; 
echo 
?> 
1 .2 php基本数据库类型 Integer  float/double Boolean string 
1 .3 复合数据类型 数组array和对象 object 
1 .4 特殊数据类型  null 资源类型(resource)    $co
    
                                
    • 
                                
  • mybatis tools 配置详解
                                    AILIKES
mybatis
                                    
    MyBatis Generator中文文档 
MyBatis Generator中文文档地址： 
 
 http://generator.sturgeon.mopaas.com/ 
 
该中文文档由于尽可能和原文内容一致，所以有些地方如果不熟悉，看中文版的文档的也会有一定的障碍，所以本章根据该中文文档以及实际应用，使用通俗的语言来讲解详细的配置。 
本文使用Markdown进行编辑，但是博客显示效
    
                                
    • 
                                
  • 继承与多态的探讨
                                    百合不是茶
JAVA面向对象 继承 对象
                                    
    继承 extends   多态 
继承是面向对象最经常使用的特征之一：继承语法是通过继承发、基类的域和方法 //继承就是从现有的类中生成一个新的类，这个新类拥有现有类的所有extends是使用继承的关键字： 
  
  
在A类中定义属性和方法； 
class A{
//定义属性
int age；
//定义方法
public void go
    
                                
    • 
                                
  • JS的undefined与null的实例
                                    bijian1013
JavaScriptJavaScript
                                    
    <form name="theform" id="theform">
</form>

<script language="javascript">
    var a
    alert(typeof(b));    //这里提示undefined
    if(theform.datas
    
                                
    • 
                                
  • TDD实践（一）
                                    bijian1013
java敏捷TDD
                                    
    一.TDD概述 
        TDD：测试驱动开发，它的基本思想就是在开发功能代码之前，先编写测试代码。也就是说在明确要开发某个功能后，首先思考如何对这个功能进行测试，并完成测试代码的编写，然后编写相关的代码满足这些测试用例。然后循环进行添加其他功能，直到完全部功能的开发。 
    
    
                                
    • 
                                
  • [Maven学习笔记十]Maven Profile与资源文件过滤器
                                    bit1129
maven
                                    
    什么是Maven Profile 
Maven Profile的含义是针对编译打包环境和编译打包目的配置定制，可以在不同的环境上选择相应的配置，例如DB信息，可以根据是为开发环境编译打包，还是为生产环境编译打包，动态的选择正确的DB配置信息 
  
Profile的激活机制 
1.Profile可以手工激活，比如在Intellij Idea的Maven Project视图中可以选择一个P
    
                                
    • 
                                
  • 【Hive八】Hive用户自定义生成表函数(UDTF)
                                    bit1129
hive
                                    
    1. 什么是UDTF 
  
UDTF，是User Defined Table-Generating Functions，一眼看上去，貌似是用户自定义生成表函数，这个生成表不应该理解为生成了一个HQL Table， 貌似更应该理解为生成了类似关系表的二维行数据集 
  2. 如何实现UDTF 
 
 继承org.apache.hadoop.hive.ql.udf.generic
    
                                
    • 
                                
  • tfs restful api 加auth 2.0认计
                                    ronin47

                                    
    　　目前思考如何给tfs的ngx-tfs api增加安全性。有如下两点： 
　　一是基于客户端的ip设置。这个比较容易实现。 
　　二是基于OAuth2.0认证，这个需要lua，实现起来相对于一来说，有些难度。 
　　现在重点介绍第二种方法实现思路。 
　　 
前言：我们使用Nginx的Lua中间件建立了OAuth2认证和授权层。如果你也有此打算，阅读下面的文档，实现自动化并获得收益。SeatGe
    
                                
    • 
                                
  • jdk环境变量配置
                                    byalias
javajdk
                                    
    进行java开发，首先要安装jdk，安装了jdk后还要进行环境变量配置： 
 
1、下载jdk（http://java.sun.com/javase/downloads/index.jsp），我下载的版本是：jdk-7u79-windows-x64.exe 
 
2、安装jdk-7u79-windows-x64.exe 
 
3、配置环境变量：右击"计算机"-->&quo
    
                                
    • 
                                
  • 《代码大全》表驱动法-Table Driven Approach-2
                                    bylijinnan
java
                                    
    package com.ljn.base;

import java.io.BufferedReader;
import java.io.FileInputStream;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.Collections;
import java.uti
    
                                
    • 
                                
  • SQL 数值四舍五入 小数点后保留2位
                                    chicony
四舍五入
                                    
      
1.round() 函数是四舍五入用，第一个参数是我们要被操作的数据，第二个参数是设置我们四舍五入之后小数点后显示几位。 
2.numeric 函数的2个参数，第一个表示数据长度，第二个参数表示小数点后位数。 
例如： 
　　select   cast(round(12.5,2)   as   numeric(5,2))  
    
                                
    • 
                                
  • c++运算符重载
                                    CrazyMizzz
C++
                                    
    一、加+，减-，乘*，除/ 的运算符重载 
 
Rational operator*(const Rational &x) const{ 
 return Rational(x.a * this->a); 
 } 
在这里只写乘法的，加减除的写法类似 
 
二、<<输出,>>输入的运算符重载 
     &nb
    
                                
    • 
                                
  • hive DDL语法汇总
                                    daizj
hive修改列DDL修改表
                                    
    hive DDL语法汇总 
１、对表重命名 
hive> ALTER TABLE table_name RENAME TO new_table_name; 
  
2、修改表备注 
hive> ALTER TABLE table_name SET TBLPROPERTIES ('comment' = new_comm
    
                                
    • 
                                
  • jbox使用说明
                                    dcj3sjt126com
Web
                                    
    参考网址：http://www.kudystudio.com/jbox/jbox-demo.html   jBox v2.3 beta    [ 
点击下载]  
 
技术交流QQGroup：172543951 100521167   
 
 [2011-11-11] jBox v2.3 正式版 
 - [调整&修复] IE6下有iframe或页面有active、applet控件
    
                                
    • 
                                
  • UISegmentedControl 开发笔记
                                    dcj3sjt126com

                                    
      //    typedef NS_ENUM(NSInteger, UISegmentedControlStyle) { 
    //        UISegmentedControlStylePlain,     // large plain 
  &
    
                                
    • 
                                
  • Slick生成表映射文件
                                    ekian
scala
                                    
    Scala添加SLICK进行数据库操作，需在sbt文件上添加slick-codegen包 
 
"com.typesafe.slick"    %% "slick-codegen"      % slickVersion 
因为我是连接SQL Server数据库，还需添加slick-extensions，jtds包 
 

"com.typesa
    
                                
    • 
                                
  • ES-TEST
                                    gengzg
test
                                    
    package com.MarkNum;

import java.io.IOException;
import java.util.Date;
import java.util.HashMap;
import java.util.Map;

import javax.servlet.ServletException;
import javax.servlet.annotation
    
                                
    • 
                                
  • 为何外键不再推荐使用
                                    hugh.wang
mysqlDB
                                    
    表的关联，是一种逻辑关系，并不需要进行物理上的“硬关联”，而且你所期望的关联，其实只是其数据上存在一定的联系而已，而这种联系实际上是在设计之初就定义好的固有逻辑。 
 
在业务代码中实现的时候，只要按照设计之初的这种固有关联逻辑来处理数据即可，并不需要在数据库层面进行“硬关联”，因为在数据库层面通过使用外键的方式进行“硬关联”，会带来很多额外的资源消耗来进行一致性和完整性校验，即使很多时候我们并不
    
                                
    • 
                                
  • 领域驱动设计
                                    julyflame
VODAO设计模式DTOpo
                                    
    概念： 
 
VO（View Object）：视图对象，用于展示层，它的作用是把某个指定页面（或组件）的所有数据封装起来。 
 
DTO（Data Transfer Object）：数据传输对象，这个概念来源于J2EE的设计模式，原来的目的是为了EJB的分布式应用提供粗粒度的数据实体，以减少分布式调用的次数，从而提高分布式调用的性能和降低网络负载，但在这里，我泛指用于展示层与服务层之间的数据传输对
    
                                
    • 
                                
  • 单例设计模式
                                    hm4123660
javaSingleton单例设计模式懒汉式饿汉式
                                    
           单例模式是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例类的特殊类。通过单例模式可以保证系统中一个类只有一个实例而且该实例易于外界访问，从而方便对实例个数的控制并节约系统源。如果希望在系统中某个类的对象只能存在一个，单例模式是最好的解决方案。 
     &nb
    
                                
    • 
                                
  • logback
                                    zhb8015
loglogback
                                    
    一、logback的介绍 
     Logback是由log4j创始人设计的又一个开源日志组件。logback当前分成三个模块：logback-core,logback- classic和logback-access。logback-core是其它两个模块的基础模块。logback-classic是log4j的一个 改良版本。此外logback-class
    
                                
    • 
                                
  • 整合Kafka到Spark Streaming——代码示例和挑战
                                    Stark_Summer
sparkstormzookeeperPARALLELISMprocessing
                                    
    作者Michael G. Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间， Michael还提到了将Kafka整合到 Spark Streaming中的一些现状，非常值得阅读，虽然有一些信息在Spark 1.2版
    
                                
    • 
                                
  • spring-master-slave-commondao
                                    王新春
DAOspringdataSourceslavemaster
                                    
    互联网的web项目，都有个特点：请求的并发量高，其中请求最耗时的db操作，又是系统优化的重中之重。 
 
为此，往往搭建 db的 一主多从库的 数据库架构。作为web的DAO层，要保证针对主库进行写操作，对多个从库进行读操作。当然在一些请求中，为了避免主从复制的延迟导致的数据不一致性，部分的读操作也要到主库上。（这种需求一般通过业务垂直分开，比如下单业务的代码所部署的机器，读去应该也要从主库读取数
    
                                
    •