oracle 迁移到 mysql
1、修改配置
2、POM文件,需要增加mysql对应的包
3、主键策略修改,可以在建表的时候指定主键策略
oracle配置
// oracle
spring.datasource.test1.jdbc-url=jdbc:oracle:thin:@127.0.0.1:1521/orcl
spring.datasource.test1.username=prepared
spring.datasource.test1.password=prepared
spring.datasource.test1.driver-class-name=oracle.jdbc.OracleDriver
mysql配置
// mysql
spring.datasource.test1.jdbc-url=jdbc:mysql://localhost:3306/test1?serverTimezone=UTC&useUnicode=true&characterEncoding=utf-8&useSSL=true
spring.datasource.test1.username=root
spring.datasource.test1.password=root
spring.datasource.test1.driver-class-name=com.mysql.cj.jdbc.Driver
// mysql 例子2
jdbc:mysql://localhost:3306/color_dev?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai
oracle对应的包
com.oracle
ojdbc6
11.2.0.3
mysql对应的包
mysql
mysql-connector-java
8.0.13
oracle | 说明 | mysql |
---|---|---|
varchar2 | Variable-length string, 1 ⇐ n ⇐ 4000 | varchar |
number整型 | 32-bit integer, 5 <= p < 9 | int |
number(p, s) | Fixed-point number, s > 0 | NUMERIC(p,s) 或者 DECIMAL(p,s) |
clob | Character large object, ⇐ 4G | LONGTEXT 或者 LONGBLOB |
Date | Date and time | datetime或者timestamp |
int | int 或者 INTEGER |
注意:oracle的varchar2和mysql的varchar不一样。
mysql中varchar(10)代表可以存放10个汉字,10个字母,或10个数字。
oracle中varchar2(10)代表可以中存放10个字节。即oracle中varchar2的长度代表字节数而不是字符数。mysql中一个汉字占三个字节,Oracle中一个汉字占两个字节。
oracle | mysql |
---|---|
to_char(sysdate,‘YYMM’) | date_format(NOW(),’%y%m’) |
distinct | distinct 一样,不用修改 |
between …and ,in ,not in ,and ,or,is null ,like | 一样,不用修改 |
orderby | 一样,不用修改 |
oracle是用ROWNUM,mysql用 offset, limit.
比如mysql分页:
// 第 2 页,每页 5 条
SELECT * FROM test.tableName limit 5, 10;
oracle | mysql |
---|---|
默认系统时间sysdate | CURRENT_TIMESTAMP |
oracle: BLOB 图片、文件、音乐等;CLOB 文章、较长的文字
charset选择utf8, collation选择utf8_bin
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-M0pQ8FWP-1581640779055)(0D592CE515554C57909A63BA0D469CF1)]
目前MySQL支持范围分区(RANGE),列表分区(LIST),哈希分区(HASH)以及KEY分区四种。下面我们逐一介绍每种分区:
基于属于一个给定连续区间的列值,把多行分配给分区。最常见的是基于时间字段。 基于分区的列最好是整型,如果日期型的可以使用函数转换为整型。本例中使用to_days函数
CREATE TABLE my_range_datetime(
id INT,
hiredate DATETIME
)
PARTITION BY RANGE (TO_DAYS(hiredate) ) (
PARTITION p1 VALUES LESS THAN ( TO_DAYS('20171202') ),
PARTITION p2 VALUES LESS THAN ( TO_DAYS('20171203') ),
PARTITION p3 VALUES LESS THAN ( TO_DAYS('20171204') ),
PARTITION p4 VALUES LESS THAN ( TO_DAYS('20171205') ),
PARTITION p5 VALUES LESS THAN ( TO_DAYS('20171206') ),
PARTITION p6 VALUES LESS THAN ( TO_DAYS('20171207') ),
PARTITION p7 VALUES LESS THAN ( TO_DAYS('20171208') ),
PARTITION p8 VALUES LESS THAN ( TO_DAYS('20171209') ),
PARTITION p9 VALUES LESS THAN ( TO_DAYS('20171210') ),
PARTITION p10 VALUES LESS THAN ( TO_DAYS('20171211') ),
PARTITION p11 VALUES LESS THAN (MAXVALUE)
);
p11是一个默认分区,所有大于20171211的记录都会在这个分区。MAXVALUE是一个无穷大的值。p11是一个可选分区。如果在定义表的没有指定的这个分区,当我们插入大于20171211的数据的时候,会收到一个错误。
我们在执行查询的时候,必须带上分区字段。这样可以使用分区剪裁功能。
mysql> explain partitions select * from my_range_datetime where hiredate >= '20171207124503' and hiredate<='20171210111230';
+----+-------------+-------------------+--------------+------+---------------+------+---------+------+--------+-------------+
| id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------------------+--------------+------+---------------+------+---------+------+--------+-------------+
| 1 | SIMPLE | my_range_datetime | p7,p8,p9,p10 | ALL | NULL | NULL | NULL | NULL | 400061 | Using where |
+----+-------------+-------------------+--------------+------+---------------+------+---------+------+--------+-------------+
1 row in set (0.03 sec)
注意执行计划中的partitions的内容,只查询了p7,p8,p9,p10三个分区,由此来看,使用to_days函数确实可以实现分区裁剪。
上面是基于datetime的,如果是timestamp类型,我们遇到上面问题呢?
事实上,MySQL提供了一种基于UNIX_TIMESTAMP函数的RANGE分区方案,而且,只能使用UNIX_TIMESTAMP函数,如果使用其它函数,譬如to_days,会报如下错误:“ERROR 1486 (HY000): Constant, random or timezone-dependent expressions in (sub)partitioning function are not allowed”。
而且官方文档中也提到“Any other expressions involving TIMESTAMP values are not permitted. (See Bug #42849.)”。
下面来测试一下基于UNIX_TIMESTAMP函数的RANGE分区方案,看其能否实现分区裁剪。
针对TIMESTAMP的分区方案
创表语句如下:
CREATE TABLE my_range_timestamp (
id INT,
hiredate TIMESTAMP
)
PARTITION BY RANGE ( UNIX_TIMESTAMP(hiredate) ) (
PARTITION p1 VALUES LESS THAN ( UNIX_TIMESTAMP('2017-12-02 00:00:00') ),
PARTITION p2 VALUES LESS THAN ( UNIX_TIMESTAMP('2017-12-03 00:00:00') ),
PARTITION p3 VALUES LESS THAN ( UNIX_TIMESTAMP('2017-12-04 00:00:00') ),
PARTITION p4 VALUES LESS THAN ( UNIX_TIMESTAMP('2017-12-05 00:00:00') ),
PARTITION p5 VALUES LESS THAN ( UNIX_TIMESTAMP('2017-12-06 00:00:00') ),
PARTITION p6 VALUES LESS THAN ( UNIX_TIMESTAMP('2017-12-07 00:00:00') ),
PARTITION p7 VALUES LESS THAN ( UNIX_TIMESTAMP('2017-12-08 00:00:00') ),
PARTITION p8 VALUES LESS THAN ( UNIX_TIMESTAMP('2017-12-09 00:00:00') ),
PARTITION p9 VALUES LESS THAN ( UNIX_TIMESTAMP('2017-12-10 00:00:00') ),
PARTITION p10 VALUES LESS THAN (UNIX_TIMESTAMP('2017-12-11 00:00:00') )
);
插入数据并查看上述查询的执行计划
mysql> insert into my_range_timestamp select * from test;
Query OK, 1000000 rows affected (13.25 sec)
Records: 1000000 Duplicates: 0 Warnings: 0
mysql> explain partitions select * from my_range_timestamp where hiredate >= '20171207124503' and hiredate<='20171210111230';
+----+-------------+-------------------+--------------+------+---------------+------+---------+------+--------+-------------+
| id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------------------+--------------+------+---------------+------+---------+------+--------+-------------+
| 1 | SIMPLE | my_range_timestamp | p7,p8,p9,p10 | ALL | NULL | NULL | NULL | NULL | 400448 | Using where |
+----+-------------+-------------------+--------------+------+---------------+------+---------+------+--------+-------------+
1 row in set (0.00 sec)
同样也能实现分区裁剪。
注意:在5.7版本之前,对于DATA和DATETIME类型的列,如果要实现分区裁剪,只能使用YEAR() 和TO_DAYS()函数,在5.7版本中,又新增了TO_SECONDS()函数。
LIST分区和RANGE分区类似,区别在于LIST是枚举值列表的集合,RANGE是连续的区间值的集合。二者在语法方面非常的相似。同样建议LIST分区列是非null列,否则插入null值如果枚举列表里面不存在null值会插入失败,这点和其它的分区不一样,RANGE分区会将其作为最小分区值存储,HASH\KEY分为会将其转换成0存储,主要LIST分区只支持整形,非整形字段需要通过函数转换成整形.
create table t_list(
a int(11),
b int(11)
)(partition by list (b)
partition p0 values in (1,3,5,7,9),
partition p1 values in (2,4,6,8,0)
);
Hash 分区
我们在实际工作中经常遇到像会员表的这种表。并没有明显可以分区的特征字段。但表数据有非常庞大。为了把这类的数据进行分区打散mysql 提供了hash分区。基于给定的分区个数,将数据分配到不同的分区,HASH分区只能针对整数进行HASH,对于非整形的字段只能通过表达式将其转换成整数。表达式可以是mysql中任意有效的函数或者表达式,对于非整形的HASH往表插入数据的过程中会多一步表达式的计算操作,所以不建议使用复杂的表达式这样会影响性能。
Hash分区表的基本语句如下:
CREATE TABLE my_member (
id INT NOT NULL,
fname VARCHAR(30),
lname VARCHAR(30),
created DATE NOT NULL DEFAULT '1970-01-01',
separated DATE NOT NULL DEFAULT '9999-12-31',
job_code INT,
store_id INT
)
PARTITION BY HASH(id)
PARTITIONS 4;
注意:
CREATE TABLE t1 (col1 INT, col2 CHAR(5), col3 DATE) PARTITION BY HASH( YEAR(col3) ) PARTITIONS 4; 如果你要插入一个col3为“2017-09-15”的记录,则分区的选择是根据以下值决定的:
MOD(YEAR(‘2017-09-01’),4) = MOD(2017,4) = 1
LINEAR HASH分区是HASH分区的一种特殊类型,与HASH分区是基于MOD函数不同的是,它基于的是另外一种算法。
格式如下:
CREATE TABLE my_members (
id INT NOT NULL,
fname VARCHAR(30),
lname VARCHAR(30),
hired DATE NOT NULL DEFAULT '1970-01-01',
separated DATE NOT NULL DEFAULT '9999-12-31',
job_code INT,
store_id INT
)
PARTITION BY LINEAR HASH( id )
PARTITIONS 4;
说明: 它的优点是在数据量大的场景,譬如TB级,增加、删除、合并和拆分分区会更快,缺点是,相对于HASH分区,它数据分布不均匀的概率更大。
KEY分区其实跟HASH分区差不多,不同点如下:
KEY分区允许多列,而HASH分区只允许一列。
如果在有主键或者唯一键的情况下,key中分区列可不指定,默认为主键或者唯一键,如果没有,则必须显性指定列。
KEY分区对象必须为列,而不能是基于列的表达式。
KEY分区和HASH分区的算法不一样,PARTITION BY HASH (expr),MOD取值的对象是expr返回的值,而PARTITION BY KEY (column_list),基于的是列的MD5值。
格式如下:
CREATE TABLE k1 (
id INT NOT NULL PRIMARY KEY,
name VARCHAR(20)
)
PARTITION BY KEY()
PARTITIONS 2;
在没有主键或者唯一键的情况下,格式如下:
CREATE TABLE tm1 (
s1 CHAR(32)
)
PARTITION BY KEY(s1)
PARTITIONS 10;
总结:
MySQL分区中如果存在主键或唯一键,则分区列必须包含在其中。
对于原生的RANGE分区,LIST分区,HASH分区,分区对象返回的只能是整数值。
分区字段不能为NULL,要不然怎么确定分区范围呢,所以尽量NOT NULL
没有,可以使用view替代
跨库有一下两种形式:
1)同一个MySQL实例下的跨库
2)不同MySQL实例下的跨库
可以通过带数据库名进行关联查询。
比如:account_data.account 和 member_data.login_data。这里account_data和member_data是同一个实例下的两个数据库。
业务场景:关联不同数据库中的表的查询
比如说,要关联的表是:机器A上的数据库A中的表A && 机器B上的数据库B中的表B。
解决方案:在机器A上的数据库A中建一个表B。采用是基于MySQL的federated引擎的建表方式。
建表语句示例:CREATE TABLE table_name
(…) ENGINE =FEDERATED CONNECTION=‘mysql://[username]:[password]@[location]:[port]/[db-name]/[table-name]’
前提条件:你的mysql得支持federated引擎(执行show engines;可以看到是否支持)。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fb9n0jVE-1581640779059)(A4858735E0CD46FB926981A754D603D1)]
如果有FEDERATED引擎,但Support是NO,说明你的mysql安装了这个引擎,但没启用,去my.cnf文件末添加一行 federated ,重启mysql即可;
通过FEDERATED引擎创建的表只是在本地有表定义文件,数据文件则存在于远程数据库中,通过这个引擎可以实现类似Oracle 下DBLINK的远程数据访问功能。就是说,这种建表方式只会在数据库A中创建一个表B的表结构文件,表的索引、数据等文件还是在机器B上的数据库B中,相当于只是在数据库A中创建了表B的一个快捷方式。
需要注意的几点:
在MySQL中,参数语法不同,首先使用IN或OUT关键字。使用DECLARE…HANDLER FOR声明异常–在下面的示例中,处理程序声明下方的BEGIN END块中的所有内容都是针对特定条件NOT FOUND的处理程序。
处理程序可以如下所示继续或继续退出,以终止它所属的BEGIN END块。在MySQL中,上面的Oracle过程可能如下所示:
DELIMITER //
CREATE PROCEDURE REGISTER_FOR_EVENT (
IN P_EV_ID NUMERIC
, IN P_FIRST_NAME VARCHAR(80)
, IN P_LAST_NAME VARCHAR(80)
, IN P_EMAIL VARCHAR(240)
)
BEGIN
DECLARE l_mem_id numeric;
DECLARE CONTINUE HANDLER FOR not found
BEGIN
insert into members(first_name, last_name, email)
values (p_first_name, p_last_name, p_email);
set l_mem_id = last_insert_id();
END;
select mem_id
into l_mem_id
from members
where first_name = p_first_name
and last_name = p_last_name
and email = p_email;
insert into registrations(ev_id, mem_id)
values (p_ev_id, l_mem_id);
END;
通过SQL Developer从Oracle导出的默认视图如下所示:
CREATE OR REPLACE EDITIONABLE VIEW "REG_EMAIL"
("EV_ID", "DESCRIPTION", "EMAIL")
AS
select ev.ev_id, ev.description, mem.email
from events ev, members mem, registrations reg
where reg.ev_id = ev.EV_ID
and reg.mem_id = mem.mem_id;
mysql中,没有CREATE 或者 REPLACE
CREATE VIEW REG_EMAIL (EV_ID, DESCRIPTION, EMAIL)
AS
select ev.ev_id, ev.description, mem.email
from events ev, members mem, registrations reg
where reg.ev_id = ev.EV_ID
and reg.mem_id = mem.mem_id;
参考:
官网:https://docs.oracle.com/cd/E12151_01/doc.150/e12155/oracle_mysql_compared.htm#i1026424
https://blog.toadworld.com/2017/03/17/migrating-from-oracle-to-mysql
https://doc.ispirer.com/sqlways-oracle-to-mysql-whitepaper.pdf
https://severalnines.com/database-blog/how-migrate-oracle-mysql-percona-server
https://cloud.tencent.com/developer/news/380368
数据转换工具:https://blog.csdn.net/qq_41889087/article/details/80355174
https://blog.csdn.net/qq_26442553/article/details/79601864
分区:http://mysql.taobao.org/monthly/2017/11/09/
跨库访问:https://www.cnblogs.com/duanxz/p/3465540.html