青山孤客
青山孤客

使用Streamsets将Oracle数据实时同步到MySQL中

相关环境：

Oracle 11g：11.2.0.1.0 

MySQL：8.0.22

前期准备：

1、打开Oracle的logminer

a.在SQL Shell中，以具有DBA的用户身份登录数据库：

sqlplus /nolog;

conn / as sysdba;

b.检查数据库日志记录模式：

select log_mode from v$database;

如果查询结果是ARCHIVELOG，则以下操作都不用执行，如果命令返回NOARCHIVELOG，请继续执行以下步骤：

c.关闭数据库：

shutdown immediate;

d.启动并挂载数据库：

startup mount;

f.启用存档，打开数据库，并使其可写：

alter database archivelog;
alter database open read write;

使用Streamsets将Oracle数据实时同步到MySQL中_第1张图片

这里要注意，如果是Linux中通过docker容器安装的Oracle要进入容器中进行修改，外部直接sqlplus连接的话会报错。

docker exec -it oracle11g bash

2、启用补充日志

a.要验证是否为数据库启用了补充日志记录，请在SQL Shell中运行以下命令：

SELECT supplemental_log_data_min, supplemental_log_data_pk, supplemental_log_data_all FROM v$database;

b.状态都为no则执行以下指令：

ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (PRIMARY KEY) COLUMNS;
ALTER SYSTEM SWITCH LOGFILE;

使用Streamsets将Oracle数据实时同步到MySQL中_第2张图片

3、创建新Oracle用户并授权

开启补充日志之后为创建新的用户帐户用于Oracle CDC客户端源，并为用户 streamsets 授权,

CREATE USER streamsets IDENTIFIED BY streamsets;
GRANT create session, alter session, execute_catalog_role, select any dictionary, select any transaction, select any table to streamsets;
GRANT select on GV_$DATABASE to streamsets;
GRANT select on V_$ARCHIVED_LOG to streamsets;
GRANT select on V_$LOGMNR_CONTENTS to streamsets;
GRANT select on v_$logmnr_parameters to streamsets;

使用Streamsets将Oracle数据实时同步到MySQL中_第3张图片

后面测试创建表后，插入数据报错：

ORA-01950: no privileges on tablespace 'USERS'

因为没有Resource权限，所以需要执行：

GRANT Resource to streamsets;

GRANT select on . TO ;

Streamsets管道配置：


1、在Streamsets中创建新的管道


a.通过 192.168.XXX.XXX:18630 打开Streamsets


默认账号密码为admin - admin


b.登录后在左边创建新的管道


使用Streamsets将Oracle数据实时同步到MySQL中_第4张图片


2、编辑新建的管道


因为业务是将Oracle的数据实时同步到MySQL中，所以在Origins中选择Oracle CDC Client，在目的地Destinations中选择JDBC Producer。然后将两者相连：


使用Streamsets将Oracle数据实时同步到MySQL中_第5张图片


3、导入所需的jdbc驱动包


在StreamSets界面中，点击右上角的Package Manager，然后右边的框拉到最下面选择External Libraries导入外部的jar包：


使用Streamsets将Oracle数据实时同步到MySQL中_第6张图片


如果导入报错时，解决步骤可以看这里：导入外部库


4、配置 Oracle CDC Client




注意：
 A.这里的要注意一下 Oracle CDC Client支持处理以下数据库中的数据：
     Oracle 11g，12c，18c和19c
     Oracle Real Application Clusters（RAC）12c，18c和19c
 B.需要在Oracle终端启动LogMiner，总结数据库活动，使用这些日志来生成记录。LogMiner要求数据库是打开的，可写的，并且在启用归档的情况下处于ARCHIVELOG模式。




a.首先在Oracle 11g中创建一个学生表


命名为student：


使用Streamsets将Oracle数据实时同步到MySQL中_第7张图片


然后插入一些测试数据：


使用Streamsets将Oracle数据实时同步到MySQL中_第8张图片


b.编辑Oracle CDC中的内容


使用Streamsets将Oracle数据实时同步到MySQL中_第9张图片




Tables 配置为ORACLE DATABASE中的定义的测试表STREAMSETS.student，注意ORACEL大小写敏感。


Initial Change配置默认是 From Latest Change，实时数据同步只需要捕获变化数据。


Operation配置为Hbase对应支持的CRUD操作类型，匹配ORACLE Database中实时变化数据的增删改操作事务操作。




使用Streamsets将Oracle数据实时同步到MySQL中_第10张图片


这里改一下时区。


c.编辑JDBC配置内容


JDBC Connection String中输入jdbc的连接信息：


jdbc:oracle:thin:@192.168.105.77:helowinXDB


使用Streamsets将Oracle数据实时同步到MySQL中_第11张图片


d.编辑Credentials


填写数据库的用户名与密码：


使用Streamsets将Oracle数据实时同步到MySQL中_第12张图片


5、配置 JDBC Producer 组件


a.编辑General Property




Required Fields：必填字段，是必须存在于记录中以允许其进入处理阶段的字段。当记录不包含所有必填字段时，将根据为管道配置的错误处理对其进行处理。您可以为任何处理器，执行程序和大多数目标阶段定义必需的字段。


Preconditions：必须评估为TRUE以允许记录进入处理阶段的条件。单击"+"以创建其他前提条件。根据为阶段配置的错误处理，处理不满足所有前提条件的记录。


On Record Error：阶段的错误记录处理：


    

  •     Discard - 丢弃记录。
    • 

  •     Send to Error - 将记录发送到管道以进行错误处理。
    • 

  •     Stop Pipeline- 停止管道。
    • 





b.编辑JDBC


使用Streamsets将Oracle数据实时同步到MySQL中_第13张图片




JDBC Connection String： 用于连接数据库的连接字符串，各数据库的连接配置使用以下格式


    

  •       Mysql: jdbc:mysql://xxxxxxxxxx:3306/数据库名
    • 

  •       Oracle: jdbc:oracle:thin:@xxxxxxxxxx:1521:服务名
    • 

  •       PostgreSQL- jdbc:postgresql://:/
    • 

  •       SQL server: jdbc:sqlserver://xxxxxxxxxx:1433;databaseName=xxx
    • 



Schema Name :要使用的可选数据库或模式名称。在数据库需要完全限定的表名时使用。提示： 默认情况下，Oracle会对模式，表和列名称使用全部大写。仅当名称周围使用引号创建架构，表或列时，名称可以是低位或大小写。


Table Name :要使用的数据库表名称。使用数据库所需的表名格式。提示： 默认情况下，Oracle会对模式，表和列名称使用全部大写。仅当名称周围使用引号创建架构，表或列时，名称可以是低位或大小写。


Field to Column Mapping:用于覆盖默认字段到列映射。默认情况下，字段将写入同名的列。覆盖映射时，可以定义参数化值，以便在将字符值写入列之前将SQL函数应用于字段值。例如，要将字段值转换为整数，请为参数化值输入以下内容：




CAST(? AS INTEGER)


使用Streamsets将Oracle数据实时同步到MySQL中_第14张图片




Enclose Object Names:写入数据库时​​，将数据库或模式名称，表名称和列名称括在引号中。允许使用区分大小写的名称或带有特殊字符的名称。未启用时，目标使用的JDBC驱动程序将确定名称的提交方式。Oracle JDBC驱动程序默认将名称提交为全部大写。此外，Oracle默认使用模式，表和列名称的全部大写。仅当名称周围使用引号创建架构，表或列时，名称可以是低位或大小写。


Change Log Format:变更捕获数据的格式。处理更改捕获数据时使用。


Default Operation:如果未设置sdc.operation.type记录标头属性，则执行的默认增删改操作。


Unsupported Operation Handling ：不支持在sdc.operation.type记录标头属性中定义的CRUD操作类型时要采取的操作：


    

  • Discard - 丢弃记录。
    • 

  • Send to Error - 将记录发送到管道以进行错误处理。
    • 

  • Use Default Operation - 使用默认操作将记录写入目标系统。
    • 



Use Multi-Row Operation:确定阶段如何处理记录。选择以一次启用插入和删除多个记录。在启用此选项之前，请验证数据库是否支持阶段使用的多行SQL语句。默认情况下，该阶段执行单行操作。


Max Cache Size Per Batch (Entries)：定义多行插入的预准备语句中允许的参数数量。使用-1可禁用参数限制。默认值为-1。


Rollback Batch On Error：当批次中发生错误时，回滚整个批次。


Additional JDBC Configuration Propertie：要使用的其他JDBC配置属性。要添加属性，请单击“ + ”并定义JDBC属性名称和值，使用JDBC所期望的属性名称和值。




c.编辑Credentials


填写数据库的用户名与密码：


使用Streamsets将Oracle数据实时同步到MySQL中_第15张图片
d.如果jdbc版本低于4.0，则需要配置Legacy Drivers




JDBC Driver Class Name：JDBC驱动程序的类名。早于版本4.0的JDBC版本必须填写。
 Connection Health Test Query ：可选查询，用于测试连接的运行状况。仅当JDBC版本低于4.0时建议使用。




e.编辑Advanced




Maximum Pool Size：要创建的最大连接数，默认值为1，建议值为1。


Minimum Idle Connections：要创建和维护的最小连接数。要定义固定连接池，请将其设置为与“Maximum Pool Size”相同的值，默认值为1。


Connection Timeout (Seconds)：等待连接的最长时间。在表达式中使用时间常量来定义时间增量，默认值为30秒。


Idle Timeout (Seconds):允许连接空闲的最长时间。在表达式中使用时间常量来定义时间增量,使用0可以避免删除任何空闲连接,默认值为10分钟.


Max Connection Lifetime (Seconds):连接的最长寿命。在表达式中使用时间常量来定义时间增量,使用0设置无最大生命周期,默认值为30分钟


Transaction Isolation：用于连接数据库的事务隔离级别。默认值是为数据库设置的默认事务隔离级别。您可以通过将级别设置为以下任何一项来覆盖数据库默认值：


    

  • 读取已提交
    • 

  • 读取未提交
    • 

  • 可重复阅读
    • 



序列化
 Init Query：在该组件第一次连接到数据库之后立即执行的SQL查询




使用Streamsets将Oracle数据实时同步到MySQL中_第16张图片


6、启动管道流：


使用Streamsets将Oracle数据实时同步到MySQL中_第17张图片


问题解决：


报错一：


启动时候报错了 OraclORA-12505, TNS:listener does not currently know of SID given in connect descriptor


jdbc连接数据库的时候，需要使用数据库的sid_name，而不是数据库的services_name.而使用plsql连接数据库的时候，只需要数据库的services_name即可，所以修改连接字符串中的services_name 为sid_name.
 查询sid_name的语句：


select INSTANCE_NAME from v$instance;


使用Streamsets将Oracle数据实时同步到MySQL中_第18张图片


在JDBC中修改即可:


使用Streamsets将Oracle数据实时同步到MySQL中_第19张图片


报错二：


我Oracle数据修改以后，并没有在MySQL数据库中同步到数据，然后在错误中可以看到错误信息：


使用Streamsets将Oracle数据实时同步到MySQL中_第20张图片


具体的报错内容如下：


使用Streamsets将Oracle数据实时同步到MySQL中_第21张图片


JDBC_405 - Error while generating records: java.util.concurrent.ExecutionException: com.streamsets.pipeline.api.StageException: JDBC_54 - Column: 'XM' does not exist in table: 'Schema = 'STREAMSETS', Table = 'STUDENT''. This is likely due to a DDL being performed on this table
 java.util.concurrent.ExecutionException: com.streamsets.pipeline.api.StageException: JDBC_54 - Column: 'XM' does not exist in table: 'Schema = 'STREAMSETS', Table = 'STUDENT''. This is likely due to a DDL being performed on this table
     at java.util.concurrent.FutureTask.report(FutureTask.java:122)
     at java.util.concurrent.FutureTask.get(FutureTask.java:192)
     at com.streamsets.pipeline.stage.origin.jdbc.cdc.oracle.OracleCDCSource.addRecordsToQueue(OracleCDCSource.java:1151)
     at com.streamsets.pipeline.stage.origin.jdbc.cdc.oracle.OracleCDCSource.generateRecords(OracleCDCSource.java:742)
     at com.streamsets.pipeline.stage.origin.jdbc.cdc.oracle.OracleCDCSource.lambda$startGeneratorThread$5(OracleCDCSource.java:463)
     at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
     at java.util.concurrent.FutureTask.run(FutureTask.java:266)
     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
     at java.lang.Thread.run(Thread.java:748)
 Caused by: com.streamsets.pipeline.api.StageException: JDBC_54 - Column: 'XM' does not exist in table: 'Schema = 'STREAMSETS', Table = 'STUDENT''. This is likely due to a DDL being performed on this table
     at com.streamsets.pipeline.stage.origin.jdbc.cdc.oracle.OracleCDCSource.objectToField(OracleCDCSource.java:1926)
     at com.streamsets.pipeline.stage.origin.jdbc.cdc.oracle.OracleCDCSource.generateRecord(OracleCDCSource.java:930)
     at com.streamsets.pipeline.stage.origin.jdbc.cdc.oracle.OracleCDCSource.lambda$addRecordsToQueue$11(OracleCDCSource.java:1135)
     ... 4 more


将Oracle与MySQL的数据表中的字段都改为大写，则成功执行：


使用Streamsets将Oracle数据实时同步到MySQL中_第22张图片


在Oracle中新增一条数据后：


使用Streamsets将Oracle数据实时同步到MySQL中_第23张图片


MySQL中实时新增一条数据：


使用Streamsets将Oracle数据实时同步到MySQL中_第24张图片


 


 


 

























你可能感兴趣的:(Database数据库,StreamSets,Streamsets,MySQL,oracle)






    

  • 为什么wal会 提升数据库性能
浩澜大大
数据库

    由于对于一个数据库内会存在很多张表，那么当数据库更新表数据时（1）直接写入磁盘实际写入的位置，会根据表的不同对应到不同的磁盘位置，在写入数据的时候，就会不停的寻找磁盘地址，找到地址后再去写入，对于机械硬盘来说，无规律的寻址是非常耗时的，对应SSD来说虽然性能提升很多，但是也会消耗时间；（2）先写入日志，在写入磁盘（WAL）WAL的过程，由于总是按照在文件末尾追加，只要找到文件写入位置，写入修改后，
    

    • 

  • unblock with ‘mysqladmin flush-hosts‘ 解决方法
祈祷平安,加油
数据库常见问题oracle数据库

    MySqlHostisblockedbecauseofmanyconnectionerrors;unblockwith'mysqladminflush-hosts'解决方法环境：linux，mysql5.5.21错误：Hostisblockedbecauseofmanyconnectionerrors;unblockwith'mysqladminflush-hosts'原因：同一个ip在短时间内产
    

    • 

  • 通俗易懂：MySQL中如何设置只读实例并确保数据一致性？
大龄下岗程序员
mysqljavamysqlspring

    在MySQL中设置只读实例主要应用于构建高可用性和扩展性的数据库环境，通常是为了分担读取负载或者用于备份和灾难恢复。以下是创建MySQL只读实例并确保数据一致性的基本步骤：1.创建并配置只读实例-主从复制设置-首先，你需要有一个主数据库实例（Master）负责接收所有的写操作。-创建一个或多个从数据库实例（Slave），并将它们配置为主数据库的复制品。这通常通过设置主从复制（Replication
    

    • 

  • C#中的PLINQ和LINQ的效率对比
搬砖的诗人Z
C#c#linq开发语言

    PLINQ（ParallelLINQ）和LINQ（LanguageIntegratedQuery）都是.NET框架中的功能，用于对集合进行查询和操作。它们之间的主要区别在于并行处理能力。LINQ:LINQ是一种用于在.NET应用程序中进行数据查询和操作的语言集成功能。它提供了一种统一的方式来查询各种数据源，如集合、数组、XML、数据库等。LINQ是在单线程环境中执行查询操作的，因此对于大型数据集或
    

    • 

  • Redis和MySQL的数据一致性问题思考
爱放火的安小妮
RedisMySQL思考总结redismysql数据库

    Redis和MySQL的数据一致性问题思考最近有在反思自己工作。因为自己这边是面向业务的，而且是和商品数据相关的。所以我平时工作中涉及到的最多的就是MySQL和Redis的数据存储。像我们配置商品是把商品配置到MySQL，但是对外toC接口都是直接读取Redis的。所以自然而然就涉及到MySQL和Redis的数据一致性问题。下面就是聊聊我自己对于这个问题的一个思考吧。有问题或者有更好方案的朋友也希
    

    • 

  • docker怎么端口映射
Lance_mu
docker容器运维

    1、默认固定的端口#Web服务器：WebApache或Nginx通常使用80端口HTTP：80HTTPS：443#数据库服务器MySQL：3306PostgreSQL：5432MongoDB：27017Redis：6379#邮件服务器SMTP：25POP3：110IMAP：143#其他服务SSH：22FTP：21DNS（域名解析）：53代理服务器Squid：3128版本控制系统Git：9418(S
    

    • 

  • 新注册的阿里云账号有哪些优惠？阿里云新用户必看优惠大合集
阿里云最新优惠和活动汇总

    很多用户看到阿里云各种活动中的云服务器、云数据库、企业邮箱等云产品都仅限新用户购买之后，都纷纷直接注册了阿里云新账号之后购买，其实，阿里云新用户不仅可以优惠购买活动中的各种云产品，还有很多优惠，下面是“阿里云最新优惠和活动汇总”整理汇总的阿里云新用户必看优惠大合集。新注册的阿里云账号在购买活动中的云产品之前，还有免费领云产品通用代金券、抽取无门槛代金券、免费试用云服务器和正式购买云服务器等阿里云产
    

    • 

  • MyBatis高级面试题-2024
my_styles
mybatisjava开发语言面试题

    MyBatis的核心组件有哪些？首先第一个是，SqlSessionFactory，它就像是一个会话工厂。它的任务是创建SqlSession对象，这个对象是我们与数据库交互的主要途径。SqlSessionFactory的作用很重要，因为它可以帮我们配置数据库连接信息和事务管理等。一旦这个工厂被建立起来，它就会加载一些必要的配置和映射文件，为后续的数据库操作提供一个可靠的基础。第二个是SqlSessi
    

    • 

  • SQLite版本3中的文件锁定和并发(七）
代码工匠云
数据库SQLiteC与c++sqlitec++数据库

    返回：SQLite—系列文章目录上一篇：自己编译SQLite或将SQLite移植到新的操作系统（六）下一篇：SQLite—系列文章目录正文：1.0SQLite版本3中的文件锁定和并发SQLite版本3.0.0引入了新的锁定和日志功能旨在提高SQLite版本2的并发性的机制并减少作家的饥饿问题。新机制还允许交易的原子提交涉及多个数据库文件。本文档介绍新的锁定机制。目标受众是想要理解和/或修改的程序员
    

    • 

  • python转码
Desamond
python开发语言

    转码在许多场景中都有应用，以下是一些常见的场景：网页开发：当用户在网页上输入文本时，可能需要将特殊字符（如空格、引号、特殊符号等）进行转码，以防止这些字符对URL或HTML代码产生干扰。文件名处理：在处理文件名时，可能需要将特殊字符进行转码，以避免文件名被错误地解析或显示。数据传输：在数据传输过程中，为了确保数据的完整性和正确性，可能需要将数据中的特殊字符进行转码。数据存储：在数据库或数据存储中，
    

    • 

  • Python | Redis工具类
-拟墨画扇-
Pythonredis数据库缓存python

    一、需求自动连接Redis数据库，通过连接池处理数据对输出结果进行Log打印并保存到文件二、代码Utils.redisUtils.py#!/usr/bin/envpython#-*-coding:utf-8-*-importredisfromUtils.loggerimportlog"""Redis数据格式(1)字符串|存储形式:key-value:str-存储二进制数据:可以存储任意类型的数据，
    

    • 

  • 数据管理知识体系指南（第二版）-第五章——数据建模和设计-学习笔记
键盘上的五花肉
数据治理数据库数据仓库数据治理

    目录5.1引言5.1.1业务驱动因素5.1.2目标和原则5.1.3基本概念5.2活动5.2.1规划数据建模5.2.2建立数据模型5.2.3审核数据模型5.2.4维护数据模型5.3工具5.3.1数据建模工具5.3.2数据血缘工具5.3.3数据分析工具5.3.4元数据资料库5.3.5数据模型模式5.3.6行业数据模型5.4方法5.4.1命名约定的最佳实践5.4.2数据库设计中的最佳实践5.5数据建模和
    

    • 

  • 项目管理工具最佳实践
水岩

    各个公司的最佳实践去哪儿jira自定义使用1.jira编号对应git分支命名，后台增加监控程序，新增一个分支，自动解析分支中的jira编号，自动落地到数据库，完成映射2.各个发布系统间信息同步，消息中心（IC）+数据中心（DC）,广播消息加一站式查询，持续集成，推进代码检查质量，分钟级反馈质量检查反思：1.项目管好：针对一线研发人员，简单易用，而不是满足管理层的“统计度量”（...）简化分类字段，
    

    • 

  • 高阶SQL语句（二）
www.mcb.com
数据库mysql

    一子查询也被称作内查询或者嵌套查询，是指在一个查询语句里面还嵌套着另一个查询语句。子查询语句是先于主查询语句被执行的，其结果作为外层的条件返回给主查询进行下一步的查询过滤。①子语句可以与主语句所查询的表相同，也可以是不同表②子语句中的sql语句是为了，最后过滤出一个结果集，用于主语句的判断条件③in:将主表和子表关联/连接的语法环境准备：mysql>usekgc_ky35;Readingtable
    

    • 

  • Python Flask 使用数据库
安果移不动
pythonflask开发语言

    pipinstallflask_sqlalchemy官方文档：Flask-SQLAlchemy—Flask-SQLAlchemyDocumentation(3.1.x)为了不报错也需要导入另外两个库#pipinstallflask_sqlalchemy#pipinstallmysqlclient完整代码importosfromflaskimportFlaskfromflask_sqlalchemy
    

    • 

  • .NET Core 将实体类转换为 SQL(ORM 映射)
你小子在看什么……
.NET.netcoresqlsugarpostgresql

    一、环境说明PostgreSQL数据库Npgsql数据库连接库SqlSugarORM框架二、映射流程1、创建数据库：检查指定数据库是否存在，如果不存在则创建数据库。2、初始化SqlSugar实例：使用SqlSugarClient初始化数据库连接配置。3、筛选实体类：根据指定的命名空间和排除条件筛选需要创建表的实体类。4、创建表：使用CodeFirst.InitTables方法创建数据库表。////
    

    • 

  • 第七章 索引及执行计划，存储引擎
执笔为剑
#MySQL运维篇编辑器mysql

    第七章索引及执行计划，存储引擎1，索引及执行计划1，作用：提供类似书目录的作用，目的是优化查询2，所用的种类（根据算法）B树索引Hash索引R树FulltextGIS3，B树基于不同的查找算法分类介绍B-tree：在范围查询方面提供了更好的性能（>showengines;#存储引擎作用在表上，不同的表可能有不同的存储引擎mysql>select@@default_storage_engine;#查
    

    • 

  • 数据库的魅力：深入探索与应用
小黄编程快乐屋
数据库

    数据库的魅力：深入探索与应用在数字化时代，数据库已经成为信息处理和存储的基石。无论是大型企业还是个人开发者，数据库都是不可或缺的工具。本文将带您深入探索数据库的魅力，了解其基本概念、类型以及应用，并分享一些实用的数据库管理技巧。一、数据库的基本概念数据库，简而言之，就是按照一定规则存储、组织和管理数据的仓库。它可以看作是一个电子化的文件柜，用于存储电子化的文件。这些文件按照特定的数据模型组织起来，
    

    • 

  • Thinkphp - 详细实现网站系统登录功能，附带 Mysql 数据库设置、Web 前端展示界面、信息校验等（详细代码，即设计过程）
王佳斌
+Thinkphpmysql前端数据库

    前言登录功能，是我们几乎开发每个系统都必须的模块。登录功能设计思路，主要包括几个方面。用户输入网址展示登录页面用户输入用户名，密码等点击登录进行信息校验校验通过之后，记录用户登录信息，跳转指定页面用户校验失败，提示失败信息页面目录具体功能实现为了快速搭建可用、美观的页面，我们采用一个比较成熟的前端框架Bootstrap。下面我们到Bootstrap的官网Bootsrap官网下载bootstrap。
    

    • 

  • 设置mysql 数据库和表 的编码方式UTF-8
盖盖衍上
中间件数据库mysqloracle

    要设置MySQL数据库表和字段的编码方式为UTF-8，可以使用下面的SQL语句：1.设置数据库默认编码为UTF-8：ALTERDATABASEyour_database_nameCHARACTERSETutf8mb4COLLATEutf8mb4_unicode_ci;2.创建表时指定编码为UTF-8：CREATETABLEyour_table_name(column1VARCHAR(100)CHA
    

    • 

  • 【二】【设计模式】建造者模式
妖精七七_
设计模式设计模式建造者模式

    建造者模式的引入//C10_1.cpp#include#include"SystemConfig.h"intmain(){SystemConfigconfig("mysql://127.0.0.1/","xiaomu","xiaomumemeda","redis://127.0.0.1/","xiaomuredis","xiaomuredispw","kafka://127.0.0.1","xia
    

    • 

  • Linux（centos7）部署hive
灯下夜无眠
Linuxlinuxhive运维dbeaverhive客户端

    前提环境：已部署完hadoop(HDFS、MapReduce、YARN)1、安装元数据服务MySQL切换root用户#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysqL-2022#安装Mysqlyum库rpm-Uvhhttp://repo.mysql.com//mysql57-community-release-el7-7.noarch.
    

    • 

  • kafka-eagle 配置文件修改使用自带的数据库
bright future cheer
kafka数据库分布式

    ######################################multizookeeper&kafkaclusterlistSettingsprefixedwith‘kafka.eagle.’willbedeprecated,use‘efak.’instead######################################efak.zk.cluster.alias=clu
    

    • 

  • mysql 常见数据表操作
天狼1222
mysql系列mysql数据库

    前面介绍了数据库表的基本操作。把常用的做一个汇总。时间久了，记不得完整的语法了，再打开一看，就清楚了。1，表操作1，建表+注释CREATETABLEstudent(idINTPRIMARYKEYAUTO_INCREMENTCOMMENT'学号',nameVARCHAR(200)COMMENT'姓名',ageINTCOMMENT'年龄')COMMENT='学生表'2，修改注释--修改表注释-ALTE
    

    • 

  • 通俗易懂：描述MySQL中SET和ENUM数据类型的异同。
大龄下岗程序员
mysqljavamysqlspring

    MySQL中的SET和ENUM数据类型均用于限制字段可接受的值范围，但它们的设计用途和功能特性有所不同：SET类型-SET是一种集合类型，它可以存储一组预定义的离散值，并且在一个SET字段中可以同时存储多个值。-SET字段内的值是互斥的，即同一时间不会存在相同的元素两次，但可以有多个不同的元素组合。-值之间的分隔通常用逗号（,）或其他指定字符。-SET类型的字段最大可以容纳64个不同的成员值。-在
    

    • 

  • GROM学习
码小白l
golang

    什么是GROMGo语言ORM（对象关系映射）库，它提供了一种高效、简洁的方式来操作数据库。通过将数据库表映射为Go语言的结构体，GORM让数据库操作变得更加直观和类型安全。GORM支持主流的数据库系统，包括MySQL、PostgreSQL、SQLite和SQLServer等GORM提供了一系列的API来操作MySQL数据库。以下是一些常用的GORMAPI操作，以及它们在操作MySQL时的用法：安装
    

    • 

  • centos7 安装influxdb+telegraf+grafana 监控服务器
吕吕-lvlv
grafana服务器运维

    influxdbinfluxdb是一个时间序列数据库,所有数据记录都会打上时间戳,适合存储数字类型的内容telegraftelegraf可以用于收集系统和服务的统计数据并发送到influxdbgrafanagrafana是一个界面非常漂亮,可直接读取influxdb数据展示成各种图表的开源可视化web软件安装并启动influxdb数据库vim/etc/yum.repos.d/influxdb.re
    

    • 

  • Mysql数据库MariaDB数据库MHA高可用程序
yichen_china

    声明：本次实验使用的是MariaDB数据库，所以本文中所出现的MariaDB与MySQL都是指的是MariaDB！！！MHA（MasterHA）是一款开源的MySQL的高可用程序，它为MySQL主从复制架构提供了automatingmasterfailover功能。MHA在监控到master节点故障时，会提升其中拥有最新数据的slave节点成为新的master节点，在此期间，MHA会通过于其它从节
    

    • 

  • centos7中的MySQL安装
老伙子53
mysql数据库

    centos7中的MySQL安装一、MySQL5.7.17安装脚本#!/bin/bashcd/rootmkdirmysql_tarwgethttps://downloads.mysql.com/archives/get/p/23/file/mysql-community-server-5.7.17-1.el7.x86_64.rpmwgethttps://downloads.mysql.com/ar
    

    • 

  • 【PHP】通过PHP开启/暂停Apache、MySQL或其他服务
下页、再停留
PHPphpapachemysql

    目录一、前言二、代码一、前言有些时候我们需要开启或暂停一些服务，比如说开启Apach或暂停MySQL服务等，最近工作中也开发了这方面的功能，记录下来怎样使用PHP语言来开启或暂停Apache、MySQL服务的运行状态。这种方法也适用其他服务。如果想了解怎么实时监控服务的运行状态，可以看上一篇文章【PHP】通过PHP实时监控Apache、MySQL服务运行状态-CSDN博客二、代码有三个参数需要根据
    

    • 

  • PHP如何实现二维数组排序？
IT独行者
二维数组PHP排序　

    二维数组在PHP开发中经常遇到，但是他的排序就不如一维数组那样用内置函数来的方便了，（一维数组排序可以参考本站另一篇文章【PHP中数组排序函数详解汇总】）。二维数组的排序需要我们自己写函数处理了，这里UncleToo给大家分享一个PHP二维数组排序的函数：
代码：
functionarray_sort($arr,$keys,$type='asc'){
$keysvalue= $new_arr
    

    • 

  • 【Hadoop十七】HDFS HA配置
bit1129
hadoop

    基于Zookeeper的HDFS HA配置主要涉及两个文件,core-site和hdfs-site.xml。
 
测试环境有三台
hadoop.master
hadoop.slave1
hadoop.slave2
 
hadoop.master包含的组件NameNode, JournalNode, Zookeeper，DFSZKFailoverController
    

    • 

  • 由wsdl生成的java vo类不适合做普通java vo
darrenzhu
VOwsdlwebservicerpc

    开发java webservice项目时，如果我们通过SOAP协议来输入输出，我们会利用工具从wsdl文件生成webservice的client端类，但是这里面生成的java data model类却不适合做为项目中的普通java vo类来使用，当然有一中情况例外，如果这个自动生成的类里面的properties都是基本数据类型，就没问题，但是如果有集合类，就不行。原因如下：
1)使用了集合如Li
    

    • 

  • JAVA海量数据处理之二（BitMap）
周凡杨
java算法bitmapbitset数据

           路漫漫其修远兮，吾将上下而求索。想要更快，就要深入挖掘 JAVA 基础的数据结构，从来分析出所编写的 JAVA 代码为什么把内存耗尽，思考有什么办法可以节省内存呢？ 啊哈！算法。这里采用了 BitMap 思想。
 
首先来看一个实验：
指定 VM 参数大小： -Xms256m -Xmx540m 
    

    • 

  • java类型与数据库类型
g21121
java

    很多时候我们用hibernate的时候往往并不是十分关心数据库类型和java类型的对应关心，因为大多数hbm文件是自动生成的，但有些时候诸如：数据库设计、没有生成工具、使用原始JDBC、使用mybatis(ibatIS)等等情况，就会手动的去对应数据库与java的数据类型关心，当然比较简单的数据类型即使配置错了也会很快发现问题，但有些数据类型却并不是十分常见，这就给程序员带来了很多麻烦。
&nb
    

    • 

  • Linux命令
510888780
linux命令

    系统信息
arch 显示机器的处理器架构(1)
uname -m 显示机器的处理器架构(2)
uname -r 显示正在使用的内核版本
dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI)
hdparm -i /dev/hda 罗列一个磁盘的架构特性
hdparm -tT /dev/sda 在磁盘上执行测试性读取操作
cat /proc/cpuinfo 显示C
    

    • 

  • java常用JVM参数
墙头上一根草
javajvm参数

    -Xms：初始堆大小，默认为物理内存的1/64(<1GB)；默认(MinHeapFreeRatio参数可以调整)空余堆内存小于40%时，JVM就会增大堆直到-Xmx的最大限制
-Xmx：最大堆大小，默认(MaxHeapFreeRatio参数可以调整)空余堆内存大于70%时，JVM会减少堆直到 -Xms的最小限制
-Xmn：新生代的内存空间大小，注意：此处的大小是（eden+ 2
    

    • 

  • 我的spring学习笔记9-Spring使用工厂方法实例化Bean的注意点
aijuans
Spring 3

    方法一：
<bean id="musicBox" class="onlyfun.caterpillar.factory.MusicBoxFactory"
factory-method="createMusicBoxStatic"></bean>
方法二：

    

    • 

  • mysql查询性能优化之二
annan211
UNIONmysql查询优化索引优化

    
1 union的限制
有时mysql无法将限制条件从外层下推到内层，这使得原本能够限制部分返回结果的条件无法应用到内层
查询的优化上。
如果希望union的各个子句能够根据limit只取部分结果集，或者希望能够先排好序在
合并结果集的话，就需要在union的各个子句中分别使用这些子句。
例如 想将两个子查询结果联合起来，然后再取前20条记录，那么mys
    

    • 

  • 数据的备份与恢复
百合不是茶
oraclesql数据恢复数据备份

     数据的备份与恢复的方式有: 表,方案 ,数据库;
 
 
数据的备份:
导出到的常见命令;
参数 说明
USERID 确定执行导出实用程序的用户名和口令
BUFFER 确定导出数据时所使用的缓冲区大小，其大小用字节表示
FILE 指定导出的二进制文
    

    • 

  • 线程组
bijian1013
java多线程threadjava多线程线程组

    有些程序包含了相当数量的线程。这时，如果按照线程的功能将他们分成不同的类别将很有用。
       线程组可以用来同时对一组线程进行操作。
       创建线程组：ThreadGroup g = new ThreadGroup(groupName);
 &nbs
    

    • 

  • top命令找到占用CPU最高的java线程
bijian1013
javalinuxtop

    上次分析系统中占用CPU高的问题，得到一些使用Java自身调试工具的经验，与大家分享。 (1)使用top命令找出占用cpu最高的JAVA进程PID:28174 (2)如下命令找出占用cpu最高的线程
top -Hp 28174 -d 1 -n 1
32694 root 20 0 3249m 2.0g 11m S 2 6.4 3:31.12 java 
    

    • 

  • 【持久化框架MyBatis3四】MyBatis3一对一关联查询
bit1129
Mybatis3

     
当两个实体具有1对1的对应关系时，可以使用One-To-One的进行映射关联查询
  One-To-One示例数据
以学生表Student和地址信息表为例，每个学生都有都有1个唯一的地址(现实中，这种对应关系是不合适的，因为人和地址是多对一的关系)，这里只是演示目的
 
学生表
 
CREATE TABLE STUDENTS
(

    

    • 

  • C/C++图片或文件的读写
bitcarter
写图片

    先看代码：
/*strTmpResult是文件或图片字符串
* filePath文件需要写入的地址或路径
*/
int writeFile(std::string &strTmpResult,std::string &filePath)
{
int i,len = strTmpResult.length();
unsigned cha
    

    • 

  • nginx自定义指定加载配置
ronin47

    进入 /usr/local/nginx/conf/include 目录，创建 nginx.node.conf 文件，在里面输入如下代码：
upstream nodejs {
server 127.0.0.1:3000;
#server 127.0.0.1:3001;
keepalive 64;
}
server {
liste
    

    • 

  • java-71-数值的整数次方.实现函数double Power(double base, int exponent)，求base的exponent次方
bylijinnan
double

    
public class Power {
/**
*Q71-数值的整数次方
*实现函数double Power(double base, int exponent)，求base的exponent次方。不需要考虑溢出。
*/
private static boolean InvalidInput=false;
public static void main(
    

    • 

  • Android四大组件的理解
Cb123456
android四大组件的理解

     分享一下，今天在Android开发文档-开发者指南中看到的:         
       
          App components are the essential building blocks of an Android 
    

    • 

  • [宇宙与计算]涡旋场计算与拓扑分析
comsci
计算

    
     怎么阐述我这个理论呢？ 。。。。。。。。。
      首先： 宇宙是一个非线性的拓扑结构与涡旋轨道时空的统一体。。。。
      我们要在宇宙中寻找到一个适合人类居住的行星，时间非常重要，早一个刻度和晚一个刻度，这颗行星的
    

    • 

  • 同一个Tomcat不同Web应用之间共享会话Session
cwqcwqmax9
session

    实现两个WEB之间通过session 共享数据
查看tomcat 关于 HTTP Connector 中有个emptySessionPath 其解释如下：
If set to true, all paths for session cookies will be set to /. This can be useful for portlet specification impleme
    

    • 

  • springmvc Spring3 MVC，ajax，乱码
dashuaifu
springjquerymvcAjax

     
springmvc Spring3 MVC @ResponseBody返回，jquery ajax调用中文乱码问题解决  
Spring3.0 MVC @ResponseBody 的作用是把返回值直接写到HTTP response body里。具体实现AnnotationMethodHandlerAdapter类handleResponseBody方法，具体实
    

    • 

  • 搭建WAMP环境
dcj3sjt126com
wamp

    这里先解释一下WAMP是什么意思。W:windows，A：Apache，M：MYSQL，P：PHP。也就是说本文说明的是在windows系统下搭建以apache做服务器、MYSQL为数据库的PHP开发环境。 
    工欲善其事，必须先利其器。因为笔者的系统是WinXP，所以下文指的系统均为此系统。笔者所使用的Apache版本为apache_2.2.11-
    

    • 

  • yii2 使用raw http request
dcj3sjt126com
http

    Parses a raw HTTP request using yii\helpers\Json::decode()
 
To enable parsing for JSON requests you can configure yii\web\Request::$parsers using this class:
'request' =&g
    

    • 

  • Quartz-1.8.6 理论部分
eksliang
quartz

    转载请出自出处：http://eksliang.iteye.com/blog/2207691 一.概述
基于Quartz-1.8.6进行学习，因为Quartz2.0以后的API发生的非常大的变化，统一采用了build模式进行构建；
什么是quartz?
 
答：简单的说他是一个开源的java作业调度框架，为在 Java 应用程序中进行作业调度提供了简单却强大的机制。并且还能和Sp
    

    • 

  • 什么是POJO？
gupeng_ie
javaPOJO框架Hibernate

    POJO--Plain Old Java Objects(简单的java对象)
 
POJO是一个简单的、正规Java对象，它不包含业务逻辑处理或持久化逻辑等，也不是JavaBean、EntityBean等，不具有任何特殊角色和不继承或不实现任何其它Java框架的类或接口。
 
POJO对象有时也被称为Data对象，大量应用于表现现实中的对象。如果项目中使用了Hiber
    

    • 

  • jQuery网站顶部定时折叠广告
ini
JavaScripthtmljqueryWebcss

    效果体验：http://hovertree.com/texiao/jquery/4.htmHTML文件代码：
<!DOCTYPE html>
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>网页顶部定时收起广告jQuery特效 - HoverTree<
    

    • 

  • Spring boot内嵌的tomcat启动失败
kane_xie
spring boot

    根据这篇guide创建了一个简单的spring boot应用，能运行且成功的访问。但移植到现有项目（基于hbase）中的时候，却报出以下错误：
 
 
SEVERE: A child container failed during start
java.util.concurrent.ExecutionException: org.apache.catalina.Lif
    

    • 

  • leetcode: sort list
michelle_0916
Algorithmlinked listsort

    Sort a linked list in O(n log n) time using constant space complexity.
====analysis=======
mergeSort for singly-linked list 
====code=======   /**
* Definition for sin
    

    • 

  • nginx的安装与配置,中途遇到问题的解决
qifeifei
nginx

    我使用的是ubuntu13.04系统，在安装nginx的时候遇到如下几个问题，然后找思路解决的，nginx 的下载与安装
 
wget http://nginx.org/download/nginx-1.0.11.tar.gz
tar zxvf nginx-1.0.11.tar.gz
./configure
make
make install
 
安装的时候出现
    

    • 

  • 用枚举来处理java自定义异常
tcrct
javaenumexception

    在系统开发过程中，总少不免要自己处理一些异常信息，然后将异常信息变成友好的提示返回到客户端的这样一个过程，之前都是new一个自定义的异常，当然这个所谓的自定义异常也是继承RuntimeException的，但这样往往会造成异常信息说明不一致的情况，所以就想到了用枚举来解决的办法。
1，先创建一个接口，里面有两个方法，一个是getCode, 一个是getMessage
public 
    

    • 

  • erlang supervisor分析
wudixiaotie
erlang

    当我们给supervisor指定需要创建的子进程的时候，会指定M,F,A,如果是simple_one_for_one的策略的话，启动子进程的方式是supervisor:start_child(SupName, OtherArgs),这种方式可以根据调用者的需求传不同的参数给需要启动的子进程的方法。和最初的参数合并成一个数组，A ++ OtherArgs。那么这个时候就有个问题了，既然参数不一致，那
    

    •