青山孤客

使用Streamsets将Oracle数据实时同步到MySQL中

前期准备：

1、打开Oracle的logminer

a.在SQL Shell中，以具有DBA的用户身份登录数据库：

sqlplus /nolog;

conn / as sysdba;

b.检查数据库日志记录模式：

select log_mode from v$database;

如果查询结果是ARCHIVELOG，则以下操作都不用执行，如果命令返回NOARCHIVELOG，请继续执行以下步骤：

c.关闭数据库：

shutdown immediate;

d.启动并挂载数据库：

startup mount;

f.启用存档，打开数据库，并使其可写：

alter database archivelog;
alter database open read write;

这里要注意，如果是Linux中通过docker容器安装的Oracle要进入容器中进行修改，外部直接sqlplus连接的话会报错。

docker exec -it oracle11g bash

2、启用补充日志

a.要验证是否为数据库启用了补充日志记录，请在SQL Shell中运行以下命令：

SELECT supplemental_log_data_min, supplemental_log_data_pk, supplemental_log_data_all FROM v$database;

b.状态都为no则执行以下指令：

ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (PRIMARY KEY) COLUMNS;
ALTER SYSTEM SWITCH LOGFILE;

3、创建新Oracle用户并授权

开启补充日志之后为创建新的用户帐户用于Oracle CDC客户端源，并为用户 streamsets 授权,

CREATE USER streamsets IDENTIFIED BY streamsets;
GRANT create session, alter session, execute_catalog_role, select any dictionary, select any transaction, select any table to streamsets;
GRANT select on GV_$DATABASE to streamsets;
GRANT select on V_$ARCHIVED_LOG to streamsets;
GRANT select on V_$LOGMNR_CONTENTS to streamsets;
GRANT select on v_$logmnr_parameters to streamsets;

后面测试创建表后，插入数据报错：

ORA-01950: no privileges on tablespace 'USERS'

因为没有Resource权限，所以需要执行：

GRANT Resource to streamsets;

GRANT select on . TO ; 
  Streamsets管道配置： 
  1、在Streamsets中创建新的管道 
  a.通过 192.168.XXX.XXX:18630 打开Streamsets 
  默认账号密码为admin - admin 
  b.登录后在左边创建新的管道 
   
  2、编辑新建的管道 
  因为业务是将Oracle的数据实时同步到MySQL中，所以在Origins中选择Oracle CDC Client，在目的地Destinations中选择JDBC Producer。然后将两者相连： 
   
  3、导入所需的jdbc驱动包 
  在StreamSets界面中，点击右上角的Package Manager，然后右边的框拉到最下面选择External Libraries导入外部的jar包： 
   
  如果导入报错时，解决步骤可以看这里：导入外部库 
  4、配置 Oracle CDC Client 
   
   注意：
 A.这里的要注意一下 Oracle CDC Client支持处理以下数据库中的数据：
     Oracle 11g，12c，18c和19c
     Oracle Real Application Clusters（RAC）12c，18c和19c
 B.需要在Oracle终端启动LogMiner，总结数据库活动，使用这些日志来生成记录。LogMiner要求数据库是打开的，可写的，并且在启用归档的情况下处于ARCHIVELOG模式。 
   
  a.首先在Oracle 11g中创建一个学生表 
  命名为student： 
   
  然后插入一些测试数据： 
   
  b.编辑Oracle CDC中的内容 
   
   
   Tables 配置为ORACLE DATABASE中的定义的测试表STREAMSETS.student，注意ORACEL大小写敏感。 
   Initial Change配置默认是 From Latest Change，实时数据同步只需要捕获变化数据。 
   Operation配置为Hbase对应支持的CRUD操作类型，匹配ORACLE Database中实时变化数据的增删改操作事务操作。 
   
   
  这里改一下时区。 
  c.编辑JDBC配置内容 
  JDBC Connection String中输入jdbc的连接信息： 
  jdbc:oracle:thin:@192.168.105.77:helowinXDB 
   
  d.编辑Credentials 
  填写数据库的用户名与密码： 
   
  5、配置 JDBC Producer 组件 
  a.编辑General Property 
   
   Required Fields：必填字段，是必须存在于记录中以允许其进入处理阶段的字段。当记录不包含所有必填字段时，将根据为管道配置的错误处理对其进行处理。您可以为任何处理器，执行程序和大多数目标阶段定义必需的字段。 
   Preconditions：必须评估为TRUE以允许记录进入处理阶段的条件。单击"+"以创建其他前提条件。根据为阶段配置的错误处理，处理不满足所有前提条件的记录。 
   On Record Error：阶段的错误记录处理： 
    
        Discard - 丢弃记录。 
        Send to Error - 将记录发送到管道以进行错误处理。 
        Stop Pipeline- 停止管道。 
    
   
  b.编辑JDBC 
   
   
   JDBC Connection String： 用于连接数据库的连接字符串，各数据库的连接配置使用以下格式 
    
          Mysql: jdbc:mysql://xxxxxxxxxx:3306/数据库名 
          Oracle: jdbc:oracle:thin:@xxxxxxxxxx:1521:服务名 
          PostgreSQL- jdbc:postgresql://:/ 
          SQL server: jdbc:sqlserver://xxxxxxxxxx:1433;databaseName=xxx 
    
   Schema Name :要使用的可选数据库或模式名称。在数据库需要完全限定的表名时使用。提示： 默认情况下，Oracle会对模式，表和列名称使用全部大写。仅当名称周围使用引号创建架构，表或列时，名称可以是低位或大小写。 
   Table Name :要使用的数据库表名称。使用数据库所需的表名格式。提示： 默认情况下，Oracle会对模式，表和列名称使用全部大写。仅当名称周围使用引号创建架构，表或列时，名称可以是低位或大小写。 
   Field to Column Mapping:用于覆盖默认字段到列映射。默认情况下，字段将写入同名的列。覆盖映射时，可以定义参数化值，以便在将字符值写入列之前将SQL函数应用于字段值。例如，要将字段值转换为整数，请为参数化值输入以下内容： 
   
  CAST(? AS INTEGER) 
   
   
   Enclose Object Names:写入数据库时，将数据库或模式名称，表名称和列名称括在引号中。允许使用区分大小写的名称或带有特殊字符的名称。未启用时，目标使用的JDBC驱动程序将确定名称的提交方式。Oracle JDBC驱动程序默认将名称提交为全部大写。此外，Oracle默认使用模式，表和列名称的全部大写。仅当名称周围使用引号创建架构，表或列时，名称可以是低位或大小写。 
   Change Log Format:变更捕获数据的格式。处理更改捕获数据时使用。 
   Default Operation:如果未设置sdc.operation.type记录标头属性，则执行的默认增删改操作。 
   Unsupported Operation Handling ：不支持在sdc.operation.type记录标头属性中定义的CRUD操作类型时要采取的操作： 
    
    Discard - 丢弃记录。 
    Send to Error - 将记录发送到管道以进行错误处理。 
    Use Default Operation - 使用默认操作将记录写入目标系统。 
    
   Use Multi-Row Operation:确定阶段如何处理记录。选择以一次启用插入和删除多个记录。在启用此选项之前，请验证数据库是否支持阶段使用的多行SQL语句。默认情况下，该阶段执行单行操作。 
   Max Cache Size Per Batch (Entries)：定义多行插入的预准备语句中允许的参数数量。使用-1可禁用参数限制。默认值为-1。 
   Rollback Batch On Error：当批次中发生错误时，回滚整个批次。 
   Additional JDBC Configuration Propertie：要使用的其他JDBC配置属性。要添加属性，请单击“ + ”并定义JDBC属性名称和值，使用JDBC所期望的属性名称和值。 
   
  c.编辑Credentials 
  填写数据库的用户名与密码： 
  
d.如果jdbc版本低于4.0，则需要配置Legacy Drivers 
   
   JDBC Driver Class Name：JDBC驱动程序的类名。早于版本4.0的JDBC版本必须填写。
 Connection Health Test Query ：可选查询，用于测试连接的运行状况。仅当JDBC版本低于4.0时建议使用。 
   
  e.编辑Advanced 
   
   Maximum Pool Size：要创建的最大连接数，默认值为1，建议值为1。 
   Minimum Idle Connections：要创建和维护的最小连接数。要定义固定连接池，请将其设置为与“Maximum Pool Size”相同的值，默认值为1。 
   Connection Timeout (Seconds)：等待连接的最长时间。在表达式中使用时间常量来定义时间增量，默认值为30秒。 
   Idle Timeout (Seconds):允许连接空闲的最长时间。在表达式中使用时间常量来定义时间增量,使用0可以避免删除任何空闲连接,默认值为10分钟. 
   Max Connection Lifetime (Seconds):连接的最长寿命。在表达式中使用时间常量来定义时间增量,使用0设置无最大生命周期,默认值为30分钟 
   Transaction Isolation：用于连接数据库的事务隔离级别。默认值是为数据库设置的默认事务隔离级别。您可以通过将级别设置为以下任何一项来覆盖数据库默认值： 
    
    读取已提交 
    读取未提交 
    可重复阅读 
    
   序列化
 Init Query：在该组件第一次连接到数据库之后立即执行的SQL查询 
   
   
  6、启动管道流： 
   
  问题解决： 
  报错一： 
  启动时候报错了 OraclORA-12505, TNS:listener does not currently know of SID given in connect descriptor 
  jdbc连接数据库的时候，需要使用数据库的sid_name，而不是数据库的services_name.而使用plsql连接数据库的时候，只需要数据库的services_name即可，所以修改连接字符串中的services_name 为sid_name.
 查询sid_name的语句： 
  select INSTANCE_NAME from v$instance; 
   
  在JDBC中修改即可: 
   
  报错二： 
  我Oracle数据修改以后，并没有在MySQL数据库中同步到数据，然后在错误中可以看到错误信息： 
   
  具体的报错内容如下： 
   
  JDBC_405 - Error while generating records: java.util.concurrent.ExecutionException: com.streamsets.pipeline.api.StageException: JDBC_54 - Column: 'XM' does not exist in table: 'Schema = 'STREAMSETS', Table = 'STUDENT''. This is likely due to a DDL being performed on this table
 java.util.concurrent.ExecutionException: com.streamsets.pipeline.api.StageException: JDBC_54 - Column: 'XM' does not exist in table: 'Schema = 'STREAMSETS', Table = 'STUDENT''. This is likely due to a DDL being performed on this table
     at java.util.concurrent.FutureTask.report(FutureTask.java:122)
     at java.util.concurrent.FutureTask.get(FutureTask.java:192)
     at com.streamsets.pipeline.stage.origin.jdbc.cdc.oracle.OracleCDCSource.addRecordsToQueue(OracleCDCSource.java:1151)
     at com.streamsets.pipeline.stage.origin.jdbc.cdc.oracle.OracleCDCSource.generateRecords(OracleCDCSource.java:742)
     at com.streamsets.pipeline.stage.origin.jdbc.cdc.oracle.OracleCDCSource.lambda$startGeneratorThread$5(OracleCDCSource.java:463)
     at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
     at java.util.concurrent.FutureTask.run(FutureTask.java:266)
     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
     at java.lang.Thread.run(Thread.java:748)
 Caused by: com.streamsets.pipeline.api.StageException: JDBC_54 - Column: 'XM' does not exist in table: 'Schema = 'STREAMSETS', Table = 'STUDENT''. This is likely due to a DDL being performed on this table
     at com.streamsets.pipeline.stage.origin.jdbc.cdc.oracle.OracleCDCSource.objectToField(OracleCDCSource.java:1926)
     at com.streamsets.pipeline.stage.origin.jdbc.cdc.oracle.OracleCDCSource.generateRecord(OracleCDCSource.java:930)
     at com.streamsets.pipeline.stage.origin.jdbc.cdc.oracle.OracleCDCSource.lambda$addRecordsToQueue$11(OracleCDCSource.java:1135)
     ... 4 more 
  将Oracle与MySQL的数据表中的字段都改为大写，则成功执行： 
   
  在Oracle中新增一条数据后： 
   
  MySQL中实时新增一条数据： 
   
    
    
    
  

                            
                        
                    
                    
                    
                    
                    
                    
                
                
                    
                        
                        
                             
                        
                        
                        
                            
                        
                        
                        
                            
                        
                    
                
            
        
    
    
        你可能感兴趣的:(Database数据库,StreamSets,Streamsets,MySQL,oracle)
        
            
                
                    mysql禁用远程登录
                        igotyback
mysql
                        去mysql库中的user表里，将host都改成localhost之后刷新权限FLUSHPRIVILEGES;
                    
                    Google earth studio 简介
                        陟彼高冈yu
旅游
                        GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
                    
                    关于提高复杂业务逻辑代码可读性的思考
                        编程经验分享
开发经验java数据库开发语言
                        目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
                    
                    SQL Server_查询某一数据库中的所有表的内容
                        qq_42772833
SQLServer数据库sqlserver
                        1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
                    
                    深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具
                        nseejrukjhad
数据库python
                        深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
                    
                    MYSQL面试系列-04
                        king01299
面试mysql面试
                        MYSQL面试系列-0417.关于redolog和binlog的刷盘机制、redolog、undolog作用、GTID是做什么的？innodb_flush_log_at_trx_commit及sync_binlog参数意义双117.1innodb_flush_log_at_trx_commit该变量定义了InnoDB在每次事务提交时，如何处理未刷入（flush）的重做日志信息（redolog）。它
                    
                    MongoDB Oplog 窗口
                        喝醉酒的小白
MongoDB运维
                        在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
                    
                    python os 环境变量
                        CV矿工
python开发语言numpy
                        环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
                    
                    【PG】常见数据库、表属性设置
                        江无羡
数据库
                        PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
                    
                    nosql数据库技术与应用知识点
                        皆过客，揽星河
NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
                        Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
                    
                    insert into select 主键自增_mybatis拦截器实现主键自动生成
                        weixin_39521651
insertintoselect主键自增mybatisdelete返回值mybatisinsert返回主键mybatisinsert返回对象mybatisplusinsert返回主键mybatisplus插入生成id
                        前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
                    
                    关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解
                        秋刀prince
mysqlmysql数据库
                        提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
                    
                    Java爬虫框架（一）--架构设计
                        狼图腾-狼之传说
java框架java任务html解析器存储电子商务
                        一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
                    
                    MongoDB知识概括
                        GeorgeLin98
持久层mongodb
                        MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
                    
                    Mongodb Error: queryTxt ETIMEOUT xxxx.wwwdz.mongodb.net
                        佛一脚
errorreactmongodb数据库
                        背景每天都能遇到奇怪的问题，做个记录，以便有缘人能得到帮助！换了一台电脑开发nextjs程序。需要连接mongodb数据，对数据进行增删改查。上一台电脑好好的程序，新电脑死活连不上mongodb数据库。同一套代码，没任何修改，搞得我怀疑人生了，打开浏览器进入mongodb官网毫无问题，也能进入线上系统查看数据，网络应该是没问题。于是我尝试了一下手机热点，这次代码能正常跑起来，连接数据库了！！！是不
                    
                    入门MySQL——查询语法练习
                        K_un

                        前言：前面几篇文章为大家介绍了DML以及DDL语句的使用方法，本篇文章将主要讲述常用的查询语法。其实MySQL官网给出了多个示例数据库供大家实用查询，下面我们以最常用的员工示例数据库为准，详细介绍各自常用的查询语法。1.员工示例数据库导入官方文档员工示例数据库介绍及下载链接：https://dev.mysql.com/doc/employee/en/employees-installation.h
                    
                    博客网站制作教程
                        2401_85194651
javamaven
                        首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
                    
                    ubuntu安装wordpress
                        lissettecarlr

                        1安装nginx网上安装方式很多，这就就直接用apt-get了apt-getinstallnginx不用启动啥，然后直接在浏览器里面输入IP:80就能看到nginx的主页了。如果修改了一些配置可以使用下列命令重启一下systemctlrestartnginx.service2安装mysql输入安装前也可以更新一下软件源，在安装过程中将会让你输入数据库的密码。sudoapt-getinstallmy
                    
                    深入浅出 -- 系统架构之负载均衡Nginx的性能优化
                        xiaoli8748_软件开发
系统架构系统架构负载均衡nginx
                        一、Nginx性能优化到这里文章的篇幅较长了，最后再来聊一下关于Nginx的性能优化，主要就简单说说收益最高的几个优化项，在这块就不再展开叙述了，毕竟影响性能都有多方面原因导致的，比如网络、服务器硬件、操作系统、后端服务、程序自身、数据库服务等，对于性能调优比较感兴趣的可以参考之前《JVM性能调优》中的调优思想。优化一：打开长连接配置通常Nginx作为代理服务，负责分发客户端的请求，那么建议开启H
                    
                    【RabbitMQ 项目】服务端：数据管理模块之绑定管理
                        月夜星辉雪
rabbitmq分布式
                        文章目录一.编写思路二.代码实践一.编写思路定义绑定信息类交换机名称队列名称绑定关键字：交换机的路由交换算法中会用到没有是否持久化的标志，因为绑定是否持久化取决于交换机和队列是否持久化，只有它们都持久化时绑定才需要持久化。绑定就好像一根绳子，两端连接着交换机和队列，当一方不存在，它就没有存在的必要了定义绑定持久化类构造函数：如果数据库文件不存在则创建，打开数据库，创建binding_table插入
                    
                    计算机毕业设计PHP仓储综合管理系统（源码+程序+VUE+lw+部署）
                        java毕设程序源码王哥
php课程设计vue.js
                        该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：phpStudy+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue+Express。项目技术：原生PHP++Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是小皮phpstudy最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
                    
                    3.增删改查--连接查询
                        问女何所忆

                        关系型数据库的一个特点就是，多张表之间存在关系，以致于我们可以连接多张表进行查询操作，所以连接查询会是关系型数据库中最常见的操作。连接查询主要分为三种，交叉连接、内连接和外连接，我们一个个说。1、交叉连接交叉连接其实连接查询的第一个阶段，它简单表现为两张表的笛卡尔积形式，具体例子：如果你没学过数学中的笛卡尔积概念，你可以这样简单的理解这里的交叉连接：两张表的交叉连接就是一个连接合并的过程，T1表中
                    
                    You have an error in your SQL syntax； check the manual that corresponds to your MySQL server version
                        努力的菜鸟~
sql数据库
                        YouhaveanerrorinyourSQLsyntax;checkthemanualthatcorrespondstoyourMySQLserverversionfortherightsyntaxtousenear‘IDENTIFIEDBY‘123456’WITHGRANTOPTION’atline1在mysql5.7之前GRANTALLPRIVILEGESON*.*TO'root'@'%'I
                    
                    docker from指令的含义_多个FROM-含义
                        weixin_39722188
dockerfrom指令的含义
                        小编典典什么是基本图片？一组文件，加上EXPOSE端口ENTRYPOINT和CMD。您可以添加文件并基于该基础图像构建新图像，Dockerfile并以FROM指令开头：后面提到的图像FROM是新图像的“基础图像”。这是否意味着如果我neo4j/neo4j在FROM指令中声明，则在运行映像时，neo数据库将自动运行并且可在端口7474的容器中使用？仅当您不覆盖CMD和时ENTRYPOINT。但是图像
                    
                    Redis:缓存击穿
                        我的程序快快跑啊
缓存redisjava
                        缓存击穿(热点key)：部分key(被高并发访问且缓存重建业务复杂的)失效,无数请求会直接到数据库，造成巨大压力1.互斥锁：可以保证强一致性线程一：未命中之后，获取互斥锁，再查询数据库重建缓存，写入缓存，释放锁线程二：查询未命中，未获得锁(已由线程一获得)，等待一会，缓存命中互斥锁实现方式：redis中setnxkeyvalue:改变对应key的value,仅当value不存在时执行，以此来实现互
                    
                    mysql学习教程，从入门到精通，TOP 和MySQL LIMIT 子句（15）
                        知识分享小能手
大数据数据库MySQLmysql学习oracle数据库开发语言adb大数据
                        1、TOP和MySQLLIMIT子句内容在SQL中，不同的数据库系统对于限制查询结果的数量有不同的实现方式。TOP关键字主要用于SQLServer和Access数据库中，而LIMIT子句则主要用于MySQL、PostgreSQL（通过LIMIT/OFFSET语法）、SQLite等数据库中。下面将分别详细介绍这两个功能的语法、语句以及案例。1.1、TOP子句（SQLServer和Access）1.1
                    
                    ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your
                        †徐先森®
Oracle数据库Web相关错误集
                        createtablestudents(idintunsignedprimarykeyauto_increment,namevarchar(50)notnull,ageintunsigned,highdecimal(3,2),genderenum('男','女','中性','保密','妖')default'保密',cls_idintunsigned);在对数据库插入如上带有中文带有默认值的字段的时
                    
                    Redis 有哪些危险命令？如何防范？
                        花小疯
redis缓存数据库危险命令大数据
                        Redis有哪些危险命令？Redis的危险命令主要有以下几个：1.keys客户端可查询出所有存在的键。2.flushdb删除Redis中当前所在数据库中的所有记录，并且此命令从不会执行失败。3.flushall删除Redis中所有数据库中的所有记录，不止是当前所在数据库，并且此命令从不会执行失败。4.config客户端可修改Redis配置。怎么禁用和重命名危险命令？看下redis.conf默认配置
                    
                    鲲鹏 ARM 架构 麒麟 Lylin v10 安装 Nginx (离线)
                        焚木灵
arm开发架构nginx服务器
                        最近做一个银行的项目，银行的服务器是鲲鹏ARM架构的服务器，并且是麒麟v10的系统，这里记录一下在无法访问外网安装Nginx的方法。其他文章：鲲鹏ARM架构麒麟Lylinv10安装Mysql8.3(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装Node和NVM(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装Pm2(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装P
                    
                    【Golang】 Golang 的 GORM 库中的 Rows 函数
                        不爱洗脚的小滕
golang开发语言后端
                        文章目录前言一、Rows函数解释二、代码实现三、总结前言在使用Go语言进行数据库操作时，GORM（GoObject-RelationalMapping）库是一个常用的工具。它提供了一种简洁和强大的方式来处理数据库操作。本文将介绍GORM库中的Rows函数，这是一个用于执行原生SQL查询并返回结果的函数。一、Rows函数解释在GORM库中，Rows函数用于执行原生SQL查询并返回*sql.Rows结
                    
                                PHP如何实现二维数组排序？
                                    IT独行者
二维数组PHP排序　
                                    二维数组在PHP开发中经常遇到，但是他的排序就不如一维数组那样用内置函数来的方便了，（一维数组排序可以参考本站另一篇文章【PHP中数组排序函数详解汇总】）。二维数组的排序需要我们自己写函数处理了，这里UncleToo给大家分享一个PHP二维数组排序的函数： 
代码： 
functionarray_sort($arr,$keys,$type='asc'){
$keysvalue= $new_arr
                                
                                【Hadoop十七】HDFS HA配置
                                    bit1129
hadoop
                                    基于Zookeeper的HDFS HA配置主要涉及两个文件,core-site和hdfs-site.xml。 
  
测试环境有三台 
hadoop.master 
hadoop.slave1 
hadoop.slave2 
  
hadoop.master包含的组件NameNode, JournalNode, Zookeeper，DFSZKFailoverController
                                
                                由wsdl生成的java vo类不适合做普通java vo
                                    darrenzhu
VOwsdlwebservicerpc
                                    开发java webservice项目时，如果我们通过SOAP协议来输入输出，我们会利用工具从wsdl文件生成webservice的client端类，但是这里面生成的java data model类却不适合做为项目中的普通java vo类来使用，当然有一中情况例外，如果这个自动生成的类里面的properties都是基本数据类型，就没问题，但是如果有集合类，就不行。原因如下： 
1)使用了集合如Li
                                
                                JAVA海量数据处理之二（BitMap）
                                    周凡杨
java算法bitmapbitset数据
                                             路漫漫其修远兮，吾将上下而求索。想要更快，就要深入挖掘 JAVA 基础的数据结构，从来分析出所编写的 JAVA 代码为什么把内存耗尽，思考有什么办法可以节省内存呢？   啊哈！算法。这里采用了 BitMap 思想。  
   
首先来看一个实验：  
指定 VM 参数大小： -Xms256m -Xmx540m 
                                
                                java类型与数据库类型
                                    g21121
java
                                    很多时候我们用hibernate的时候往往并不是十分关心数据库类型和java类型的对应关心，因为大多数hbm文件是自动生成的，但有些时候诸如：数据库设计、没有生成工具、使用原始JDBC、使用mybatis(ibatIS)等等情况，就会手动的去对应数据库与java的数据类型关心，当然比较简单的数据类型即使配置错了也会很快发现问题，但有些数据类型却并不是十分常见，这就给程序员带来了很多麻烦。 
&nb
                                
                                Linux命令
                                    510888780
linux命令
                                    系统信息 
arch 显示机器的处理器架构(1) 
uname -m 显示机器的处理器架构(2) 
uname -r 显示正在使用的内核版本 
dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) 
hdparm -i /dev/hda 罗列一个磁盘的架构特性 
hdparm -tT /dev/sda 在磁盘上执行测试性读取操作 
cat /proc/cpuinfo 显示C
                                
                                java常用JVM参数
                                    墙头上一根草
javajvm参数
                                    -Xms：初始堆大小，默认为物理内存的1/64(<1GB)；默认(MinHeapFreeRatio参数可以调整)空余堆内存小于40%时，JVM就会增大堆直到-Xmx的最大限制 
-Xmx：最大堆大小，默认(MaxHeapFreeRatio参数可以调整)空余堆内存大于70%时，JVM会减少堆直到 -Xms的最小限制 
-Xmn：新生代的内存空间大小，注意：此处的大小是（eden+ 2
                                
                                我的spring学习笔记9-Spring使用工厂方法实例化Bean的注意点
                                    aijuans
Spring 3
                                    方法一：

    <bean id="musicBox" class="onlyfun.caterpillar.factory.MusicBoxFactory" 
    factory-method="createMusicBoxStatic"></bean>
    

    方法二：
   
                                
                                mysql查询性能优化之二
                                    annan211
UNIONmysql查询优化索引优化
                                    

1 union的限制
  有时mysql无法将限制条件从外层下推到内层，这使得原本能够限制部分返回结果的条件无法应用到内层
  查询的优化上。
  如果希望union的各个子句能够根据limit只取部分结果集，或者希望能够先排好序在
  合并结果集的话，就需要在union的各个子句中分别使用这些子句。
  
  例如 想将两个子查询结果联合起来，然后再取前20条记录，那么mys
                                
                                数据的备份与恢复
                                    百合不是茶
oraclesql数据恢复数据备份
                                     数据的备份与恢复的方式有: 表,方案 ,数据库; 
  
  
数据的备份: 
导出到的常见命令; 
参数                        说明
USERID         确定执行导出实用程序的用户名和口令
BUFFER        确定导出数据时所使用的缓冲区大小，其大小用字节表示
FILE               指定导出的二进制文
                                
                                线程组
                                    bijian1013
java多线程threadjava多线程线程组
                                    有些程序包含了相当数量的线程。这时，如果按照线程的功能将他们分成不同的类别将很有用。 
       线程组可以用来同时对一组线程进行操作。 
       创建线程组：ThreadGroup g = new ThreadGroup(groupName); 
 &nbs
                                
                                top命令找到占用CPU最高的java线程
                                    bijian1013
javalinuxtop
                                    上次分析系统中占用CPU高的问题，得到一些使用Java自身调试工具的经验，与大家分享。 (1)使用top命令找出占用cpu最高的JAVA进程PID:28174 (2)如下命令找出占用cpu最高的线程 
top -Hp 28174 -d 1 -n 1
32694 root      20   0 3249m 2.0g  11m S    2  6.4   3:31.12 java         
                                
                                【持久化框架MyBatis3四】MyBatis3一对一关联查询
                                    bit1129
Mybatis3
                                      
当两个实体具有1对1的对应关系时，可以使用One-To-One的进行映射关联查询 
  One-To-One示例数据 
以学生表Student和地址信息表为例，每个学生都有都有1个唯一的地址(现实中，这种对应关系是不合适的，因为人和地址是多对一的关系)，这里只是演示目的 
  
学生表 
  
CREATE TABLE STUDENTS 
(
  
                                
                                C/C++图片或文件的读写
                                    bitcarter
写图片
                                    先看代码： 
 
 

/*strTmpResult是文件或图片字符串
 * filePath文件需要写入的地址或路径
 */
int writeFile(std::string &strTmpResult,std::string &filePath)
{
    int i,len = strTmpResult.length();
    	unsigned cha
                                
                                nginx自定义指定加载配置
                                    ronin47

                                    进入 /usr/local/nginx/conf/include 目录，创建 nginx.node.conf 文件，在里面输入如下代码：  
upstream nodejs {
    server 127.0.0.1:3000;
    #server 127.0.0.1:3001;
    keepalive 64;
}

server {
    liste
                                
                                java-71-数值的整数次方.实现函数double Power(double base, int exponent)，求base的exponent次方
                                    bylijinnan
double
                                    

public class Power {

	/**
	 *Q71-数值的整数次方
	 *实现函数double Power(double base, int exponent)，求base的exponent次方。不需要考虑溢出。
	 */
	private static boolean InvalidInput=false;
	public static void main(
                                
                                Android四大组件的理解
                                    Cb123456
android四大组件的理解
                                     分享一下，今天在Android开发文档-开发者指南中看到的:          
         
          App components are the essential building blocks of an Android 
                                
                                [宇宙与计算]涡旋场计算与拓扑分析
                                    comsci
计算
                                     
 
     怎么阐述我这个理论呢？ 。。。。。。。。。 
 
 
      首先： 宇宙是一个非线性的拓扑结构与涡旋轨道时空的统一体。。。。 
 
      我们要在宇宙中寻找到一个适合人类居住的行星，时间非常重要，早一个刻度和晚一个刻度，这颗行星的
                                
                                同一个Tomcat不同Web应用之间共享会话Session
                                    cwqcwqmax9
session
                                    实现两个WEB之间通过session 共享数据 
 
查看tomcat 关于 HTTP Connector 中有个emptySessionPath 其解释如下： 
 
If set to true, all paths for session cookies will be set to /. This can be useful for portlet specification impleme
                                
                                springmvc Spring3 MVC，ajax，乱码
                                    dashuaifu
springjquerymvcAjax
                                      
 springmvc Spring3 MVC @ResponseBody返回，jquery ajax调用中文乱码问题解决       
Spring3.0 MVC @ResponseBody 的作用是把返回值直接写到HTTP response body里。具体实现AnnotationMethodHandlerAdapter类handleResponseBody方法，具体实
                                
                                搭建WAMP环境
                                    dcj3sjt126com
wamp
                                    这里先解释一下WAMP是什么意思。W:windows，A：Apache，M：MYSQL，P：PHP。也就是说本文说明的是在windows系统下搭建以apache做服务器、MYSQL为数据库的PHP开发环境。  
    工欲善其事，必须先利其器。因为笔者的系统是WinXP，所以下文指的系统均为此系统。笔者所使用的Apache版本为apache_2.2.11-
                                
                                yii2 使用raw http request
                                    dcj3sjt126com
http
                                    Parses a raw HTTP request using yii\helpers\Json::decode() 
  
To enable parsing for JSON requests you can configure yii\web\Request::$parsers using this class: 
'request' =&g
                                
                                Quartz-1.8.6 理论部分
                                    eksliang
quartz
                                    转载请出自出处：http://eksliang.iteye.com/blog/2207691 一.概述 
基于Quartz-1.8.6进行学习，因为Quartz2.0以后的API发生的非常大的变化，统一采用了build模式进行构建； 
什么是quartz? 
  
答：简单的说他是一个开源的java作业调度框架，为在 Java 应用程序中进行作业调度提供了简单却强大的机制。并且还能和Sp
                                
                                什么是POJO？
                                    gupeng_ie
javaPOJO框架Hibernate
                                    POJO--Plain Old Java Objects(简单的java对象) 
  
POJO是一个简单的、正规Java对象，它不包含业务逻辑处理或持久化逻辑等，也不是JavaBean、EntityBean等，不具有任何特殊角色和不继承或不实现任何其它Java框架的类或接口。 
  
POJO对象有时也被称为Data对象，大量应用于表现现实中的对象。如果项目中使用了Hiber
                                
                                jQuery网站顶部定时折叠广告
                                    ini
JavaScripthtmljqueryWebcss
                                    效果体验：http://hovertree.com/texiao/jquery/4.htmHTML文件代码： 
<!DOCTYPE html>
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>网页顶部定时收起广告jQuery特效 - HoverTree<
                                
                                Spring boot内嵌的tomcat启动失败
                                    kane_xie
spring boot
                                    根据这篇guide创建了一个简单的spring boot应用，能运行且成功的访问。但移植到现有项目（基于hbase）中的时候，却报出以下错误： 
  
  
SEVERE: A child container failed during start
java.util.concurrent.ExecutionException: org.apache.catalina.Lif
                                
                                leetcode: sort list
                                    michelle_0916
Algorithmlinked listsort
                                    Sort a linked list in O(n log n) time using constant space complexity. 
====analysis======= 
mergeSort for singly-linked list  
====code=======      /** 
 * Definition for sin
                                
                                nginx的安装与配置,中途遇到问题的解决
                                    qifeifei
nginx
                                    我使用的是ubuntu13.04系统，在安装nginx的时候遇到如下几个问题，然后找思路解决的，nginx 的下载与安装 
  
wget http://nginx.org/download/nginx-1.0.11.tar.gz
tar zxvf nginx-1.0.11.tar.gz
./configure
make
make install 
  
安装的时候出现
                                
                                用枚举来处理java自定义异常
                                    tcrct
javaenumexception
                                    在系统开发过程中，总少不免要自己处理一些异常信息，然后将异常信息变成友好的提示返回到客户端的这样一个过程，之前都是new一个自定义的异常，当然这个所谓的自定义异常也是继承RuntimeException的，但这样往往会造成异常信息说明不一致的情况，所以就想到了用枚举来解决的办法。 
 
1，先创建一个接口，里面有两个方法，一个是getCode, 一个是getMessage 
 

public 
                                
                                erlang supervisor分析
                                    wudixiaotie
erlang
                                    当我们给supervisor指定需要创建的子进程的时候，会指定M,F,A,如果是simple_one_for_one的策略的话，启动子进程的方式是supervisor:start_child(SupName, OtherArgs),这种方式可以根据调用者的需求传不同的参数给需要启动的子进程的方法。和最初的参数合并成一个数组，A ++ OtherArgs。那么这个时候就有个问题了，既然参数不一致，那
                                
                
            
        
    


    
        
            按字母分类：
            ABCDEFGHIJKLMNOPQRSTUVWXYZ其他
        
    


    
        
            首页 -
            关于我们 -
            站内搜索 -
            Sitemap -
            侵权投诉
        
        版权所有 IT知识库 CopyRight © 2000-2050 E-COM-NET.COM , All Rights Reserved.