EmmaQin
EmmaQin

Canal

定位

基于数据库增量日志解析，提供增量数据订阅和消费

工作原理

Canal_第1张图片
  • canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
  • MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
  • canal 解析 binary log 对象(原始为 byte 流)

QuickStart

1.配置MySQL

  • 开启MySql的binlog功能
    /usr/local/etc/my.cnf

[mysqld]
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

简单测试，my.cnf配置是否生效

mysql> show variables like 'binlog_format';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW |
+---------------+-------+

mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin | ON |
+---------------+-------+

  • 授权 canal 链接 MySQL 账号具有作为 MySQL slave 的权限, 如果已有账户可直接 grant

CREATE USER canal IDENTIFIED BY 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON . TO 'canal'@'%';
FLUSH PRIVILEGES;

mysql> show grants for 'canal';
+---------------------------------------------------------------------------+
| Grants for canal@% |
+---------------------------------------------------------------------------+
| GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON . TO 'canal'@'%' |
+---------------------------------------------------------------------------+
1 row in set (0.00 sec)

2. 下载解压

下载地址： https://github.com/alibaba/canal/releases/
这里以1.1.3为例

https://github.com/alibaba/canal/releases/download/canal-1.1.3/canal.deployer-1.1.3.tar.gz

解压

tar zxvf canal.deployer-$version.tar.gz

项目结构


Canal_第2张图片
canal项目结构

修改配置

vi conf/example/instance.properties

## mysql serverId
canal.instance.mysql.slaveId = 1
#position info，需要改成自己的数据库信息
canal.instance.master.address = 127.0.0.1:3306 
canal.instance.master.journal.name = 
canal.instance.master.position = 
canal.instance.master.timestamp = 
#canal.instance.standby.address = 
#canal.instance.standby.journal.name =
#canal.instance.standby.position = 
#canal.instance.standby.timestamp = 
#username/password，需要改成自己的数据库信息
canal.instance.dbUsername = canal  
canal.instance.dbPassword = canal
canal.instance.defaultDatabaseName =
canal.instance.connectionCharset = UTF-8
#table regex
canal.instance.filter.regex = .\*\\\\..\*
  • canal.instance.connectionCharset 代表数据库的编码方式对应到 java 中的编码类型，比如 UTF-8，GBK , ISO-8859-1
  • 如果系统是1个 cpu，需要将 canal.instance.parser.parallel 设置为 false

3.启动

  • 启动

sh bin/startup.sh

  • 查看日志

vi logs/canal/canal.log

com.alibaba.otter.canal.deployer.CanalStater - ## the canal server is running now ......
  • 查看 instance 的日志

vi logs/example/example.log

c.a.otter.canal.instance.core.AbstractCanalInstance - start successful...
  • 关闭

sh bin/stop.sh

启动模式

Canal_第3张图片
canal配置方式有两种：

ManagerCanalInstanceGenerator： 基于manager管理的配置方式，目前alibaba内部配置使用这种方式。大家可以实现CanalConfigClient，连接各自的管理系统，即可完成接入。
SpringCanalInstanceGenerator：基于本地spring xml的配置方式，目前开源版本已经自带该功能所有代码，建议使用

1. Spring配置

spring配置的原理是将整个配置抽象为两部分：

  • xxxx-instance.xml (canal组件的配置定义，可以在多个instance配置中共享)
  • xxxx.properties (每个instance通道都有各自一份定义，因为每个mysql的ip，帐号，密码等信息不会相同)

通过spring的PropertyPlaceholderConfigurer通过机制将其融合，生成一份instance实例对象，每个instance对应的组件都是相互独立的，互不影响

1.1 properties配置文件

properties配置分为两部分：

  • canal.properties (系统根配置文件)
  • instance.properties (instance级别的配置文件，每个instance一份)
  1. instance列表定义 (列出当前server上有多少个instance，每个instance的加载方式是spring/manager等)
  2. common参数定义，比如可以将instance.properties的公用参数，抽取放置到这里，这样每个instance启动的时候就可以共享. 【instance.properties配置定义优先级高于canal.properties】

instance.properties介绍：
a. 在canal.properties定义了canal.destinations后，需要在canal.conf.dir对应的目录下建立同名的文件

比如：

canal.destinations = example1,example2

这时需要创建example1和example2两个目录，每个目录里各自有一份instance.properties.
ps. canal自带了一份instance.properties demo，可直接复制conf/example目录进行配置修改

b. 如果canal.properties未定义instance列表，但开启了canal.auto.scan时
server第一次启动时，会自动扫描conf目录下，将文件名做为instance name，启动对应的instance

server运行过程中，会根据canal.auto.scan.interval定义的频率，进行扫描

  1. 发现目录有新增，启动新的instance
  2. 发现目录有删除，关闭老的instance
  3. 发现对应目录的instance.properties有变化，重启instance

  • 几点说明：

    1. mysql链接时的起始位置
    • canal.instance.master.journal.name + canal.instance.master.position : 精确指定一个binlog位点，进行启动
    • canal.instance.master.timestamp : 指定一个时间戳，canal会自动遍历mysql binlog，找到对应时间戳的binlog位点后，进行启动
      不指定任何信息：默认从当前数据库的位点，进行启动。(show master status)
    1. mysql解析关注表定义
      标准的Perl正则，注意转义时需要双斜杠：\
    2. mysql链接的编码
      目前canal版本仅支持一个数据库只有一种编码，如果一个库存在多个编码，需要通过filter.regex配置，将其拆分为多个canal instance，为每个instance指定不同的编码

  • instance.xml配置文件
    目前默认支持的instance.xml有以下几种：

spring/memory-instance.xml
spring/default-instance.xml
spring/group-instance.xml

  • 在介绍instance配置之前，先了解一下canal如何维护一份增量订阅&消费的关系信息：
    解析位点 (parse模块会记录，上一次解析binlog到了什么位置，对应组件为：CanalLogPositionManager)
    消费位点 (canal server在接收了客户端的ack后，就会记录客户端提交的最后位点，对应的组件为：CanalMetaManager)
    对应的两个位点组件，目前都有几种实现：

memory (memory-instance.xml中使用)
zookeeper
mixed
period (default-instance.xml中使用，集合了zookeeper+memory模式，先写内存，定时刷新数据到zookeeper上)

  • memory-instance.xml介绍：

所有的组件(parser , sink , store)都选择了内存版模式，记录位点的都选择了memory模式，重启后又会回到初始位点进行解析

特点：速度最快，依赖最少(不需要zookeeper)

场景：一般应用在quickstart，或者是出现问题后，进行数据分析的场景，不应该将其应用于生产环境

  • default-instance.xml介绍：

store选择了内存模式，其余的parser/sink依赖的位点管理选择了持久化模式，目前持久化的方式主要是写入zookeeper，保证数据集群共享.

特点：支持HA

场景：生产环境，集群化部署.

  • group-instance.xml介绍：

主要针对需要进行多库合并时，可以将多个物理instance合并为一个逻辑instance，提供客户端访问。

场景：分库业务。 比如产品数据拆分了4个库，每个库会有一个instance，如果不用group，业务上要消费数据时，需要启动4个客户端，分别链接4个instance实例。使用group后，可以在canal server上合并为一个逻辑instance，只需要启动1个客户端，链接这个逻辑instance即可.

  • instance.xml设计初衷：

允许进行自定义扩展，比如实现了基于数据库的位点管理后，可以自定义一份自己的instance.xml，整个canal设计中最大的灵活性在于此

HA模式配置

1.canal HA工作原理

Canal_第4张图片

2.配置

    1. 机器准备
      a. 运行canal的机器： 10.20.144.22 , 10.20.144.51.
      b. zookeeper地址为：10.20.144.51:2181
      c. mysql地址：10.20.144.15:3306
    1. 按照部署和配置，在单台机器上各自完成配置，演示时instance name为example
      a. 修改canal.properties，加上zookeeper配置
canal.zkServers=10.20.144.51:2181
canal.instance.global.spring.xml = classpath:spring/default-instance.xml

b. 创建example目录，并修改instance.properties

canal.instance.mysql.slaveId = 1234 ##另外一台机器改成1235，保证slaveId不重复即可
canal.instance.master.address = 10.20.144.15:3306

注意： 两台机器上的instance目录的名字需要保证完全一致，HA模式是依赖于instance name进行管理，同时必须都选择default-instance.xml配置

    1. 启动两台机器的canal
ssh 10.20.144.51
sh bin/startup.sh

ssh 10.20.144.22
sh bin/startup.sh

启动后，你可以查看logs/example/example.log，只会看到一台机器上出现了启动成功的日志。

结合MQ使用

canal 作为 MySQL binlog 增量获取和解析工具，可将变更记录投递到 MQ 系统中，比如 Kafka/RocketMQ，可以借助于 MQ 的多语言能力。
目前canal默认支持的MQ有kafka和RocketMQ
下面在我的本子上演示kafka quick start.

环境版本

  • 操作系统：macOS
  • java版本: jdk1.8
  • canal 版本: 请下载最新的安装包，本文以当前v1.1.3 的canal.deployer-1.1.3.tar.gz为例
  • MySQL版本 ：5.7
    注意 ： 关闭所有机器的防火墙，同时注意启动可以相互telnet ip 端口

1. 安装zookeeper

zookeeper

2. 安装MQ

kafka

3. 修改canal配置

vi /conf/canal.properties

# ...
# 可选项: tcp(默认), kafka, RocketMQ
canal.serverMode = kafka
# ...
# kafka/rocketmq 集群配置: 192.168.1.117:9092,192.168.1.118:9092,192.168.1.119:9092 
canal.mq.servers = 127.0.0.1:9092
canal.mq.retries = 0
# flagMessage模式下可以调大该值, 但不要超过MQ消息体大小上限
canal.mq.batchSize = 16384
canal.mq.maxRequestSize = 1048576
# flatMessage模式下请将该值改大, 建议50-200
canal.mq.lingerMs = 1
canal.mq.bufferMemory = 33554432
# Canal的batch size, 默认50K, 由于kafka最大消息体限制请勿超过1M(900K以下)
canal.mq.canalBatchSize = 50
# Canal get数据的超时时间, 单位: 毫秒, 空为不限超时
canal.mq.canalGetTimeout = 100
# 是否为flat json格式对象
canal.mq.flatMessage = true
canal.mq.compressionType = none
canal.mq.acks = all
# kafka消息投递是否使用事务
canal.mq.transaction = false

4. 启动、关闭、查看日志同上

你可能感兴趣的:(Canal)

  • Mall4j商城实战 - 部署 canal 数据库增量日志解析 yueerba126 Mall4j商城实战数据库springcloud微服务架构
    Canal简介Canal是基于MySQL数据库增量日志解析的工具，主要用于增量数据的订阅和消费。Canal主要用途基于MySQL数据库增量日志解析详细功能：实时解析MySQL的二进制日志（Binlog）。捕获数据库中的所有增量变更，如插入、更新和删除操作。使用场景：适用于实时监控数据库变化的应用，比如数据复制、数据备份或实时数据分析等。提供增量数据订阅和消费服务
  • 单节点canal的介绍和搭建（对接mysql和rocketMQ） 汀风 中间件阿里云mysqljava
    单节点canal-server+canal-admin的介绍和搭建（对接mysql和rocketMQ）一、简介1、Canal1、工作原理2、MySQL主从复制实现3、canal架构4、binarylog1、新增binlog2、更新binglog3、增加字段bin-log4、删除字段bin-log5、修改字段bin-log二、使用2.1安装1、本地安装2、docker安装canal-admincan
  • vue3 + vite + js 配置Eslint + prettier 菜鸡的崛起 vuejavascriptvue
    第一步安装ESlintnpmieslint@latest-D或pnpmaddeslint@latest-D/pnpminstalleslint@latest-D或yarnaddeslint@latest-D第二步初始化Eslintnpxeslint--init执行npxeslint--init控制台会出现以下步骤1）你想如何使用ESLint（选择最后一个）Youcanalsorunthiscomm
  • “疯”眼看美国19：普林斯顿小径 观弈路人
    20180715特拉华州和拉里坦运河州立公园小径简称“普林斯顿小径”DelawareandRaritanCanalStateParkTrail普林斯顿大学原来的名字是“新泽西学院”，与罗格斯大学毗邻。不过三十公里左右。今天准备看2018世界杯法国对克罗地亚决赛之前，陪女儿到普林斯顿小径跑步，一直可以跑到普林斯顿，才发现这个神奇的小径。普林斯顿小径大概是俗称，全名是特拉华州和拉里坦运河州立公园，会不
  • 语音识别 学习笔记2024 AI算法网奇 深度学习基础音视频人工智能
    目录dragonfly阿里达摩院FunASR：一款高效的端到端语音识别工具包不错的功能介绍librosa安装语音识别dragonfly阿里达摩院FunASR：一款高效的端到端语音识别工具包不错的功能介绍librosa，一个很有趣的Python库！-简书音频转特征向量GitHub-librosa/librosa:Pythonlibraryforaudioandmusicanalysislibrosa
  • Canal同时监控两个mysql的binlog并同步至一个topic中 梦见伊兮伊不觉 大数据mysqlkafka
    准备:安装canal(博主canal版本1.1.5)安装kafka,做接收binlog日志数据用(博主kafka版本2.11)安装两个msyql,相当于两个mysql数据库(博主mysql版本5.1.0)我mysql的两台节点分别是:192.168.1.137,192.168.1.138开启binlog(两台mysql都需要开启)在mysql中创建canal用户(两台mysql都需要创建)这些组件
  • canal-adapter消费Kafka中MySQL的binlog数据，却没有同步更新Elastic search iiopsd kafkamysqljavaelasticsearch
    背景在同步MySQL数据到ES的场景中，选择了canal组件同步数据。问题描述在同步的时候发现canal-adapter中canal-adapter/conf/es7/product.yml配置文件中sql语句连表查询的时候会出现无法更新Elasticsearch中数据的情况，而且日志没有提示异常（idea启动的时候有错误日志），令人百思不得其解。问题分析初步估计是内部解析yml的时候出错了，但具
  • 2、mysql-canal-zk-kafka-es数据同步 kobe0429
    方案总体介绍：通过zookeeper管理canal和kafka集群,zk本身也做集群配置；通过canal作为mysql的从库实时读取binlog，然后将数据以json格式发送到kafka平台，会有一个专门消费kafka消息的微服务，负责数据处理和转换；处理后的数据存储到elasticSearch，通过es的restapi向外提供查询服务。一、mysql1、首先为mysql数据库新建一个只读用户2、
  • 探索阿里巴巴的增量数据处理利器：Canal 费琦栩
    探索阿里巴巴的增量数据处理利器：Canalcanalalibaba/canal:Canal是由阿里巴巴开源的分布式数据库同步系统，主要用于实现MySQL数据库的日志解析和实时增量数据订阅与消费，广泛应用于数据库变更消息的捕获、数据迁移、缓存更新等场景。项目地址:https://gitcode.com/gh_mirrors/ca/canal项目介绍Canal，源自阿里巴巴的强大开源项目，是一个专为M
  • 2023年比互联网更广泛应用的物联网全面到来......双语原创 高蓝出国唐老师
    Theinternetofthings,IoT,meanstheconnectionofdifferenttypeofthings,besidescomputersandsmartphonestotheInternet.Cars,homeapplianceappliances,andevenhumanbeingscanallbeconnectedthroughtheIoT.物联网指的是除了计算机，
  • 判断字符串是否为回文字符串 Light丶Long 字符串判断是否为回文字符串
    题目：给定一个字符串，验证它是否是回文串，只考虑字母和数字字符，可以忽略字母的大小写。说明：本题中，我们将空字符串定义为有效的回文串。示例1:输入:"Aman,aplan,acanal:Panama"输出:true示例2:输入:"raceacar"输出:false解题思路：拿到这个题之后首先就是想到将想要的字母和数字提取出来，组成一个新的字符串，方便自己的接下来的操作，所以用到StringBuff
  • Recommended order of a field's mutiple modifiers MJN propertiesjava
    Fielddeclarationscanalsobeprecededbymodifiersthatcontrolcertainpropertiesofthefield:annotationsaccessmodifiersstaticfinaltransientvolatileAfieldcannotbebothfinalandvolatile.Whenmultiplemodifiersareapp
  • 智能合约漏洞检测论文 weixin_45332030 智能合约
    综述TestingEthereumSmartContracts:AComparisonofSymbolicAnalysisandFuzzTestingTools符号执行与模糊测试工具的比较综述DeepLearningBasedVulnerabilityDetection:AreWeThereYet?基于深度学习的漏洞检测研究https://github.com/VulDetProject/ReVe
  • 解决WARNING Memory overcommit must be enabled! Without it, a background save or replication may fail 蟹蟹呵呵 redisredis
    解决WARNINGMemoryovercommitmustbeenabled!Withoutit,abackgroundsaveorreplicationmayfailunderlowmemorycondition.Beingdisabled,itcanalsocausefailureswithoutlowmemorycondition,seehttps://github.com/jemalloc
  • WARNING Memory overcommit must be enabled! Without it..问题处理 Bestest~ redismemory
    文章目录一、问题出现二、解决方式三、补充其它一、问题出现redis容器方式启动报错WARNINGMemoryovercommitmustbeenabled!Withoutit,abackgroundsaveorreplicationmayfailunderlowmemorycondition.Beingdisabled,itcancanalsocausefailureswithoutlowmemo
  • ETL同步 王小杰at2019
    首先明确一下针对这类云MySQL的binlog订阅，通常会面临的几个问题账号权限问题[已解决]canal的策略是模拟了MySQLSlave的行为，因此需要有SELECT,REPLICATIONSLAVE,REPLICATIONCLIENT的权限解决思路：目前aliyun上的RDS默认创建的账号已经自带了这些权限，针对RDS5.6/5.7的高权限实例，可以用root账号额外进行一下授权，授权操作可参
  • C++面试题和笔试题（五）-手撕代码篇 虾仁A c++算法
    一、编程题给定一个字符串，验证它是否是回文串，只考虑字母和数字字符，可以忽略字母的大小写。说明：本题中，我们将字符串定义为有效的回文串示例1：输入：‘Aman,apla,acanal:Panama"输出：true解释：“amanaplanacanalpanama"是回文串示例2：输入：“raceacar"输出：false解释："raceacar"不是回文串提示：1#include#includeu
  • 基于ElasticSearch存储海量AIS数据-架构设计篇 iOS逆向 数据库技能elasticsearch大数据搜索引擎
    文章目录引言I背景II数据集群架构选型2.1关键点2.2架构设计2.3数据迁移工具:Canal关键词：时空索引；船舶自动识别系统；轨迹压缩；数据集群引言船舶自动识别系统(AIS)数据具有海量性、时空性和小记录频繁更新等特性。面向海量AIS数据，提出了一种基于分布式集群的AIS数据存储方法。该方法对AIS数据存储索引结构进行了设计，通过对时间维按月切分，以及对空间范围聚类切分，构造了索引时空立方体，
  • 利用MegaX构建系统发育树 杨博士聊生信
    Hi,大家好。对于做实验的小伙伴来说，我们经常需要构建进化树，那么很多人应该都会选择MEGA（MolecularEvolutionaryGeneticAnalysis）这款软件。MEGA软件的目标是从进化的角度出发，为探索、发现和分析DNA和蛋白质序列提供工具。从1993年第一个版本问世到今天为止，MEGA已经更新了8个版本，目前最新的版本为MEGAX。今天我们就来介绍一下MEGAX在图形界面（G
  • Canal解决Redis与mysql缓存一致性问题 赵广陆 architect高可用缓存一致性redis
    目录1缓存一致性2缓存一致性解决方案3Canal介绍3.1Canal应用场景3.2MySQL主从复制原理3.3Canal工作原理3.4Canal配置5同步更新Redis缓存想学习架构师构建流程请跳转：Java架构师系统架构设计1缓存一致性Redis缓存与Mysql数据库的一致性问题解决：https://blog.csdn.net/ZGL_cyy/article/details/112065489用
  • Http的幂等性
    [[Web&Http学习]]1.简介Http协议涉及到的一种重要性质:幂等性.在HTTP/1.1规范中幂等性的定义是:Methodscanalsohavethepropertyof“idempotence”inthat(asidefromerrororexpirationissues)theside-effectsofN>0identicalrequestsisthesameasforasingl
  • 08.canal+kafka同步数据消息顺序一致性问题 陌陌龙 每特教育第十期springbootkafkabigdata分布式
    canal+kafka同步数据环境回顾1.canal伪装成mysql从节点订阅mysql主节点的binlog文件;\2.当我们的mysql主节点binlog文件发生了变化，则将该binlog文件发送给canal服务器端;3.canal服务器端将该binlog文件二进制转化成json格式发送给kafka服务器端4.kafka消费者订阅kafka服务器端，将需要同步的数据同步到redis。思考下：如何
  • 中国云计算市场排名_中国云计算市场排名第一 菜菜菜菜菜菜艾迪 python
    百度智能云位列中国云计算市场前四|美通社在Canalys发布中国云计算市场2021年第二季度报告中,百度智能云排名前四,Q2环比增速高于整个市场水平。百度近期发布的Q2财报,百度智能云第二季度营收同比增长71%。报告显示,中国云基础设施市场第二季度同比增长54%,达到66亿美元。阿里云、腾讯云、华为云和百度智能云成...∪▽∪中国云计算市场保持高速增长国际研究机构Gartner发布2020年全球云
  • 2018年的全球云计算市场的情况是怎么样的 weixin_44370833 云计算
    近日，调研机构Canalys给出了相关数据报告。该报告显示，2018年全球云计算市场规模突破800亿美元，达到804亿美元，同比大幅增长46.5%；其中，2018年第四季度，全球云计算市场规模达到227亿美元，同比增长45.6%。Canalys也给出了全球市场份额前十的云计算服务提供商：AWS、微软Azure、谷歌云、阿里云、IBM云、Salesforce、Oracle、NTT通信、腾讯云和OVH
  • 力压国际云巨头，阿里云成为全球云计算市场领军者 ... weixin_33985679 大数据
    随着互联网技术的飞速发展，大数据已经成为了炽手可热的社会发展趋势，它不仅能够帮助企业实现数字化转型，同时也能为整个社会创造巨大贡献，而这一切的背后依托的是云技术的支撑。近日，国际调查机构Canalys发布了企业2018年全球云计算市场份额排名，数据显示，阿里巴巴力压IBM云，位列全球云计算市场第四名，并且也是唯一一家跻身前五的中国企业。综合来看，2018年全球云计算市场竞争依旧激烈，其中亚马逊云凭
  • 力扣-125. 验证回文串 编程开发者 LeetCodeleetcodec语言
    文章目录力扣题目代码力扣题目如果在将所有大写字符转换为小写字符、并移除所有非字母数字字符之后，短语正着读和反着读都一样。则可以认为该短语是一个回文串。字母和数字都属于字母数字字符。给你一个字符串s，如果它是回文串，返回true；否则，返回false。示例1：输入:s=“Aman,aplan,acanal:Panama”输出：true解释：“amanaplanacanalpanama”是回文串。示例
  • 对网络流水印的调查 h0l10w PaperReading网络tor流水印网络安全流量分析
    文章信息论文题目：NetworkFlowWatermarking:ASurvey期刊（会议）：IEEECommunicationsSurveys&Tutorials时间：2016级别：中科院1区文章链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=7570208概述被动流量分析（TrafficAnalysis,TA）有三大缺点：1)它需
  • 【Canal源码分析】Canal Instance启动和停止 端木轩
    一、序列图1.1启动instance启动.png1.2停止instance停止.png二、源码分析2.1启动这部分代码其实在ServerRunningMonitor的start()方法中。针对不同的destination，启动不同的CanalInstance。主要的方法在于initRunning()。privatevoidinitRunning(){if(!isStart()){return;}S
  • 大学生英语竞赛模板 娄萧文_2022公益强化班
    一.表格(一）开头Thechartgivesusanoverallpictureof...inthelast...years.Accordingtothestatisticsofferedby...(二）中间1.thefirstthingwenoticeisthat...thismeansthatastimegoesby,..wecanalsoseefromstatisticsgiventhat.
  • Day62 验证回文串 Shimmer_
    给定一个字符串，验证它是否是回文串，只考虑字母和数字字符，可以忽略字母的大小写https://leetcode-cn.com/problems/valid-palindrome/将空字符串定义为有效的回文串示例1：输入:"Aman,aplan,acanal:Panama"输出:true示例2：输入:"raceacar"输出:falseJava解法思路：这个属于很基础的题，使用双指针左右同时遍历即可
  • 二分查找排序算法 周凡杨 java二分查找排序算法折半
    一：概念 二分查找又称 折半查找（ 折半搜索/ 二分搜索），优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而 查找频繁的有序列表。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表 分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步
  • java中的BigDecimal bijian1013 javaBigDecimal
            在项目开发过程中出现精度丢失问题，查资料用BigDecimal解决，并发现如下这篇BigDecimal的解决问题的思路和方法很值得学习，特转载。         原文地址：http://blog.csdn.net/ugg/article/de
  • Shell echo命令详解 daizj echoshell
    Shell echo命令 Shell 的 echo 指令与 PHP 的 echo 指令类似，都是用于字符串的输出。命令格式： echo string 您可以使用echo实现更复杂的输出格式控制。 1.显示普通字符串: echo "It is a test" 这里的双引号完全可以省略，以下命令与上面实例效果一致： echo Itis a test 2.显示转义
  • Oracle DBA 简单操作 周凡杨 oracle dba sql
    --执行次数多的SQL select sql_text,executions from (      select sql_text,executions from v$sqlarea order by executions desc      ) where rownum<81;  &nb
  • 画图重绘 朱辉辉33 游戏
      我第一次接触重绘是编写五子棋小游戏的时候，因为游戏里的棋盘是用线绘制的，而这些东西并不在系统自带的重绘里，所以在移动窗体时，棋盘并不会重绘出来。所以我们要重写系统的重绘方法。   在重写系统重绘方法时，我们要注意一定要调用父类的重绘方法，即加上super.paint(g)，因为如果不调用父类的重绘方式，重写后会把父类的重绘覆盖掉，而父类的重绘方法是绘制画布，这样就导致我们
  • 线程之初体验 西蜀石兰 线程
    一直觉得多线程是学Java的一个分水岭，懂多线程才算入门。 之前看《编程思想》的多线程章节，看的云里雾里，知道线程类有哪几个方法，却依旧不知道线程到底是什么？书上都写线程是进程的模块，共享线程的资源，可是这跟多线程编程有毛线的关系，呜呜。。。 线程其实也是用户自定义的任务，不要过多的强调线程的属性，而忽略了线程最基本的属性。 你可以在线程类的run()方法中定义自己的任务，就跟正常的Ja
  • linux集群互相免登陆配置 林鹤霄 linux
    配置ssh免登陆 1、生成秘钥和公钥    ssh-keygen -t rsa 2、提示让你输入，什么都不输，三次回车之后会在~下面的.ssh文件夹中多出两个文件id_rsa 和 id_rsa.pub    其中id_rsa为秘钥，id_rsa.pub为公钥，使用公钥加密的数据只有私钥才能对这些数据解密    c
  • mysql : Lock wait timeout exceeded; try restarting transaction aigo mysql
    原文：http://www.cnblogs.com/freeliver54/archive/2010/09/30/1839042.html   原因是你使用的InnoDB   表类型的时候, 默认参数:innodb_lock_wait_timeout设置锁等待的时间是50s, 因为有的锁等待超过了这个时间,所以抱错.   你可以把这个时间加长,或者优化存储
  • Socket编程 基本的聊天实现。 alleni123 socket
    public class Server { //用来存储所有连接上来的客户 private List<ServerThread> clients; public static void main(String[] args) { Server s = new Server(); s.startServer(9988); } publi
  • 多线程监听器事件模式(一个简单的例子) 百合不是茶 线程监听模式
        多线程的事件监听器模式   监听器时间模式经常与多线程使用,在多线程中如何知道我的线程正在执行那什么内容,可以通过时间监听器模式得到        创建多线程的事件监听器模式 思路:    1, 创建线程并启动,在创建线程的位置设置一个标记     2,创建队
  • spring InitializingBean接口 bijian1013 javaspring
    spring的事务的TransactionTemplate，其源码如下： public class TransactionTemplate extends DefaultTransactionDefinition implements TransactionOperations, InitializingBean{ ... } TransactionTemplate继承了DefaultT
  • Oracle中询表的权限被授予给了哪些用户 bijian1013 oracle数据库权限
            Oracle查询表将权限赋给了哪些用户的SQL，以备查用。 select t.table_name as "表名", t.grantee as "被授权的属组", t.owner as "对象所在的属组"
  • 【Struts2五】Struts2 参数传值 bit1129 struts2
    Struts2中参数传值的3种情况 1.请求参数绑定到Action的实例字段上 2.Action将值传递到转发的视图上 3.Action将值传递到重定向的视图上   一、请求参数绑定到Action的实例字段上以及Action将值传递到转发的视图上 Struts可以自动将请求URL中的请求参数或者表单提交的参数绑定到Action定义的实例字段上，绑定的规则使用ognl表达式语言
  • 【Kafka十四】关于auto.offset.reset[Q/A] bit1129 kafka
    I got serveral questions about  auto.offset.reset. This configuration parameter governs how  consumer read the message from  Kafka when  there is no initial offset in ZooKeeper or
  • nginx gzip压缩配置 ronin47 nginx gzip 压缩范例
    nginx gzip压缩配置 更多 0 nginx gzip 配置   随着nginx的发展，越来越多的网站使用nginx，因此nginx的优化变得越来越重要，今天我们来看看nginx的gzip压缩到底是怎么压缩的呢？ gzip(GNU-ZIP)是一种压缩技术。经过gzip压缩后页面大小可以变为原来的30%甚至更小，这样，用
  • java-13.输入一个单向链表，输出该链表中倒数第 k 个节点 bylijinnan java
    two cursors. Make the first cursor go K steps first. /* * 第 13 题：题目：输入一个单向链表，输出该链表中倒数第 k 个节点 */ public void displayKthItemsBackWard(ListNode head,int k){ ListNode p1=head,p2=head;
  • Spring源码学习-JdbcTemplate queryForObject bylijinnan javaspring
    JdbcTemplate中有两个可能会混淆的queryForObject方法： 1. Object queryForObject(String sql, Object[] args, Class requiredType) 2. Object queryForObject(String sql, Object[] args, RowMapper rowMapper) 第1个方法是只查
  • [冰川时代]在冰川时代,我们需要什么样的技术? comsci 技术
         看美国那边的气候情况....我有个感觉...是不是要进入小冰期了?      那么在小冰期里面...我们的户外活动肯定会出现很多问题...在室内呆着的情况会非常多...怎么在室内呆着而不发闷...怎么用最低的电力保证室内的温度.....这都需要技术手段...   &nb
  • js 获取浏览器型号 cuityang js浏览器
    根据浏览器获取iphone和apk的下载地址 <!DOCTYPE html> <html> <head>     <meta charset="utf-8" content="text/html"/>     <meta name=
  • C# socks5详解 转 dalan_123 socketC#
    http://www.cnblogs.com/zhujiechang/archive/2008/10/21/1316308.html  这里主要讲的是用.NET实现基于Socket5下面的代理协议进行客户端的通讯，Socket4的实现是类似的，注意的事，这里不是讲用C#实现一个代理服务器，因为实现一个代理服务器需要实现很多协议，头大，而且现在市面上有很多现成的代理服务器用，性能又好，
  • 运维 Centos问题汇总 dcj3sjt126com 云主机
    一、sh 脚本不执行的原因 sh脚本不执行的原因 只有2个 1.权限不够 2.sh脚本里路径没写完整。   二、解决You have new mail in /var/spool/mail/root 修改/usr/share/logwatch/default.conf/logwatch.conf配置文件 MailTo = MailFrom   三、查询连接数
  • Yii防注入攻击笔记 dcj3sjt126com sqlWEB安全yii
    网站表单有注入漏洞须对所有用户输入的内容进行个过滤和检查，可以使用正则表达式或者直接输入字符判断，大部分是只允许输入字母和数字的，其它字符度不允许；对于内容复杂表单的内容，应该对html和script的符号进行转义替换：尤其是<,>,',"",&这几个符号 这里有个转义对照表： http://blog.csdn.net/xinzhu1990/articl
  • MongoDB简介[一] eksliang mongodbMongoDB简介
    MongoDB简介 转载请出自出处：http://eksliang.iteye.com/blog/2173288 1.1易于使用        MongoDB是一个面向文档的数据库，而不是关系型数据库。与关系型数据库相比，面向文档的数据库不再有行的概念，取而代之的是更为灵活的“文档”模型。        另外，不
  • zookeeper windows 入门安装和测试 greemranqq zookeeper安装分布式
    一、序言       以下是我对zookeeper 的一些理解：      zookeeper 作为一个服务注册信息存储的管理工具，好吧，这样说得很抽象，我们举个“栗子”。       栗子1号：       假设我是一家KTV的老板，我同时拥有5家KTV，我肯定得时刻监视
  • Spring之使用事务缘由(2-注解实现) ihuning spring
      Spring事务注解实现   1. 依赖包：     1.1 spring包：           spring-beans-4.0.0.RELEASE.jar           spring-context-4.0.0.
  • iOS App Launch Option 啸笑天 option
    iOS 程序启动时总会调用application:didFinishLaunchingWithOptions:，其中第二个参数launchOptions为NSDictionary类型的对象，里面存储有此程序启动的原因。   launchOptions中的可能键值见UIApplication Class Reference的Launch Options Keys节 。 1、若用户直接
  • jdk与jre的区别（_） macroli javajvmjdk
    简单的说JDK是面向开发人员使用的SDK，它提供了Java的开发环境和运行环境。SDK是Software Development Kit 一般指软件开发包，可以包括函数库、编译程序等。  JDK就是Java Development Kit JRE是Java Runtime Enviroment是指Java的运行环境，是面向Java程序的使用者，而不是开发者。 如果安装了JDK，会发同你
  • Updates were rejected because the tip of your current branch is behind qiaolevip 学习永无止境每天进步一点点众观千象git
    $ git push joe prod-2295-1 To [email protected]:joe.le/dr-frontend.git ! [rejected] prod-2295-1 -> prod-2295-1 (non-fast-forward) error: failed to push some refs to '[email protected]
  • [一起学Hive]之十四-Hive的元数据表结构详解 superlxw1234 hivehive元数据结构
    关键字：Hive元数据、Hive元数据表结构   之前在 “[一起学Hive]之一–Hive概述，Hive是什么”中介绍过，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。 本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。   文章最后面，会以一个示例来全面了解一下，
  • Spring 3.2.14，4.1.7，4.2.RC2发布 wiselyman Spring 3
      Spring 3.2.14、4.1.7及4.2.RC2于6月30日发布。   其中Spring 3.2.1是一个维护版本(维护周期到2016-12-31截止)，后续会继续根据需求和bug发布维护版本。此时，Spring官方强烈建议升级Spring框架至4.1.7 或者将要发布的4.2 。   其中Spring 4.1.7主要包含这些更新内容。
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他