StreamNative
StreamNative

如何在 Pulsar 中使用 Debezium Connector

作者：Jia Zhai

翻译：Jennifer

编辑：Anonymitaet

本文于 2019 年 5 月 23 日发表在 Debezium 社区。

image
image

Bot，向诸位爱卿介绍一下朕的新晋宠妃 Debezium connector 。

Pulsar IO 框架运行 Debezium connector 能捕获数据变化，并能将不同数据库的数据变化保存至 Pulsar。

本文介绍了如何在 Pulsar 中使用 Debezium connector 捕获 MySQL 表的数据变化，并将这些变化保存至 Pulsar。

image

**如何在 Pulsar 中使用 ****Debezium Connector **

Debezium（https://debezium.io/）是捕获数据变化（Change Data Capture）的一个开源项目。

Debezium 基于 Apache Kafka Connect （https://kafka.apache.org/documentation/#connectapi）开发，支持多种数据库，例如， MySQL、 MongoDB、PostgreSQL、Oracle 以及 SQL Server。

Apache Pulsar（http://pulsar.apache.org）包含一套基于 Pulsar IO 框架的内置 connector （https://pulsar.apache.org/docs/en/io-connectors），它与 Apache Kafka Connect 功能相同。

从 2.3.0 版本开始，Pulsar IO 支持开箱即用的 Debezium 源连接器（http://pulsar.apache.org/docs/en/2.3.0/io-cdc-debezium），你可以利用 Debezium 将数据库中的变化瞬时保存至 Apache Pulsar。

教程步骤预览

除了事件流的存储从 Kafka 转到 Pulsar，其他步骤类似于 Debezium 教程（https://debezium.io/docs/tutorial）。

本教程主要包含六个步骤：

  1. 启动 MySQL。

  2. 启动 standalone Pulsar。

  3. 在 Pulsar IO 中启动 Debezium connector。Pulsar IO 从 MySQL 读取数据变化。

  4. 订阅 Pulsar topic，监控 MySQL 数据变化。

  5. 更改 MySQL 表的数据 ，验证更改是否立刻记录在 Pulsar topic 中。

  6. 清除环境。

1. 启动 MySQL

启动 MySQL， Debezium 会从 MySQL 捕获数据变化。

在新的终端窗口中启动容器，运行 MySQL。

MySQL 有一个预配置好的数据库，名为 inventory。

docker run --rm --name mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=debezium -e MYSQL_USER=mysqluser -e MYSQL_PASSWORD=mysqlpw debezium/example-mysql:0.8

结果如下所示：

2019-03-25T14:12:41.178325Z 0 [Note] Event Scheduler: Loaded 0 events

2019-03-25T14:12:41.178670Z 0 [Note] mysqld: ready for connections.

Version: '5.7.25-log' socket: '/var/run/mysqld/mysqld.sock' port: 3306 MySQL Community Server (GPL)

2. 启动 Pulsar

在本地用 standalone 模式启动 Pulsar。 Pulsar 2.3.0 版本新增了在 Pulsar IO 中运行 Debezium connector 的功能。

下载以下文件：

  • Apache Pulsar 2.3.0 二进制包，点击 https://archive.apache.org/dist/pulsar/pulsar-2.3.0/apache-pulsar-2.3.0-bin.tar.gz。

  • Kafka Adapter Connector，点击 (https://archive.apache.org/dist/pulsar/pulsar-2.3.0/connectors/pulsar-io-kafka-connect-adaptor-2.3.0.nar。

在 Pulsar 中，所有 Pulsar IO connector 都独立封装为 NAR（https://medium.com/hashmapinc/nifi-nar-files-explained-14113f7796fd）文件。

$ wget https://archive.apache.org/dist/pulsar/pulsar-2.3.0/apache-pulsar-2.3.0-bin.tar.gz

$ wget https://archive.apache.org/dist/pulsar/pulsar-2.3.0/connectors/pulsar-io-kafka-connect-adaptor-2.3.0.nar

$ tar zxf apache-pulsar-2.3.0-bin.tar.gz

$ cd apache-pulsar-2.3.0

$ mkdir connectors

$ cp ../pulsar-io-kafka-connect-adaptor-2.3.0.nar connectors

$ bin/pulsar standalone

image

3. 启动 Debezium Connector

在另一个终端窗口，用 local run 模式启动 Debezium MySQL connector。

debezium-mysql-source-config.yaml 文件包含所有配置，主要参数列在 configs 节点下。yaml 格式的文件有 task.class 参数。配置文件还包含 MySQL 相关参数（例如，服务器、端口、用户、密码）以及 history 和 offset 存储文件中 Pulsar topics 的两个名字。

以下是 debezium-mysql-source-config.yaml 文件的内容：

image

表会自动创建在 MySQL 中，Debezium connector 一开始就会从 MySQL binlog 文件读取历史记录。输出结果显示 connector 被触发后，处理了 47 条记录。

image

更多关于如何管理 connector 的信息，查阅 Pulsar IO 文档（http://pulsar.apache.org/docs/en/io-managing/）。

Debezium 捕获和读取的记录会自动发布至 Pulsar topic。在另一终端窗口运行以下命令，将显示 Pulsar 当前的 topic。

$ bin/pulsar-admin topics list public/default

image

每个表格的变化数据会单独存储在 Pulsar topic 中。除了与数据库表相关的 topic，另外两个名为 history-topic 和 offset-topic 的 topic 分别储存与历史和偏移量相关的数据。

persistent://public/default/history-topic

persistent://public/default/offset-topic

4. 订阅 Pulsar topic

以

persistent://public/default/dbserver1.inventory.products topic 为例。使用 CLI 命令消费该 topic，并监控 products 表的变化。

$ bin/pulsar-client consume -s "sub-products" public/default/dbserver1.inventory.products -n 0

输出结果如下：

22:17:41.201 [pulsar-client-io-1-1] INFO org.apache.pulsar.client.impl.ConsumerImpl - [public/default/dbserver1.inventory.products][sub-products] Subscribing to topic on cnx [id: 0xfe0b4feb, L:/127.0.0.1:55585 - R:localhost/127.0.0.1:6650]

22:17:41.223 [pulsar-client-io-1-1] INFO org.apache.pulsar.client.impl.ConsumerImpl - [public/default/dbserver1.inventory.products][sub-products] Subscribed to topic on localhost/127.0.0.1:6650 -- consumer: 0

也可以使用 offset topic 监控偏移量变化，表的变化存储在

persistent://public/default/dbserver1.inventory.products topic 中。

$ bin/pulsar-client consume -s "sub-offset" offset-topic -n 0

**5. 验证 Pulsar topic **

在 Docker 中启动 MySQL， 更改 MySQL 的 product 表的数据。

MYSQL_PORT_3306_TCP_ADDR" -P"MYSQL_ENV_MYSQL_ROOT_PASSWORD"'

运行命令后，出现 MySQL CLI，重命名 products 表中的两个项目。

mysql> use inventory;

mysql> show tables;

mysql> SELECT * FROM products ;

mysql> UPDATE products SET name='1111111111' WHERE id=101;

mysql> UPDATE products SET name='1111111111' WHERE id=107;

image

此时，消费 products topic 的终端页面显示已添加了两个变化。

image

此时，消费 offset topic 的终端页面显示已添加了两个偏移量。

image

此时， local-run 连接器的终端显示已处理了两条记录。

image

6. 清除环境

使用 Ctrl+C 关闭终端。

使用 docker ps 和 docker kill 命令关闭与 MySQL 相关的容器。

mysql> quit

$ docker ps

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

84d66c2f591d debezium/example-mysql:0.8 "docker-entrypoint.s…" About an hour ago Up About an hour 0.0.0.0:3306->3306/tcp, 33060/tcp mysql

$ docker kill 84d66c2f591d

如需删除 Pulsar 数据，删除 Pulsar binary 目录中的数据目录。

$ pwd

/Users/jia/ws/releases/apache-pulsar-2.3.0

$ rm -rf data

总结

Pulsar IO 框架运行 Debezium connector 能捕获数据变化，并能将不同数据库的数据变化保存至 Pulsar。

本文介绍了如何在 Pulsar 中使用Debezium connector 捕获 MySQL 表的数据变化，并将这些变化保存至 Pulsar。

我们会持续改进在 Pulsar 中使用 Debezium 连接器的体验。在 Pulsar 2.4.0 版本后，操作会变得更加简单。

作者介绍

翟佳是 StreamNative 的核心工程师、开源项目 Apache Pulsar 和 Apache BookKeeper 的 PMC成员，并持续为这两个开源项目作出了杰出贡献。

你可能感兴趣的:(如何在 Pulsar 中使用 Debezium Connector)

  • 行为模式-迭代器模式 RossiLover 设计模式迭代器模式
    结构图：释义：迭代器模式：用一致的方法遍历元素集的元素，不需要知道元素集对象的底层表示，即不需要暴露元素集对象内部的结构结构：-Iterator（抽象迭代器）：定义了访问和遍历元素的接口，声明了用于遍历数据元素的方法。-ConcreteIterator（具体迭代器）：实现了抽象迭代器接口，完成对聚合对象的遍历，在具体迭代器中通过游标来记录在聚合对象中所处的当前位置，游标通常是一个表示位置的非负整数
  • Qt WebSocket 小飞侠hello qtqtwebsocket开发语言
    简介WebSocket是一种网络传输协议，可在单个TCP连接上进行全双工通信，位于OSI模型的应用层。允许服务端主动向客户端推送数据。在WebSocketAPI中，浏览器和服务器只需要完成一次握手，两者之间就可以创建持久性的连接，并进行双向数据传输。WebSocket协议基于TCP协议实现，包含初始的握手过程，以及后续的多次数据帧双向传输过程。默认情况下：WebSocket协议使用80端口；Web
  • 论文阅读瞎记(四) Cascade R-CNN: Delving into High Quality Object Detection 2017 码大哥 深度学习人工智能
    概述在物体检测中1，IOU阈值被用于判定正负样本。在低IOU阈值比如0.5的状态下训练模型经常产生噪音预测，然而检测效果会随着IOU增加而降低。两个主要因素：1.训练时的过拟合，正样本指数消失2.检测器最优IOU与输入假设的不匹配。一个单阶段的物体检测器CascadeR-CNN被提出用于解决这些问题。网络由一个检测序列组成，这些序列训练时会伴随IOU增长从而对FP样本更加有选择性地判别。检测器一个
  • 带你读懂《黄帝内经•素问第12章异法方宜论篇 》 土豪灯
    殹→→→毉→→→醫→→→医。以上是“医”字的演变过程，有没有看出来医字书写起来越简化，可是吃药看病却越来越贵越难了。这是说个现实的玩笑，从我国文字的变化中，也可以看出原始医药发展的大概，古“殹”字有防役的意思。在巫祝盛行的时代，“殹”字下面加了一个“巫”字，而写作“毉”字了。后来，人们在储存粮食的过程中发明了酒，并把酒的功效应用到了医药上，酒成了制造药物的基本原料，“毉”字才变了“醫”字。这次只讲
  • 【实践】 使用k8s的leader-election来实现多副本应用的选举 JYCJ_ Golanggolang后端k8s
    背景假设你有这样一个应用部署在k8s中，该应用有以下功能模块：它是一个web服务，接受HTTP服务请求并处理它同时还是需要提供一个任务监控的模块，用来监控数据库中的任务进程并执行相应的逻辑如果该应用需要提高HTTP的处理能力，不可避免会想到通过部署多副本的方案来实现但是，任务监控模块在多副本的情况下，每个副本都会执行，可能造成一些不必要的麻烦和资源的浪费。当然，要实现在多副本的部署下，任务监控模块
  • 路（其三） 百草丰茂
    鲁迅先生说，世上本没有路，走的人多了，也就成了路。这句话就是真理，生活中我们常常见到。记得小时候我们村里分蔬菜田，一大块地，分成左右两大块，中间就用土垒一条田埂，堆得高高的。左右两块再分成很多小块，每户一块，要到自己家的田间地头，就必须经过那条田埂。几十户人家，天天踩，几天后田埂就变平了。再过几天，就变成了田间小道。新开垦出来的土地，只在里面劳作，不犁耕，不锄草，几天土地就结实了，现出小路来。还记
  • 基于yolov8的脑肿瘤检测系统python源码+onnx模型+评估指标曲线+精美GUI界面 FL1623863129 深度学习YOLO人工智能
    【算法介绍】基于YOLOv8的脑肿瘤检测系统是一项前沿的医疗应用，该系统利用YOLOv8这一高效的目标检测算法，实现对脑肿瘤病灶的快速、准确识别。YOLOv8作为YOLO系列的最新版本，不仅继承了前代版本在速度和精度上的优势，还通过改进的网络结构和优化策略，进一步提升了模型性能。在脑肿瘤检测中，YOLOv8通过深度学习技术，自动从脑部图像中提取特征，并学习目标的特征表示和位置信息。系统采用模块化设
  • 无题 七彩祥云668
    预报说今天有小雨，结果没下。接下来几天都是小雨，气温还会降。准备收拾打包的冬衣估计要重新穿，即使不穿，一时半会也收不起来。今年的春天来得更早一些。气温蹭蹭的上升。我记得每年四月份的时候才有这样的温度。好长时间都没下雨了，虽然我不喜欢下雨，但人说春雨贵如油，这个季节雨水还是可贵的。花都枯萎在枝上没有落到泥土里估计就等着风和雨。
  • React-Router 安装及使用 书生丶
    安装[email protected]引入核心路由器组件import{BrowserRouter,HashRouter}from'react-router-dom'BrowserRouter:localhost:xxxx/user/liuna服务器可知所有请求细节HashRouter:localhost:xxxx/#/user/liuna使用#瞄点纯前端跳转,服务器不知
  • 快意恩仇灵 249．力战三虎 言若诺33
    郑义目光如炬地盯着眼前的三个人道：你以为天下的人都和你们一样，拦路就是打劫？”“劫路不为财，你意欲何为？你究竟是什么人？”玉面虎郗汝贵听着郑义的声音似是相熟，心中忽生不祥之感。这时，他隐隐约约想起了一个人，一个令他恐怖生惧的人。果然，他心中怕什么，就来什么。对面的人已经淡淡地给了他答案：“什么人？我，要命的。我已经称了三两棉花纺过了，你们三个人今天是送命的。”“好狂妄的小贼，今天你算遇到杀人的祖宗
  • 我们不仅要活着，还要活好 自由的叶子
    人生在世，每个人都在努力地活着，有的人活得光鲜亮丽，有的人活得满地鸡毛，每个人活在世上都想轻松愉快地过好每一天。那我们应该怎样掌控自己的生活？不仅要活着，还要活得好呢。作者理查德•泰普勒为了更多数人活好，在《从活着到活好：美好生活的100条法则》中，总结了美好生活的100条法则，在这100条法则中包括了生活里面的平衡、自信、运动、消遣、饮食、学习、育儿、工作、退休等11个方面，这些法则不仅简单而且
  • 《反脆弱》第11章：千万别嫁给摇滚明星。 林鑫瑜
    这一章让我收获颇丰的是一个新概念-杠铃策略给我带来的人生思考。杠铃的意思是什么？我用杠铃（一个杠轴，两端加重，供举重者使用）来将极端情况分隔开。在我们的语境中，杠铃策略不一定是对称的，只是说，它由两个极端条件组成，中间空无一物。你也可以用更技术性的语言称其为双峰策略，因为它有两个截然不同的模式，而不是单独的中庸模式。起初，我用杠铃来形象地描述在某些领域采取保守策略（从而在负面的“黑天鹅”面前保持强
  • Springboot使用Mongo数据库实现文件的上传下载预览等服务接口 泰山AI 技术交流springboot数据库后端mongogridFSJAVA
    MongoDBGridFS简介MongoDBGridFS是一个用于存储和检索大型文件的规范，它允许在MongoDB数据库中存储超过16MB的文件，如图片、音频、视频等。GridFS通过将文件分割成多个小的chunk（文件片段），每个chunk通常为255KB，并将这些chunk存储在MongoDB的集合中，从而解决了MongoDB对单个文档大小的限制。以下是GridFS的详细介绍：GridFS的基
  • servlet的过滤器filter和springmvc的拦截器Interceptor 后台技术汇 servlet
    背景Servlet的过滤器（Filter）和SpringMVC的拦截器（Interceptor）都是用于在请求处理过程中对请求进行拦截和处理的组件。它们之间的主要区别在于它们的作用范围和使用方式。作用范围Filter：过滤器是基于Servlet规范的，它可以在整个Web应用程序中对所有请求进行拦截和处理。过滤器可以用于处理诸如身份验证、日志记录、数据压缩等通用任务。Interceptor：拦截器是
  • 目标检测：Cascade R-CNN: Delving into High Quality Object Detection - 2017【方法解读】 智维探境 AI与SLAM论文解析目标检测cnnCascadeR-CNN
    查看新版本论文：目标检测：CascadeR-CNN:HighQualityObjectDetectionandInstanceSegmentation-2019【方法解读】目录摘要：1.引言2.相关工作3.对象检测3.1.边界框回归3.2.分类3.3.检测质量4.级联R-CNN4.1.级联边界框回归4.2.级联检测摘要：在目标检测中，需要一个交并比（IoU）阈值来定义正样本和负样本。使用低IoU阈
  • 助听器哪个牌子好用又耐用质量好？助听器选什么品牌的好? 高省APP
    在当前快节奏的生活中，我们经常需要依靠各种电子设备来辅助我们的日常生活，比如手机、电脑、电视等等。然而，在这些设备中，有一款设备可能被我们忽视，那就是助听器。助听器是帮助听力障碍人士听到声音的电子设备，它的质量直接关系到用户的使用体验。那么，面对市场上琳琅满目的助听器品牌，我们该如何选择一款既好用又耐用，质量又好的助听器呢？助听器的选择需要考虑多个因素，包括品牌、性能、价格等等。在品牌方面，目前市
  • [数据集][目标检测]电力场景输电线均压环歪斜检测数据集VOC+YOLO格式303张2类别 FL1623863129 数据集目标检测YOLO人工智能
    数据集格式：PascalVOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)图片数量(jpg文件个数)：303标注数量(xml文件个数)：303标注数量(txt文件个数)：303标注类别数：2标注类别名称:["normal","skew"]每个类别标注的框数：normal框数=161skew框数=305总框数：466使用标
  • helm学习第三篇--结合 springboot 单做 Wade_Crab java-rocketmqspringbootrediskubernetes
    创建一个springboot项目放到里面去—开山立派要将你的SpringBoot项目代码与Redis、MySQL和RocketMQ组合到同一个HelmChart中，你可以按照以下步骤进行操作：1.准备SpringBoot项目确保你的SpringBoot项目已经打包为Docker镜像。如果还没有创建Docker镜像，可以在SpringBoot项目的根目录下创建一个Dockerfile，并使用以下内容
  • 小天鹅洗衣机质量怎么样好不好 古楼
    用户选择洗衣机的时候，不仅需要看品牌知名度，同样对于内在的性能功能方面也要重点关注。避免买到自己需求不匹配的洗衣机，白白浪费钱。要说到目前业内知名度和口碑都很不错的洗衣机，小天鹅洗衣机当之无愧属于其中之一。只不过有些用户是第一次选购洗衣机，难免对其有关情况还一无所知。那么，小天鹅洗衣机怎么样质量好不好？下面，笔者通过使用感受给大家分析真相！高省APP佣金更高，模式更好，终端用户不流失。【高省】是一
  • 无复盘不成长（210712-210718）第123周 过云雨Milo
    文|过云雨阅读书籍：经济学专栏无复盘不成长（210712-210718）第123周生活：¹周一醒来得晚，晚上睡不着觉，特别难受。打疫苗准备中，不知今日能否成行。²周二醒来得特别晚，人不舒服，想睡到几点就几点。再也不纠结自己几点起床的问题，这个假期我给自己的压力太大了，反而适得其反。³周三醒来晚，昨晚睡不着觉，主要是很困，很累，睡在不熟悉的床上，难以入睡。和妈妈畅聊很开心，但整夜兴奋，影响了睡眠。⁴
  • 读书笔记：《巴菲特给儿女的一生忠告》——人生忠告（四） 淡如秋水
    第二章独立是成长的最高境界※忠告4父母不能保护你一辈子1物质上的满足并不会给孩子带来多少幸福感，孩子只有在成长的过程中，通过自己的努力克服生活中遇到的困难，取得成功，才是真正的满足和幸福。2也许依赖是每个孩子成长过程中必须经历的一个阶段，在这个阶段，孩子一方面想独立自主，不希望父母对他的行动加以干涉;另方面又特别依赖父母的爱和关注。但是当孩子有了自立能力以后，家长必须放权，让孩子自尊自爱。3她曾经
  • 《重生到现代之从零开始的C语言生活》—— 指针2 yttandb c语言生活开发语言
    constconst修饰变量指针可以解引用修改变量，如果我们不想让它被修改可怎么办啊这个就是const的作用intmain(){inta=0;a=10;printf("%d",a)constintb=0;b=11;printf("%d",b);return0;}在此代码中，a是可以被修改的，b是不能被修改的，因为b被const修饰，从语法规则（记住是语法规则，不是把他变成了常量）上入手，给他做了限
  • 神一般的单位 鑫11鑫
    我坚信在一个国家会有很多神一般单位。他们采取的一些制度或方法让下属很难理解或费解。例如：让报个表，上面都是计算机专业的东西，而职工好多都是少数民族同志，他们看个汉字都费劲，怎么填表；学计算机的填这个表都费半天劲，更何况我们呢？真真把我们当成特工使用呢。后面有出了个说明，让下个软件。呵呵，内网，连不上互联网，优盘不能插，内网能下载软件的网站打不开（有没有此功能的软件还不知道），你说怎么个弄法。类似的
  • ES6基础----set的使用 Pluto & Ethereal es6javascript前端
    目录Set是ES6新增的数据结构，值是唯一的，主要用于去除重复的值--与数组一样用法，增加了可以值唯一的属性,键和值为一个值一、Set拥有自己的属性及方法，进行数据的更改操作1、size属性用于返回Set的长度2、add()方法用于向Set中添加值3、delete()方法用于删除Set中的值,返回布尔值直接放入值4、has()方法用于判断某个值是否在Set中，返回布尔值5、clear()方法用于清
  • ES6基础----Map的使用 Pluto & Ethereal javascript前端es6
    目录Map是Es6新增的数据结构，主要用于存储键值对1、size属性返回Map的长度2、set()方法用于向Map中写入内容---键可以用字符串或者用其他数据类型，但是Object只能是字符串3、get()方法用于得到对应的值4、delete()方法删除对应的元素---返回布尔值5、has()方法判断某个元素是否在Map中--返回布尔值6、clear()清除Map中的全部内容--返回所有值，没值返
  • MySQL语法整合 Pluto & Ethereal mysql数据库
    目录一、DDL1、注释2、创建数据库：3、使用数据库：4、查询当前所处的数据库5、删除数据库：6、查询所有的数据库7、约束类型：8、数据类型：9、创建表10、使用show关键字查看表11、使用describe关键字查看表12、修改表名13、修改字段名14、修改字段的数据类型15、添加字段16、删除字段17、删除表二、DML1、运算符：2、添加数据：insert3、修改数据：update4、删除数据
  • 如何使用python抓包，附代码 Uncle 城 python网络开发语言AI
    以下为您介绍多种使用Python进行抓包的方法及代码示例：使用Scapy库进行抓包：首先确保已经安装了Scapy库。如果没有安装，可以使用以下命令安装：pipinstallscapy。创建一个名为packet_sniffer.py的Python文件，并输入以下代码：fromscapy.allimport*defpacket_callback(packet):print(packet.summary
  • 电脑无法启动显示计算机comt,电脑开机显示press any key to restart进不了系统怎么办?... 洪荒行者 电脑无法启动显示计算机comt
    1、开机按F8不动到高级选项出现在松手，选“最近一次的正确配置”回车修复。2、请开机按F8进入到安全模式中用系统自带的系统还原，还原到你没有出现这次故障的时候修复。3、如果故障依旧，使用系统盘修复，打开命令提示符输入SFC/SCANNOW回车(SFC和/之间有一个空格)，插入原装系统盘修复系统，系统会自动对比修复的。4、如果故障依旧，在BIOS中设置光驱为第一启动设备插入系统安装盘按R键选择“修复
  • Linux系统网卡出现drop,linux 清除网卡缓存 weixin_39815943 Linux系统网卡出现drop
    CPU资源监控(-u，或-PALL)例如，每10秒采样一次，连续采样3次，观察CPU的使用情况，并将采样结果以二进制形式存入当前目录下的文件test中，需键入如下命令：sar-u-otest103屏幕显示如下：17:06:16CPU%user%nice%system%iowait%steal%idle17:06:26all0.000.000.200.000.0099.8017:06:36all0.
  • 惠普计算机不启动不了系统还原,惠普电脑系统如何恢复【方法步骤】 3622022 惠普笔记本系统重装BIOS设置硬盘模式驱动程序安装
    惠普笔记本电脑是一款比较好的笔记本这一点我相信大家都比我更清楚的，它在外观、散热、屏幕、适度、安全性等等的设计方面都很好，惠普牌电脑有普通的和商务笔记本两种，据说它的销量是全世界第一的，价格比较实惠，你们在使用惠普笔记本电脑吗?如果是笔记本是惠普的，我们不妨来了解下使用惠普笔记本电脑发生一些问题时，需要重装系统怎么办。方法一1、按F10进入CMOS2、找到电源设置项(PowerManagement
  • 多线程编程之join()方法 周凡杨 javaJOIN多线程编程线程
    现实生活中，有些工作是需要团队中成员依次完成的，这就涉及到了一个顺序问题。现在有T1、T2、T3三个工人，如何保证T2在T1执行完后执行，T3在T2执行完后执行？问题分析：首先问题中有三个实体，T1、T2、T3， 因为是多线程编程，所以都要设计成线程类。关键是怎么保证线程能依次执行完呢？   Java实现过程如下： public class T1 implements Runnabl
  • java中switch的使用 bingyingao javaenumbreakcontinue
    java中的switch仅支持case条件仅支持int、enum两种类型。 用enum的时候，不能直接写下列形式。 switch (timeType) { case ProdtransTimeTypeEnum.DAILY: break; default: br
  • hive having count 不能去重 daizj hive去重having count计数
    hive在使用having count()是，不支持去重计数   hive (default)> select imei from t_test_phonenum where ds=20150701 group by imei having count(distinct phone_num)>1 limit 10;  FAILED: SemanticExcep
  • WebSphere对JSP的缓存 周凡杨 WAS JSP 缓存
          对于线网上的工程，更新JSP到WebSphere后，有时会出现修改的jsp没有起作用，特别是改变了某jsp的样式后，在页面中没看到效果，这主要就是由于websphere中缓存的缘故，这就要清除WebSphere中jsp缓存。要清除WebSphere中JSP的缓存，就要找到WAS安装后的根目录。        现服务
  • 设计模式总结 朱辉辉33 java设计模式
    1.工厂模式   1.1 工厂方法模式 (由一个工厂类管理构造方法)      1.1.1普通工厂模式(一个工厂类中只有一个方法)      1.1.2多工厂模式(一个工厂类中有多个方法)      1.1.3静态工厂模式(将工厂类中的方法变成静态方法) &n
  • 实例：供应商管理报表需求调研报告 老A不折腾 finereport报表系统报表软件信息化选型
    引言 随着企业集团的生产规模扩张，为支撑全球供应链管理，对于供应商的管理和采购过程的监控已经不局限于简单的交付以及价格的管理，目前采购及供应商管理各个环节的操作分别在不同的系统下进行，而各个数据源都独立存在，无法提供统一的数据支持；因此，为了实现对于数据分析以提供采购决策，建立报表体系成为必须。 业务目标 1、通过报表为采购决策提供数据分析与支撑 2、对供应商进行综合评估以及管理，合理管理和
  • mysql 林鹤霄
    转载源：http://blog.sina.com.cn/s/blog_4f925fc30100rx5l.html mysql -uroot -p ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)   [root@centos var]# service mysql
  • Linux下多线程堆栈查看工具(pstree、ps、pstack) aigo linux
    原文：http://blog.csdn.net/yfkiss/article/details/6729364   1. pstree pstree以树结构显示进程$ pstree -p work | grep adsshd(22669)---bash(22670)---ad_preprocess(4551)-+-{ad_preprocess}(4552)  &n
  • html input与textarea 值改变事件 alxw4616 JavaScript
    // 文本输入框(input) 文本域(textarea)值改变事件 // onpropertychange(IE) oninput(w3c) $('input,textarea').on('propertychange input', function(event) {      console.log($(this).val()) });  
  • String类的基本用法 百合不是茶 String
      字符串的用法;     // 根据字节数组创建字符串 byte[] by = { 'a', 'b', 'c', 'd' }; String newByteString = new String(by);         1,length()  获取字符串的长度     &nbs
  • JDK1.5 Semaphore实例 bijian1013 javathreadjava多线程Semaphore
    Semaphore类        一个计数信号量。从概念上讲，信号量维护了一个许可集合。如有必要，在许可可用前会阻塞每一个 acquire()，然后再获取该许可。每个 release() 添加一个许可，从而可能释放一个正在阻塞的获取者。但是，不使用实际的许可对象，Semaphore 只对可用许可的号码进行计数，并采取相应的行动。 S
  • 使用GZip来压缩传输量 bijian1013 javaGZip
            启动GZip压缩要用到一个开源的Filter：PJL Compressing Filter。这个Filter自1.5.0开始该工程开始构建于JDK5.0，因此在JDK1.4环境下只能使用1.4.6。         PJL Compressi
  • 【Java范型三】Java范型详解之范型类型通配符 bit1129 java
        定义如下一个简单的范型类，   package com.tom.lang.generics; public class Generics<T> { private T value; public Generics(T value) { this.value = value; } }
  • 【Hadoop十二】HDFS常用命令 bit1129 hadoop
    1. 修改日志文件查看器   hdfs oev -i edits_0000000000000000081-0000000000000000089 -o edits.xml cat edits.xml   修改日志文件转储为xml格式的edits.xml文件，其中每条RECORD就是一个操作事务日志   2. fsimage查看HDFS中的块信息等 &nb
  • 怎样区别nginx中rewrite时break和last ronin47
    在使用nginx配置rewrite中经常会遇到有的地方用last并不能工作，换成break就可以，其中的原理是对于根目录的理解有所区别，按我的测试结果大致是这样的。 location /    {         proxy_pass http://test; 
  • java-21.中兴面试题 输入两个整数 n 和 m ，从数列 1 ， 2 ， 3.......n 中随意取几个数 , 使其和等于 m bylijinnan java
    import java.util.ArrayList; import java.util.List; import java.util.Stack; public class CombinationToSum { /* 第21 题 2010 年中兴面试题 编程求解： 输入两个整数 n 和 m ，从数列 1 ， 2 ， 3.......n 中随意取几个数 , 使其和等
  • eclipse svn 帐号密码修改问题 开窍的石头 eclipseSVNsvn帐号密码修改
    问题描述：      Eclipse的SVN插件Subclipse做得很好，在svn操作方面提供了很强大丰富的功能。但到目前为止，该插件对svn用户的概念极为淡薄，不但不能方便地切换用户，而且一旦用户的帐号、密码保存之后，就无法再变更了。 解决思路：      删除subclipse记录的帐号、密码信息，重新输入
  • [电子商务]传统商务活动与互联网的结合 comsci 电子商务
          某一个传统名牌产品，过去销售的地点就在某些特定的地区和阶层，现在进入互联网之后，用户的数量群突然扩大了无数倍，但是，这种产品潜在的劣势也被放大了无数倍，这种销售利润与经营风险同步放大的效应，在最近几年将会频繁出现。。。。        如何避免销售量和利润率增加的
  • java 解析 properties-使用 Properties-可以指定配置文件路径 cuityang javaproperties
    #mq xdr.mq.url=tcp://192.168.100.15:61618; import java.io.IOException; import java.util.Properties; public class Test { String conf = "log4j.properties"; private static final
  • Java核心问题集锦 darrenzhu java基础核心难点
    注意，这里的参考文章基本来自Effective Java和jdk源码 1)ConcurrentModificationException 当你用for each遍历一个list时，如果你在循环主体代码中修改list中的元素，将会得到这个Exception，解决的办法是： 1)用listIterator, 它支持在遍历的过程中修改元素， 2)不用listIterator, new一个
  • 1分钟学会Markdown语法 dcj3sjt126com markdown
    markdown 简明语法 基本符号 *,-,+ 3个符号效果都一样，这3个符号被称为 Markdown符号 空白行表示另起一个段落 `是表示inline代码，tab是用来标记 代码段，分别对应html的code，pre标签 换行 单一段落( <p>) 用一个空白行 连续两个空格 会变成一个 <br> 连续3个符号，然后是空行
  • Gson使用二（GsonBuilder） eksliang jsongsonGsonBuilder
    转载请出自出处：http://eksliang.iteye.com/blog/2175473 一.概述     GsonBuilder用来定制java跟json之间的转换格式   二.基本使用 实体测试类： 温馨提示：默认情况下@Expose注解是不起作用的,除非你用GsonBuilder创建Gson的时候调用了GsonBuilder.excludeField
  • 报ClassNotFoundException: Didn't find class "...Activity" on path: DexPathList gundumw100 android
    有一个工程，本来运行是正常的，我想把它移植到另一台PC上，结果报： java.lang.RuntimeException: Unable to instantiate activity ComponentInfo{com.mobovip.bgr/com.mobovip.bgr.MainActivity}: java.lang.ClassNotFoundException: Didn't f
  • JavaWeb之JSP指令 ihuning javaweb
      要点   JSP指令简介  page指令  include指令    JSP指令简介    JSP指令（directive）是为JSP引擎而设计的，它们并不直接产生任何可见输出，而只是告诉引擎如何处理JSP页面中的其余部分。 JSP指令的基本语法格式： <%@ 指令 属性名="
  • mac上编译FFmpeg跑ios 啸笑天 ffmpeg
    1、下载文件：https://github.com/libav/gas-preprocessor， 复制gas-preprocessor.pl到/usr/local/bin/下， 修改文件权限：chmod 777 /usr/local/bin/gas-preprocessor.pl 2、安装yasm-1.2.0 curl http://www.tortall.net/projects/yasm
  • sql mysql oracle中字符串连接 macroli oraclesqlmysqlSQL Server
    有的时候，我们有需要将由不同栏位获得的资料串连在一起。每一种资料库都有提供方法来达到这个目的： MySQL: CONCAT() Oracle: CONCAT(), || SQL Server: + CONCAT() 的语法如下： Mysql 中 CONCAT(字串1, 字串2, 字串3, ...): 将字串1、字串2、字串3，等字串连在一起。 请注意，Oracle的CON
  • Git fatal: unab SSL certificate problem: unable to get local issuer ce rtificate qiaolevip 学习永无止境每天进步一点点git纵观千象
    // 报错如下： $ git pull origin master fatal: unable to access 'https://git.xxx.com/': SSL certificate problem: unable to get local issuer ce rtificate   // 原因： 由于git最新版默认使用ssl安全验证，但是我们是使用的git未设
  • windows命令行设置wifi surfingll windowswifi笔记本wifi
    还没有讨厌无线wifi的无尽广告么，还在耐心等待它慢慢启动么 教你命令行设置 笔记本电脑wifi： 1、开启wifi命令 netsh wlan set hostednetwork mode=allow ssid=surf8 key=bb123456 netsh wlan start hostednetwork pause 其中pause是等待输入，可以去掉 2、
  • Linux（Ubuntu）下安装sysv-rc-conf wmlJava linuxubuntusysv-rc-conf
    安装：sudo apt-get install sysv-rc-conf 使用：sudo sysv-rc-conf 操作界面十分简洁，你可以用鼠标点击，也可以用键盘方向键定位，用空格键选择，用Ctrl+N翻下一页，用Ctrl+P翻上一页，用Q退出。     背景知识 sysv-rc-conf是一个强大的服务管理程序，群众的意见是sysv-rc-conf比chkconf
  • svn切换环境，重发布应用多了javaee标签前缀 zengshaotao javaee
    更换了开发环境，从杭州，改变到了上海。svn的地址肯定要切换的，切换之前需要将原svn自带的.svn文件信息删除，可手动删除，也可通过废弃原来的svn位置提示删除.svn时删除。   然后就是按照最新的svn地址和规范建立相关的目录信息，再将原来的纯代码信息上传到新的环境。然后再重新检出，这样每次修改后就可以看到哪些文件被修改过，这对于增量发布的规范特别有用。   检出
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他