01-利用Debezium捕获PostgreSQL的数据变化

1 背景

最近团队接到这样一个需求，其他团队开发的业务系统需要监控我们负责的业务系统的数据库变更情况，当表发生INSERT,UPDATE及DELETE操作时，相关的业务系统能实时获取数据的变化信息。

经过讨论，团队决定使用Debezium实现需求，于是便对Debezium进行了较深入的学习。下面给大家分享一下自己对Debezium认识与理解。

2 Debezium的介绍

Debezium针对多种数据库，分别实现了同步数据库的Connector，这些Connector以插件的形式运行在Kafka Connect集群上。

Debezium并不是一个平台，它是对Kafka Connect的Connector和Task的一种实现。Debezium现在已支持以下数据库：

• MongoDB
• MySQL
• PostgreSQL
• SQL Server
• Oracle (Incubating)
• Db2 (Incubating)
• Cassandra (Incubating)

其中，Oracle、Db2和Cassandra的Connector还在研发中。

Kafka Connect的介绍及Debezium的原理将在后面的章节说明，下面我们先尝试通过Debezium官方提供的Docker Image搭建测试环境，体现一下Debezium捕获PostgreSQL数据库变化情况的效果。

3 快速搭建Debezium测试环境

目前，Debezium最新的Stable版本是1.3。 Debezium已经把要用到的Component打包成了Docker的Image，因此，我们只需要安装并启动Docker后就可以按下面的步骤快速搭建测试环境了。

3.1 运行Zookeeper

docker run -it --rm --name zookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 debezium/zookeeper:1.3

3.2 运行Kafka

docker run -it --rm --name kafka -p 9092:9092 --link zookeeper:zookeeper debezium/kafka:1.3

其中，--link用来链接2个容器，使得源容器(Zookeeper container)和接收容器(Kafka container)之间可以互相通信，并且接收容器可以获取源容器的一些数据，如源容器的环境变量。

例如，在启动Zookeeper的container时设置了--name zookeeper，即alias为zookeeper；在启动Kafka的container时候，设置了--link zookeeper:zookeeper使其链接到Zookeeper的container，那么Docker将根据Zookeeper container的IP和正在监听的端口为Kafka的container自动生成一些环境变量。启动的时候，启动脚本将使用这些环境变量启动Kafka。这些环境变量名的格式为 _PORT__TCP。使用以下命令进入Kafka的container:

docker exec -it /bin/bash

进入容器后查看环境变量：

env | grep -E "ZOOKEEPER_PORT_[0-9]+_TCP="

Docker已根据Zookeeper container的IP和正在监听的port为Kafka container生成了与相关的环境变量：

Kafka的启动脚本就是使用这些环境变量启动Kafka的。

3.3 启动PostgreSQL

docker run -it --rm --name postgres -p 5432:5432 -e POSTGRES_USER=postgres -e POSTGRES_PASSWORD=postgres debezium/example-postgres

Debezium提供的PostgreSQL镜像在启动时会创建inventory schema及进销存管理系统需要的表，我们使用pgAdmin可以看到相关的表：

3.4 运行Debezium

docker run -it --rm --name connect -p 8083:8083 -e GROUP_ID=1 -e CONFIG_STORAGE_TOPIC=my_connect_configs -e OFFSET_STORAGE_TOPIC=my_connect_offsets -e STATUS_STORAGE_TOPIC=my_connect_statuses --link zookeeper:zookeeper --link kafka:kafka --link postgres:postgres debezium/connect:1.3

Debezium的container启动时需要传入如下环境变量：

• GROUP_ID: 分组ID，若需要启动多个Debezium的实例组成集群，那么它们的GROUP_ID必须被设置为一样（以后的文章会介绍原因）。
• CONFIG_STORAGE_TOPIC：下面需要调用Debezium提供的RestFUL API管理connector，connector的信息就是保存在CONFIG_STORAGE_TOPIC指定的kafka topic下。
• STATUS_STORAGE_TOPIC: connector的状态信息被保存在STATUS_STORAGE_TOPIC指定的kafka topic下。
• OFFSET_STORAGE_TOPIC: connector监控数据流的offset，若我们使用的是PostgreSQL Connector，那么OFFSET_STORAGE_TOPIC指定的topic中存的就是PostgreSQL的lsn。

3.5 创建Connector

经过上面4个步骤后，Debezium的测试环境就搭建好了，现在需要调用Debezium提供的API创建connector，使Debezium与数据库之间建立关系。我们把下面的payload POST到http://:8083/connectors/。

{
    "name": "inventory-connector",
    "config": {
	    "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
	    "database.hostname": "postgres",
	    "database.port": "5432",
	    "database.user": "postgres",
	    "database.password": "postgres",
	    "database.dbname": "postgres",
	    "database.server.name": "debezium",
	    "slot.name": "inventory_slot",
	    "table.include.list": "inventory.orders,inventory.products",
	    "publication.name": "dbz_inventory_connector",
	    "publication.autocreate.mode": "filtered",
	    "plugin.name": "pgoutput"
    }
}

下面为完成的curl命令:

curl -i -X POST -H "Content-Type:application/json" -H "Accept:application/json" :8083/connectors/ -d "{ \"name\": \"inventory-connector\", \"config\": { \"connector.class\": \"io.debezium.connector.postgresql.PostgresConnector\", \"database.hostname\": \"postgres\", \"database.port\": \"5432\", \"database.user\": \"postgres\", \"database.password\": \"postgres\", \"database.dbname\" : \"postgres\", \"database.server.name\": \"debezium\", \"slot.name\": \"inventory_slot\", \"table.include.list\": \"inventory.orders,inventory.products\", \"publication.name\": \"dbz_inventory_connector\",\"publication.autocreate.mode\": \"filtered\", \"plugin.name\": \"pgoutput\" } }"

payload有两个字段，name是connector的名字，config是connector的配置信息，下表为config中的字段的解释：

字段名称	描述
connector.class	connector的实现类，本文使用的是io.debezium.connector.postgresql.PostgresConnector，因为我们的数据库是PostgreSQL
database.hostname	数据库服务的IP或域名
database.port	数据库服务的端口
database.user	连接数据库的用户
database.password	连接数据库的密码
database.dbname	数据库名
database.server.name	每个被监控的表在Kafka都会对应一个topic，topic的命名规范是.. slot.name PostgreSQL的复制槽(Replication Slot)名称 table.include.list 如果设置了table.include.list，即在该list中的表才会被Debezium监控 plugin.name PostgreSQL服务端安装的解码插件名称，可以是decoderbufs, wal2json, wal2json_rds, wal2json_streaming, wal2json_rds_streaming 和 pgoutput。如果不指定该值，则默认使用decoderbufs。 本例子中使用了pgoutput，因为它是PostgreSQL 10+自带的解码器，而其他解码器都必须在PostgreSQL服务器安装插件。 publication.name PostgreSQL端的WAL发布(publication)名称，每个Connector都应该在PostgreSQL有自己对应的publication，如果不指定该参数，那么publication的名称为dbz_​publication publication.autocreate.mode 该值在plugin.name设置为pgoutput才会有效。有以下三个值： all_tables - debezium会检查publication是否存在，如果publication不存在，connector则使用脚本CREATE PUBLICATION FOR ALL TABLES创建publication，即该发布者会监控所有表的变更情况。 disabled - connector不会检查有无publication存在，如果publication不存在，则在创建connector会报错. filtered - 与all_tables不同的是，debezium会根据connector的配置中的table.include.list生成生成创建publication的脚本： CREATE PUBLICATION FOR TABLE 。例如，本例子中，“table.include.list"值为"inventory.orders,inventory.products”，则publication只会监控这两个表的变更情况。 下面结合本例子中connector的配置信息对几个重点属性进行进一步说明： publication.name、publication.autocreate.mode和table.include.list Debezium根据这三个参数在PostgreSQL中创建一个名为dbz_inventory_connector的publication，它会监控inventory.orders和inventory.products两个表的数据变更。我们可以在pgAdmin中执行下面的sql查询数据库中的publication: SELECT A.*, B.schemaname, B.tablename FROM pg_publication A INNER JOIN pg_publication_tables B ON A.pubname = B.pubname; slot.name Debeziumhui会在PostgreSQL创建一个名为inventory_slot的复制槽，本例中创建的connector需要通过该复制槽获取数据变更的信息。 可以通过以下sql查看复制槽的信息： select * from pg_replication_slots; 上图中，active_pid为78，即进程ID为78的wal_sender进程已经在使用该复制槽与Debezium交互了。 database.server.name和table.include.list 当connector获取到数据变更的信息后，会把该信息转化为统一的数据格式，并发布到Kafka的topic中。Debezium规定一个表对应一个topic，topic的名字的格式为 .. ，本例中的两个表的数据变更消息将保存到Kafka的topic debezium.inventory.orders 和debezium.inventory.products中。 3.6 测试 现在，可以开始测试Debezium的功能了，下面以products表为例演示Debezium捕获数据的效果： 订阅products表的topic 我们可以使用Kafka提供的kafka-console-consumer.sh 订阅products表的topic debezium.inventory.products: /kafka/bin/kafka-console-consumer.sh --bootstrap-server 172.17.0.3:9092 --topic debezium.inventory.products 插入新的产品信息 INSERT INTO inventory.products VALUES(110, 'football', 'Premier League', 1); Kafka的消费者命令行工具收到了来自Debezium发布的数据变更消息： 格式化后的消息体如下，其中schema字段在此先忽略，重点放payload.before，payload.after及payload.op字段上： { "schema": { ... }, "payload": { "before": null, "after": { "id": 110, "name": "football", "description": "Premier League", "weight": 1.0 }, "source": { "version": "1.3.0.Final", "connector": "postgresql", "name": "debezium", "ts_ms": 1606026352617, "snapshot": "false", "db": "postgres", "schema": "inventory", "table": "products", "txId": 603, "lsn": 34245336, "xmin": null }, "op": "c", "ts_ms": 1606026353058, "transaction": null } } 由于是insert操作，所以op为c (create)，before为null，after为我们插入的数据。 更新产品信息 UPDATE inventory.products SET name = 'soccer' WHERE id = 110; 格式化后的消息体如下: { "schema": { ... }, "payload": { "before": { "id": 110, "name": "football", "description": "Premier League", "weight": 1.0 }, "after": { "id": 110, "name": "soccer", "description": "Premier League", "weight": 1.0 }, "source": { "version": "1.3.0.Final", "connector": "postgresql", "name": "debezium", "ts_ms": 1606026918325, "snapshot": "false", "db": "postgres", "schema": "inventory", "table": "products", "txId": 604, "lsn": 34246872, "xmin": null }, "op": "u", "ts_ms": 1606026918592, "transaction": null } } 进行更新产品信息的操作后，consumer将收到一条op为u (update)的信息，before为修改前的数据，after为修改后的数据。从上面的消息，我们对比before和after，就可以发现，id为110的产品的名字从football更新为soccer。 删除产品信息 DELETE FROM inventory.products WHERE id = 110; 格式化后的消息体如下: { "schema": { ... }, "payload": { "before": { "id": 110, "name": "soccer", "description": "Premier League", "weight": 1.0 }, "after": null, "source": { "version": "1.3.0.Final", "connector": "postgresql", "name": "debezium", "ts_ms": 1606027203225, "snapshot": "false", "db": "postgres", "schema": "inventory", "table": "products", "txId": 605, "lsn": 34248240, "xmin": null }, "op": "d", "ts_ms": 1606027203663, "transaction": null } } 进行删除产品信息的操作后，consumer将收到一条op为d (delete)的信息，before为刪除前的数据，after为null。 至此，已经通过Debezium官方提供的Docker Image快速搭建了测试环境，并通过对inventory.products进行了insert, update和delete操作测试Debezium的运行效果了。但这只属走眼观花，要深度掌握Debezium仍需研究两个课题，PostgreSQL的流复制(Streaming Replication) 及Kafka Connect的运行原理。我会在之后再写文章说明相关概念，感谢大家。 你可能感兴趣的:(Debezium,postgresql,kafka,docker) kafka-关于ISR-概述 xiao-xiang kafka分布式 一.什么是ISR？Kafka中通常每个分区都有多个副本，其中一个副本被选举为Leader，其他副本为Follower。ISR是指与Leader副本保持同步的Follower副本集合。ISR机制的核心是确保数据在多个副本之间的一致性和可靠性，同时在Leader副本出现故障时能够快速进行故障转移，保证服务的可用性。二.ISR基本原理：1.数据同步过程：首先：生产者发送的消息首先会被leader副本接收 Llama.cpp 服务器安装指南（使用 Docker，GPU 专用） 田猿笔记 AI高级应用llama服务器dockerllama.cpp 前置条件在开始之前，请确保你的系统满足以下要求：操作系统：Ubuntu20.04/22.04（或支持Docker的Linux系统）。硬件：NVIDIAGPU（例如RTX4090）。内存：16GB+系统内存，GPU需12GB+显存（RTX4090有24GB）。存储：15GB+可用空间（用于源码、镜像和模型文件）。网络：需要互联网连接以下载源码和依赖。软件：已安装并运行Docker。已安装NVIDIA Python—kafka操作 蓝魔Y Python编程kafka 文档结构1、概念简介2、环境搭建3、操作实践1、概念简介2、环境搭建接口手册：https://kafka-python.readthedocs.io/en/master/Python操作kafka的模块为：kafka-python模块安装pipinstallkafka-python3、操作实践=============================================over==== python使用kafka原理详解_Python操作Kafka原理及使用详解 形象顧問Aking Python操作Kafka原理及使用详解一、什么是KafkaKafka是一个分布式流处理系统，流处理系统使它可以像消息队列一样publish或者subscribe消息，分布式提供了容错性，并发处理消息的机制二、Kafka的基本概念kafka运行在集群上，集群包含一个或多个服务器。kafka把消息存在topic中，每一条消息包含键值(key)，值(value)和时间戳(timestamp)。kafk Linux上用C++和GCC开发程序实现不同PostgreSQL实例下单个数据库的多个Schema之间的稳定高效的数据迁移 weixin_30777913 c++数据库postgresql 设计一个在Linux上运行的GCCC++程序，同时连接两个不同的PostgreSQL实例，两个实例中分别有一个数据库的多个Schema的表结构完全相同，复制一个实例中一个数据库的多个Schema里的所有表的数据到另一个实例中一个数据库的多个Schema里，使用以下快速高效的方法，加入异常处理，支持每隔固定时间重试一定次数，每张表的复制运行状态和记录条数，开始结束时间戳，运行时间，以及每个批次的运行 python调用kafka smile__su pythonpythonkafka 先启动hadoop，zookeeper，kafka启动命令hadoop启动命令sbin/start-all.shzookeeper启动命令./bin/zkServer.shstart每台机器都要启动kafka启动命令bin/kafka-server-start.shconfig/server.properties每台机器都要启动进行以下操作的前提是将hadoop，zookeeper，kafka安装 Spring Boot 集成 Kafka m0_74823471 面试学习路线阿里巴巴springbootkafkalinq 在现代软件开发中，分布式系统和微服务架构越来越受到关注。为了实现系统之间的异步通信和解耦，消息队列成为了一种重要的技术手段。Kafka作为一种高性能、分布式的消息队列系统，被广泛应用于各种场景。而SpringBoot作为一种流行的Java开发框架，提供了便捷的方式来构建应用程序。本文将介绍如何在SpringBoot项目中集成Kafka，包括Kafka的基本概念、SpringBoot集成Kafka的 Postgresql 查询数据库列表，表列表，字段列表 小毛驴850 postgresql数据库 --列出数据库列表SELECT*FROMpg_database;--查询表字段明细SELECTcol.table_schema,col.table_name,col.ordinal_position,col.column_name,col.data_type,col.character_maximum_length,col.numeric_precision,col.numeric_scale,c python操作kafka 您懂我意思吧 python开发kafka分布式python 一、参考阿里云的官方链接：使用PythonSDK接入Kafka收发消息_云消息队列Kafka版(Kafka)-阿里云帮助中心二、安装python环境三、添加python依赖库pipinstallconfluent-kafka==1.9.2四、新建一个setting.py文件配置信息kafka_setting={'sasl_plain_username':'XXX',#如果是默认接入点实例，请删除该 非关系型数据库和关系型数据库的区别 纠结哥_Shrek 数据库nosql 非关系型数据库（NoSQL）和关系型数据库（SQL）的主要区别体现在以下几个方面：数据模型：关系型数据库（SQL）：数据以表格形式存储，数据行和列组成，每个表都有固定的模式（Schema）。常见的关系型数据库有MySQL、PostgreSQL、Oracle等。非关系型数据库（NoSQL）：数据没有固定的模式，存储方式更加灵活。可以是键值对、文档、列族、图等形式。常见的非关系型数据库有MongoDB 【云原生】Docker搭建知识库文档协作平台Confluence 逆风飞翔的小叔 运维ConfluenceConfluence搭建Confluence使用Confluence搭建与使用Confluence使用详解 目录一、前言二、企业级知识库文档工具部署形式2.1开源工具平台2.1.1开源工具优点2.1.2开源工具缺点2.2私有化部署2.3混合部署三、如何选择合适的知识库平台工具3.1明确目标和需求3.2选择合适的知识库平台工具四、Confluence介绍4.2confluence特点4.3Confluence中的几个概念4.3.1空间（Space）4.3.2Dashboard4.3.3页面（Page）4. 镜像解决，向量数据库Milvus报错 zwzscnds dockermilvus MilvusMilvus是一款开源的向量数据库，具有高度的灵活性、稳定可靠性以及高速查询等特点。它支持针对TB级向量的增删改操作和近实时查询，适用于大规模向量数据的存储和检索。Milvus的官网：https://milvus.ioGithub上Milvus的链接：https://github.com/milvus-ioDockerDocker是一种容器化技术，它允许开发者将应用程序及其依赖项打包到 向量数据库milvus部署 一方有点方 milvus 官方文档MilvusvectordatabasedocumentationRunMilvusinDocker(Linux)|MilvusDocumentationMilvusvectordatabasedocumentation按部署比较简单，这里说一下遇到的问题一：DockerCompose方式部署1、镜像无法拉取,(docker.io被禁)只能获取以下镜像，image:quay.io/core 通过docker和gitlab实现项目自动打包部署 hxj.. 服务部署docker容器运维 Gitlab如何实现自动打包部署到docker集群？预备知识：开发模式转变：瀑布模型——》敏捷开发——》DevOpsDevOps：DevelopmentOperations的组合词CICD：持续集成（ContinuousIntegration），持续交付（ContinuousDelivery），持续部署（ContinuousDeployment）使用Gitlab-CI实现自动打包部署通过pipel nvidia docker, nvidia docker2, nvidia container toolkits区别 coco_1998_2 #CUDA#Dockerdocker容器 背景在docker容器中用GPU时，查阅了网上许多教程，教程之间概念模糊不清，相互矛盾，过时的教程和新的教程混杂在一起。主要原因是Nvidia为docker容器的支持发生了好几代变更，api发生了不少变化。下面来总结一下各代支持发展历程。省流版总结凡是使用了命令nvidiadocker或者在docker中引入了--runtime=nvidia参数的都是过时教程，最新方法只需要下载nvidia-co Xxl-job 3.0.0 切换postgresql数据库执行器无法注册 lbyxkey java 项目场景：提示：这里简述项目相关背景：例如：项目场景：示例:通过蓝牙芯片(HC-05)与手机APP通信，每隔5s传输一批传感器数据(不是很大)问题描述提示：这里描述项目中遇到的问题：例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据APP中接收数据代码：@Overridepublicvoidrun(){bytes=mmInStream.read(buffer);mHandler.ob 手把手教你用Docker部署Dify平台，打造可视化LLM应用环境 脱泥不tony 自然语言处理AI大模型LLM人工智能大语言模型语言模型Dify “Dify是一款开源的大语言模型(LLM)应用开发平台。它融合了后端即服务（BackendasService）和LLMOps的理念，使开发者可以快速搭建生产级的生成式AI应用。即使你是非技术人员，也能参与到AI应用的定义和数据运营过程中。Dify内置了构建LLM应用所需的关键技术栈，包括对数百个模型的支持、直观的Prompt编排界面、高质量的RAG引擎、稳健的Agent框架、灵活的流程编排，并同时 在Ubuntu系统上部署Dify（开源大语言模型应用开发平台） [shenhonglei] deepseekubuntu开源语言模型人工智能 在Ubuntu系统上部署Dify（开源大语言模型应用开发平台）环境准备Dify部署接入本地模型（如Ollama）安装Ollama运行模型并接入Dify环境准备系统要求Ubuntu20.04/22.04，建议CPU≥2核，内存≥4GB。安装Docker及DockerCompose：#安装Dockersudoaptupdatesudoaptinstallapt-transport-httpsca-ce 02DevOps基础环境准备 梁萌 DevOpsDevOpsCICDdocker 准备两台Linux的操作系统，最简单的方式就是在本机上使用虚拟机搭建两个操作系统（实际生产环境是两台服务器，虚拟机的方式用于学习使用）我搭建的两台服务器的ip分别是192.168.1.10、192.168.1.11192.168.1.10服务器用于安装docker、Gitlab、Jenkins。192.168.1.11服务器用于自动化应用发布和运行应用。设备拓扑图VMware下Centos7安装步 docker部署GPU环境 atom goper grudocker 使用Docker部署GPU环境涉及到几个关键步骤，以下是详细步骤：1.安装NVIDIA驱动程序确保你的系统已经安装了NVIDIAGPU驱动。这是使用GPU的前提条件。2.安装Docker和nvidia-container-toolkit首先，确保你已经安装了Docker。然后，安装NVIDIAContainerToolkit，它允许Docker容器访问宿主机上的GPU资源。对于Ubuntu系统，安 用Docker搭建Redis主从复制的集群 2401_84046635 程序员dockerrediseureka 同样再到redis-slave1容器的命令窗口里，通过dockerexec-itredis-slave1/bin/bash命令进入容器的命令行窗口，也通过redis-cli命令进入客户端命令行，也再通过inforeplication命令查看该Redis服务器的主从模式的状态，部分结果如下所示。1c:\work>dockerexec-itredis-slave1/bin/bash2root@2e32 Go Web 项目实战：构建 RESTful API、命令行工具及应用部署 一小路一 掌握Go语言：编程世界的进阶钥匙golang面试后端开发语言 GoWeb项目实战：构建RESTfulAPI、命令行工具及应用部署Go语言因其简洁高效、并发支持强大等特点，已经成为了后端开发的热门选择之一。本篇文章将通过实战案例带领你学习如何使用Go构建一个简单的RESTfulAPI，开发命令行工具，并展示如何使用Docker部署Go应用。通过这些实战内容，你可以更好地理解Go在实际开发中的应用。1.构建一个简单的RESTfulAPIRESTfulAPI是基于 在 CentOS 上安装 Docker 和 Docker Compose（可指定版本或安装最新版本） 用数据说话用数据决策 centosdockerlinux 文章目录一、安装Docker1.1安装最新版本的Docker1.2安装指定版本的Docker二、配置Docker镜像加速器（国内镜像源）三、安装DockerCompose3.1安装最新版本的DockerCompose3.2安装指定版本的DockerCompose四、卸载Docker和DockerCompose4.1卸载Docker4.2卸载DockerCompose五、常见问题与解决方案六、总结一 作为一名测试工程师如何学习Kubernetes(k8s)技能 网络安全小宇哥 学习kubernetes容器计算机网络web安全安全dubbo 前言Kubernetes(K8s)作为云原生时代的关键技术之一，对于运维工程师、开发工程师以及测试工程师来说，都是一门需要掌握的重要技术。作为一名软件测试工程师，学习Kubernetes是一个有助于提升自动化测试、容器化测试以及云原生应用测试能力的重要过程。以下是一个系统性的学习路径和建议：一、了解基础概念1）容器技术：学习Docker等容器技术的基础知识，了解容器的基本概念、镜像、容器运行与管理 k8s拉取harbor镜像部署 舌尖上的五香 kubernetes容器云原生 在k8s中创建凭证首先在节点docker登录harbor，登录成功之后会在$HOME/.docker/生成一个config.json文件，这个就是登录凭证，后面dockerpull就不需要再登录了。但是如果在k8s发布pod或者deploment时，这个凭证要在k8s中创建一个对应secret，然后挂载到pod或deployment中的yaml中，这样k8s才能下载镜像，否则提示权限验证错误。生成 周边生态 | WAL-G 与 DBeaver 新版增加 Cloudberry 支持 数据库 ApacheCloudberry™(Incubating)是Apache软件基金会孵化项目，由Greenplum和PostgreSQL衍生而来，作为领先的开源MPP数据库，可用于建设企业级数据仓库，并适用于大规模分析和AI/ML工作负载。GitHub:https://github.com/apache/cloudberryHi社区小伙伴们！我们很高兴与大家分享两个ApacheCloudberry开 Docker必掌握命令及参数Top10 二进制空间安全 基础知识学习docker 1.DockerRundockerrun命令是从Docker镜像启动容器的门户。它允许您指定镜像名称、选项和运行时配置。dockerrun-d-p8080:80nginx-d:在后台运行容器-p:将主机端口映射到容器端口2.DockerPull在运行容器之前,需要从仓库(如DockerHub)下载Docker镜像。dockerpull命令可以完成此操作。dockerpull命令会连接到Docker 容器基础_搭建Docker-Ce版本(入门篇) 琼歌 云服docker 一、介绍基于docker-ce的一些常见命令二、步骤1、确定服务器版本uname-r说明：保证系统内核版本>=3.102、移除旧版本sudoyumremovedockerdocker-commondocker-selinuxdocker-engine3、安装docker的依赖包sudoyuminstall-yyum-utilsdevice-mapper-persistent-datalvm24、下 minio多主机分布式部署 一剑丶飘香 云计算 Minio多主机分布式docker-compose集群部署_miniodocker-compose-CSDN博客 Docker、docker-compose常用命令 珍朱(珠)奶茶 dockerdocker容器运维 最近很慌的一件事是要在客户的服务器上使用docker容器来部署项目，当时接到这个任务时一脸懵逼，我是谁我在哪；对于还不会docker容器技术的我确实很懵逼，啥也不会；所以最终的结果就是一边学一边部署，从不会到会，到最终上线完成，心情就像是过山车一样，遇到各种问题。好了，废话不多说直接上，这里整理了我在部署时遇到的一些问题，以及在实际部署常用的命令。docker卸载旧版本yumremovedocke Java开发中，spring mvc 的线程怎么调用？ 小麦麦子 springmvc 今天逛知乎，看到最近很多人都在问spring mvc 的线程http://www.maiziedu.com/course/java/ 的启动问题，觉得挺有意思的，那哥们儿问的也听仔细，下面的回答也很详尽，分享出来，希望遇对遇到类似问题的Java开发程序猿有所帮助。 问题：     在用spring mvc架构的网站上，设一线程在虚拟机启动时运行，线程里有一全局 maven依赖范围 bitcarter maven 1.test 测试的时候才会依赖，编译和打包不依赖，如junit不被打包 2.compile 只有编译和打包时才会依赖 3.provided 编译和测试的时候依赖，打包不依赖，如：tomcat的一些公用jar包 4.runtime 运行时依赖，编译不依赖 5.默认compile 依赖范围compile是支持传递的，test不支持传递 1.传递的意思是项目A，引用 Jaxb org.xml.sax.saxparseexception : premature end of file darrenzhu xmlprematureJAXB 如果在使用JAXB把xml文件unmarshal成vo(XSD自动生成的vo)时碰到如下错误： org.xml.sax.saxparseexception : premature end of file 很有可能时你直接读取文件为inputstream，然后将inputstream作为构建unmarshal需要的source参数。InputSource inputSource = new In CSS Specificity 周凡杨 html权重Specificitycss   有时候对于页面元素设置了样式，可为什么页面的显示没有匹配上呢？ because specificity CSS 的选择符是有权重的，当不同的选择符的样式设置有冲突时，浏览器会采用权重高的选择符设置的样式。     规则：   HTML标签的权重是1 Class 的权重是10 Id 的权重是100 java与servlet g21121 servlet servlet 搞java web开发的人一定不会陌生，而且大家还会时常用到它。 下面是java官方网站上对servlet的介绍： java官网对于servlet的解释 写道 Java Servlet Technology Overview Servlets are the Java platform technology of choice for extending and enha eclipse中安装maven插件 510888780 eclipsemaven 1.首先去官网下载 Maven： http://www.apache.org/dyn/closer.cgi/maven/binaries/apache-maven-3.2.3-bin.tar.gz 下载完成之后将其解压， 我将解压后的文件夹：apache-maven-3.2.3， 并将它放在 D:\tools目录下， 即 maven 最终的路径是：D:\tools\apache-mave jpa@OneToOne关联关系 布衣凌宇 jpa Nruser里的pruserid关联到Pruser的主键id，实现对一个表的增删改，另一个表的数据随之增删改。 Nruser实体类 //***************************************************************** @Entity @Table(name="nruser") @DynamicInsert @Dynam 我的spring学习笔记11-Spring中关于声明式事务的配置 aijuans spring事务配置 这两天学到事务管理这一块，结合到之前的terasoluna框架，觉得书本上讲的还是简单阿。我就把我从书本上学到的再结合实际的项目以及网上看到的一些内容，对声明式事务管理做个整理吧。我看得Spring in Action第二版中只提到了用TransactionProxyFactoryBean和<tx:advice/>,定义注释驱动这三种，我承认后两种的内容很好，很强大。但是实际的项目当中 java 动态代理简单实现 antlove javahandlerproxydynamicservice dynamicproxy.service.HelloService package dynamicproxy.service; public interface HelloService { public void sayHello(); }   dynamicproxy.service.impl.HelloServiceImpl package dynamicp JDBC连接数据库 百合不是茶 JDBC编程JAVA操作oracle数据库          如果我们要想连接oracle公司的数据库，就要首先下载oralce公司的驱动程序，将这个驱动程序的jar包导入到我们工程中;   JDBC链接数据库的代码和固定写法;     1,加载oracle数据库的驱动;     &nb 单例模式中的多线程分析 bijian1013 javathread多线程java多线程 谈到单例模式，我们立马会想到饿汉式和懒汉式加载，所谓饿汉式就是在创建类时就创建好了实例，懒汉式在获取实例时才去创建实例，即延迟加载。 饿汉式： package com.bijian.study; public class Singleton { private Singleton() { } // 注意这是private 只供内部调用 private static javascript读取和修改原型特别需要注意原型的读写不具有对等性 bijian1013 JavaScriptprototype         对于从原型对象继承而来的成员，其读和写具有内在的不对等性。比如有一个对象A，假设它的原型对象是B，B的原型对象是null。如果我们需要读取A对象的name属性值，那么JS会优先在A中查找，如果找到了name属性那么就返回；如果A中没有name属性，那么就到原型B中查找name，如果找到了就返回；如果原型B中也没有 【持久化框架MyBatis3六】MyBatis3集成第三方DataSource bit1129 dataSource MyBatis内置了数据源的支持，如：   <environments default="development"> <environment id="development"> <transactionManager type="JDBC" /> <data 我程序中用到的urldecode和base64decode,MD5 bitcarter cMD5base64decodeurldecode 这里是base64decode和urldecode，Md5在附件中。因为我是在后台所以需要解码： string Base64Decode(const char* Data,int DataByte,int& OutByte) { //解码表 const char DecodeTable[] = { 0, 0, 0, 0, 0, 0 腾讯资深运维专家周小军：QQ与微信架构的惊天秘密 ronin47 社交领域一直是互联网创业的大热门，从PC到移动端，从OICQ、MSN到QQ。到了移动互联网时代，社交领域应用开始彻底爆发，直奔黄金期。腾讯在过去几年里，社交平台更是火到爆，QQ和微信坐拥几亿的粉丝，QQ空间和朋友圈各种刷屏，写心得，晒照片，秀视频，那么谁来为企鹅保驾护航呢？支撑QQ和微信海量数据背后的架构又有哪些惊天内幕呢？本期大讲堂的内容来自今年2月份ChinaUnix对腾讯社交网络运营服务中心 java-69-旋转数组的最小元素。把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。输入一个排好序的数组的一个旋转，输出旋转数组的最小元素 bylijinnan java public class MinOfShiftedArray { /** * Q69 旋转数组的最小元素 * 把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。输入一个排好序的数组的一个旋转，输出旋转数组的最小元素。 * 例如数组{3, 4, 5, 1, 2}为{1, 2, 3, 4, 5}的一个旋转，该数组的最小值为1。 */ publ 看博客，应该是有方向的 Cb123456 反省看博客 看博客，应该是有方向的:  我现在就复习以前的，在补补以前不会的，现在还不会的，同时完善完善项目，也看看别人的博客.  我刚突然想到的:  1.应该看计算机组成原理，数据结构，一些算法，还有关于android,java的。  2.对于我，也快大四了，看一些职业规划的，以及一些学习的经验，看看别人的工作总结的.    为什么要写 [开源与商业]做开源项目的人生活上一定要朴素,尽量减少对官方和商业体系的依赖 comsci 开源项目      为什么这样说呢？  因为科学和技术的发展有时候需要一个平缓和长期的积累过程，但是行政和商业体系本身充满各种不稳定性和不确定性，如果你希望长期从事某个科研项目，但是却又必须依赖于某种行政和商业体系，那其中的过程必定充满各种风险。。。       所以，为避免这种不确定性风险，我 一个 sql优化 （[精华] 一个查询优化的分析调整全过程！很值得一看 ） cwqcwqmax9 sql 见   http://www.itpub.net/forum.php?mod=viewthread&tid=239011 Web翻页优化实例 提交时间: 2004-6-18 15:37:49      回复    发消息  环境： Linux ve Hibernat and Ibatis dashuaifu Hibernateibatis Hibernate  VS  iBATIS 简介 Hibernate 是当前最流行的O/R mapping框架，当前版本是3.05。它出身于sf.net，现在已经成为Jboss的一部分了 iBATIS 是另外一种优秀的O/R mapping框架，当前版本是2.0。目前属于apache的一个子项目了。 相对Hibernate“O/R”而言，iBATIS 是一种“Sql Mappi 备份MYSQL脚本 dcj3sjt126com mysql #!/bin/sh # this shell to backup mysql #[email protected] (QQ:1413161683 DuChengJiu) _dbDir=/var/lib/mysql/ _today=`date +%w` _bakDir=/usr/backup/$_today [ ! -d $_bakDir ] && mkdir -p iOS第三方开源库的吐槽和备忘 dcj3sjt126com ios 转自 ibireme的博客   做iOS开发总会接触到一些第三方库，这里整理一下，做一些吐槽。   目前比较活跃的社区仍旧是Github，除此以外也有一些不错的库散落在Google Code、SourceForge等地方。由于Github社区太过主流，这里主要介绍一下Github里面流行的iOS库。   首先整理了一份 Github上排名靠 html wlwmanifest.xml eoems htmlxml 所谓优化wp_head()就是把从wp_head中移除不需要元素，同时也可以加快速度。 步骤： 加入到function.php remove_action('wp_head', 'wp_generator'); //wp-generator移除wordpress的版本号，本身blog的版本号没什么意义，但是如果让恶意玩家看到，可能会用官网公布的漏洞攻击blog remov 浅谈Java定时器发展 hacksin java并发timer定时器 java在jdk1.3中推出了定时器类Timer,而后在jdk1.5后由Dou Lea从新开发出了支持多线程的ScheduleThreadPoolExecutor，从后者的表现来看，可以考虑完全替代Timer了。 Timer与ScheduleThreadPoolExecutor对比： 1.    Timer始于jdk1.3,其原理是利用一个TimerTask数组当作队列 移动端页面侧边导航滑入效果 ini jqueryWebhtml5cssjavascirpt 效果体验：http://hovertree.com/texiao/mobile/2.htm可以使用移动设备浏览器查看效果。效果使用到jquery-2.1.4.min.js，该版本的jQuery库是用于支持HTML5的浏览器上，不再兼容IE8以前的浏览器，现在移动端浏览器一般都支持HTML5，所以使用该jQuery没问题。HTML文件代码： <!DOCTYPE html> <h AspectJ+Javasist记录日志 kane_xie aspectjjavasist 在项目中碰到这样一个需求，对一个服务类的每一个方法，在方法开始和结束的时候分别记录一条日志，内容包括方法名，参数名+参数值以及方法执行的时间。   @Override public String get(String key) { // long start = System.currentTimeMillis(); // System.out.println("Be redis学习笔记 MJC410621 redisNoSQL 1)nosql数据库主要由以下特点：非关系型的、分布式的、开源的、水平可扩展的。 1，处理超大量的数据 2，运行在便宜的PC服务器集群上， 3，击碎了性能瓶颈。 1)对数据高并发读写。 2)对海量数据的高效率存储和访问。 3)对数据的高扩展性和高可用性。 redis支持的类型： Sring 类型 set name lijie get name lijie set na 使用redis实现分布式锁 qifeifei 在多节点的系统中，如何实现分布式锁机制，其中用redis来实现是很好的方法之一，我们先来看一下jedis包中，有个类名BinaryJedis,它有个方法如下：   public Long setnx(final byte[] key, final byte[] value) { checkIsInMulti(); client.setnx(key, value); ret BI并非万能，中层业务管理报表要另辟蹊径 张老师的菜 大数据BI商业智能信息化        BI是商业智能的缩写，是可以帮助企业做出明智的业务经营决策的工具，其数据来源于各个业务系统，如ERP、CRM、SCM、进销存、HER、OA等。        BI系统不同于传统的管理信息系统，他号称是一个整体应用的解决方案，是融入管理思想的强大系统：有着系统整体的设计思想，支持对所有 安装rvm后出现rvm not a function 或者ruby -v后提示没安装ruby的问题 wudixiaotie function 1.在~/.bashrc最后加入 [[ -s "$HOME/.rvm/scripts/rvm" ]] && source "$HOME/.rvm/scripts/rvm"  2.重新启动terminal输入：   rvm use ruby-2.2.1 --default  把当前安装的ruby版本设为默 按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他 首页 - 关于我们 - 站内搜索 - Sitemap - 侵权投诉 版权所有 IT知识库 CopyRight © 2000-2050 E-COM-NET.COM , All Rights Reserved.