数据库日志

Maxwell+Kafka+ELK 实现数据库日志分析（一）

产品正式上线有一段时间了，用户量越来越多，对产品进行深入的商业分析这件事逐渐被提上了日程。此时，就需要搭建一套系统能够实现对数据的采集，处理和展示。系统架构做了一些调研，最后决定用ElasticStack架构，也就是Kafka+ELK的架构。架构实现参照文章【ES私房菜】系统运维数据分析平台架构系统主要架构如图所示：具体实现为：1.Maxwell链接数据库，读取Mysql数据库中的BinLog文件
Hi_Shook·2023-02-24 12:23

利用maxwell进行mysql数据库日志抓取写入kafka

前言因为业务需要，对mysql数据变更进行实时抓取。maxwell可以对mysql数据库的二进制日志bin-log进行提取，并生成JSON格式的消息，作为生产者将它发送到kafka。原理mysql数据库有自己的bin-log，mysql通过bin-log实现mysql数据库的主从备份此处maxwell将自己伪装为slave(从节点)，向MySQL主节点发送dump协议获取bin-log，然后max
封闭火车·2023-02-24 12:35

【数据库】MS SQL SERVER数据库日志压缩方法

我们用下面方法就可以压缩一下数据库日志。
相信神话2021·2023-02-01 02:22

Seata 环境搭建

同时事务回滚，需要数据库日志记录
小码code·2023-01-26 05:42

SQL Server 事务日志已满，3种解决方案

我们安装数据库后，系统会默认把数据库文件和数据库日志文件最大设为500MB，当然你中途可以更改这个限制。当日志文件接近最大值时，继续使用数据库会提示：事务日志已满。
小码叔·2023-01-16 09:52

spring boot集成canal实现数据库同步，且mysql主库宕机canal自动切换到从库

从2010年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出
zhoukaishun·2022-12-24 07:24

Canal介绍

从2010年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量订阅和消费的业务包括数据库镜
Dennis985·2022-12-15 11:59

MyBatis学习笔记（系统学习）

回顾JDBC二、正式使用MyBatis的准备工作1.需要在项目中添加JAR包2.相关的配置文件的准备工作三、第一个MyBatis程序1.数据库的设计2.创建主配置文件3.创建映射文件4.MyBatis中数据库日志
DreamReverse·2022-12-11 19:03

MySQL数据库日志详解

MYSQL数据类型详解说明错误日志当数据库启动运行或停止时产生该日志。普通查询日志客户端连接数据库执行语句时产生该日志。二进制日志当数据库发生改变时产生该日志。中继日志从库收到主库更新时产生该日志。慢查询日志SQL在数据库查询超过指定时间而产生日志。DDL日志执行DDL语句操作原数据时产生该日志。默认情况下，以上所有的日志都处于非激活状态（Linux环境）。当激活日志时，所有的日志都默认配置在数据
来之天空的驴·2022-12-11 07:58

Canal 实战 | 第一篇：SpringBoot 整合 Canal + RabbitMQ 实现监听 MySQL 数据库同步更新 Redis 缓存

从2010年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量订阅和消费的业务包括数据库镜
有来技术团队·2022-12-01 11:51

项目上线出bug怎么处理

bug影响的严重程度二.解决线上问题bug影响范围比较小时一般都会通过修复bug的方式来解决，方法如下：1.了解bug出现的场景，业务操作，努力复现bug2.开发人员结合bug出现时的各种日志（系统日志、数据库日志
亚索不会吹风·2022-11-27 08:40

Sql Server 压缩数据库日志文件的方法

SqlServer日志_log.ldf文件太大，数据库文件有500g,日志文件也达到了500g,占用磁盘空间过大，且可能影响程序性能，需要压缩日志文件。压缩日志脚本里要填的名字从要压缩的数据库属性里查看脚本文件use[master]goalterdatabase[dbname]setrecoverysimplewithno_waitgoalterdatabase[dbname]setrecover
·2022-11-25 18:19

mysql数据库日志

1、日志类型mysql日志在mysql事务章有事务日志相关的记录。初次之外，MySQL有不同类型的日志文件，用来存储不同类型的日志，分为二进制日志、错误日志通用查询日志和查询日志，这也是常用的4种。MySQL8又新增两种支持的日志：中继日志和数据定义语句日志。使用这些日志文件，可以查看MySQL内部发生的事情。除此之位慢查询日志：记录所有执行时间超过long_query_time的所有查询，方便我
程序三两行·2022-11-22 04:19

MySQL高级日志及备份篇

文章目录十七、其他数据库日志1.MySQL支持的日志a.日志类型b.日志的弊端2.慢查询日志(slowquerylog)a.开启慢查询日志参数1.开启slow_query_log2.修改long_query_time
AbleLynn·2022-11-19 04:32

SpringBoot+AOP+自定义注解，优雅实现日志记录

文章目录前言准备阶段1、数据库日志表2、自定义注解编写3、AOP切面类编写4、测试5、结束语前言首先我们看下传统记录日志的方式是什么样的：@DeleteMapping("/deleteUserById/
小学生波波·2022-11-04 07:52

Linux系统/sys/hypervisor/uuid阻塞，导致数据库进程异常停止的问题

数据库远程登录失败，检查服务器数据库进程发现数据库进程掉了，查看数据库日志发现如下报错：ThuNov2510:32:542010MemoryNotification:LibraryCacheObjectloadedintoSGAHeapsize3567Kexceedsnotificationthreshold
weixin_34162228·2022-11-03 15:38

清除SQL Server数据库日志(ldf文件)的方法汇总

解决方案2-收缩数据库日志文件（最靠谱方案！）解决方案3-采用SQL脚本删除。
·2022-10-17 16:42

mysql 压缩日志文件_MSSQL数据库日志文件压缩方法--windows独享主机MSSQL数据库日志文件过大的解决方法--主机常见问题 -- 帮助中心 -- 思为网络...

很多独立服务器客户反馈数据库日志文件过大，严重浪费磁盘资源，数据库实际大小为600M,日志文件实际大小为33M,但MSSQL日志文件占用空间为2.8G!!!
绫小莉·2022-08-29 12:34

MySQL数据库高级篇 —— MySQL数据库

MySQL数据库高级篇一、索引高级二、数据库日志1.MySQL物理文件的组成1.1日志文件1.2数据文件1.3其他文件三、存储引擎1.1InnoDB存储引擎1.2MyISAM存储引擎InnoDB和MyISAM
YING—country·2022-08-29 12:02

第17章_其他数据库日志

第17章_其他数据库日志文章目录1.MySQL支持的日志1.1日志类型1.2日志的弊端2.慢查询日志(slowquerylog)3.通用查询日志(generalquerylog)3.1问题场景3.2查看当前状态
路人甲_passerby·2022-08-15 15:23

MySQL 高级篇 -- 数据库日志

文章目录一、简介二、通用查询日志三、错误日志四、二进制日志（binlog）4.1简介4.2查看日志4.2.1showbinlogevents4.2.2mysqlbinlog4.3使用日志恢复数据4.4写入机制4.5两阶段提交4.6GTID五、中继日志（relaylog）六、日志管理6.1日志清理6.2日志滚动一、简介日志类型说明慢查询日志记录所有执行时间超过long_query_time的所有查询
L小Ray想有腮·2022-08-09 19:12

Redis与MySQL数据双写一致性问题

从2010年开始，阿里巴巴逐步尝试采用解析数据库日志获取增量变更进行同步，由
奈&何.·2022-08-08 10:54

Docker安装canal、mysql进行简单测试与实现redis和mysql缓存一致性

从2010年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。Canal是用Java开发的基于数据库增量日志解
掉发的小王·2022-07-28 21:36

MySQL——数据库日志

MySQL——数据库日志对于线上数据库应用系统，突然遭遇数据库宕机怎么办?在这种情况下，定位宕机的原因就非常关键。我们可以查看数据库的错误日志。
艳梓·2022-07-26 13:16

DM数据库DBMS_LOGMNR使用方法

DBMS_LOGMNR是达梦数据库日志挖掘功能使用的系统包，它可以方便的对数据库归档日志进行挖掘，重构出DDL、DML和DCL等操作，方便审计及跟踪数据库的操作，并通过获取的信息进行更深入的分析。
宋小荣·2022-07-22 11:16

Mongdb 基础学习、多种集群方式笔记

MongoDB概念3.数据库基本操作4.CRUD操作1.增2.删3.改4.查5.聚合操作6.Mongdb集群1.主从复制(Master-Slaver)2.副本集(RelicaSet)1.创建副本集的存储文件,和数据库日志文件
Crazy_August·2022-07-20 13:18

大数据之路：数据同步

从业务系统同步数据到数据仓库的数据同步总的说来分为三种，直连同步(侵入式)，数据文件同步，数据库日志解析。直连同步：通过JDBC方式直接连接源系统抽取数据，当数据量大时容易对数
嗯嗲和滴·2022-07-08 14:17

大数据之路----3.数据同步

文章目录数据来源数据同步直连同步数据文件同步数据库日志解析同步数据仓库同步方式批量数据同步实时数据同步数据同步遇到的问题和解决办法分库分表的处理增量与全量同步的合并数据漂移的处理数据来源关系型数据库的结构化数据
noworldling·2022-07-08 14:17

Docker安装canal、mysql进行简单测试与实现redis和mysql缓存一致性

从2010年开始，业务逐步尝试数据库日志
小王写博客·2022-07-08 09:00

MySQL数据库 日志管理、备份与恢复

MySQL数据库日志管理、备份与恢复一、MySQL日志管理MySQL的默认日志保存位置为/usr/local/mysql/data日志开启方式有两种：通过配置文件或者是通过命令通过命令修改开启的日志是临时的
你值得被疼爱丶·2022-06-21 22:11

MySQL数据库的基本管理操作

目录引言一、MySQL基本概念1.1库和表1.2常用的数据类型1.3MySQL数据库日志二、查看数据库2.1查看当前服务器中的数据库2.1.1进入数据库2.1.2查看数据库信息2.2查看数据库中包含的表
醉凡尘￠ World1y·2022-06-16 17:05

MySQL数据库日志管理及数据库的备份和还原

目录1.MySQL日志管理1.1配置文件日志配置项2.数据库备份及恢复2.1完全备份2.1.1物理冷备份2.1.2mysqldump备份2.2增量备份2.2.1备份方法2.2.2查看方法2.2.3备份恢复3.总结1.MySQL日志管理MySQL的日志默认存放路径/usr/local/mysql/data我们管理MySQL日志的方法，一般是通过修改/etc/my.cnf这个配置文件来进行的，以下的所
kid00013·2022-06-02 11:36

聊聊云原生数据库的一致性

为什么Consensus-basedreplication不是分布式数据库日志复制的银弹？背景近期在跟团队同学聊天的过程中，听到了这样一句观点：“我们团队目前的技术路线是不是错了？
·2022-05-20 13:35

canal使用入门

从2010年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量订阅和消费的业务包括数据库镜像数据库实
Mast Sail·2022-02-05 06:31

大数据之路——数据同步

三、数据技术篇——数据同步3.1数据同步基础@3.1.1直连同步3.1.2数据文件同步3.1.3数据库日志解析同步3.2数据仓库同步方式3.2.1批量数据同步3.2.2实时数据同步3.3同步遇到的问题3.3.1
jialun0116·2021-11-11 10:26

实时数据引擎系列(二): 批流一体的数据

前言在上文(https://segmentfault.com/a/11...)我们提到了通过数据库日志获取新鲜的数据,在对数据的认识里,TAPDATA引擎的设计和一些其他的流框架不太一样,他的对象抽象里没有批数据和流数据的区分
·2021-08-24 22:54

02 日志概念

也就是非常重要的两个数据库日志：redolog（重做日志）binlog（归档日志）先看redolog，是InnoDB独有的，MySQL有个问题，如果每一次的更新操作都需要写进磁盘，然后磁盘也要找到对应的那条记录
small新·2021-06-10 18:19

mongoDB的简单配置

数据库配置安装mongoDB，不在赘述，不明白的goole创建数据库日志文件夹:在终端输入：sudomkdir-p/data/db给予数据库日志文件夹操作权限在终端输入：sudochown-R用户名/data
小白猿·2021-05-11 13:09

sqlserver 实现收缩数据库日志操作

说明：收缩日志的原因有很多种，有些是考虑空间不足，有些则是应用程序限制导致的。--将“恢复模式”设置为“简单”ALTERDATABASExszzxt_testSETRECOVERYSIMPLEGO--收缩日志文件大小到10MDBCCSHRINKFILE(N'xszzxt_test_log',10,TRUNCATEONLY)GO--将“恢复模式”设置为“完整”ALTERDATABASExszzxt_
·2021-01-14 11:21

oracle数据库日志中报错：checkpoint not completed 导致高发时段数据库宕机解决方式

近期在自己搭设的环境中测试了一下，发现每一周都会有数据库宕机的情况出现，查看日志频繁出现：checkpointnotcompleted提示。度了一下网上的分享，发现是数据库出现脏数据块写入落库时，日志分组无法做及时切换导致的。可以分别通过以下语句做查看：①查看制定日期后每一天的日志分组切换次数，查看高峰时段的切换次数，根据切换次数对日志分组做调整。SELECTTO_CHAR(first_time,
小叨奇迹·2021-01-12 15:04

使用Streamsets将Oracle数据实时同步到MySQL中

11.2.0.1.0MySQL：8.0.22前期准备：1、打开Oracle的logminera.在SQLShell中，以具有DBA的用户身份登录数据库：sqlplus/nolog;conn/assysdba;b.检查数据库日志记录模式
青山孤客·2020-12-30 22:47

如何利用JAVA正则表达式轻松替换JSON中的大字段

（一）背景在软件开发工作中我们经常用JSON来传输数据，根据业务需要不免会在JSON数据中传输比较大的数据，有时传输一个图片数据会达到几百K或者几M，而这些大字段数据在记录日志时，不论是文件日志还是数据库日志
·2020-12-08 14:37

检测数据库日志的切换频率及归档文件大小的sql

DBA的日常功能SQL之一，绝对原创。查看数据库的日志切换频率及生成速度是DBA的日常工作之一，通过观察相关信息可以调整onlineredo的大小及切换频率。非归档模式主要是查询v$log_history归档模式主要是查询v$archived_log，也可以查询v$log_history，只是v$archived_log.completion_time和v$log_history.first_ti
数据库人生·2020-09-17 15:44

[故障&答疑] 数据库日志空间满-- SQL0964C错误

数据库运行时如果报SQL0964C的错误，那么一般和数据库日志有关，先看图15-3所示的案例。
weixin_30399797·2020-09-17 13:02

数据库日志已满的解决办法

可将数据库日志记录设置从完全记录变更到简单记录。
qq_38997494·2020-09-17 12:40

数据库日志已满，如何释放日志空间

昨天维护YH的时候，遇到了上面的问题。YH到了现在这个阶段，数据量比较大了，上面的问题应该是一种比较常见的问题。在网上查了查，最后问题解决了，拿出来和大家分享一下：首先，清空日志DUMPTRANSACTION库名WITHNO_LOG接着，截断事务日志BACKUPLOG数据库名WITHNO_LOG然后是收缩数据库文件企业管理器–右键你要压缩的数据库–所有任务–收缩数据库–收缩文件，如下图：选择日志文
iteye_3224·2020-09-17 11:40

数据库日志文件已满或过大的解决办法。

今天早上刚上班，碰见上述情况，上服务器-查询分析器-登录数据库用户名和密码，进入我的想法是想缩小数据库日志文件大小SETNOCOUNTONDECLARE@LogicalFileNamesysname,@
fjzfhcfjy·2020-09-17 11:02

ORA-19909:当进行不完全恢复之后使用open database resetlogs

今天执行完全恢复的时候报错：SQL>archiveloglist数据库日志模式存档模式自动存档启用存档终点D:\oracle\product\10.2.0\oradata\arch最早的联机日志序列5下一个存档日志序列
shenghuiping2001·2020-09-17 05:34

OGG-00868 OGG抽取进程停止异常

检查进程状态（infoall），发现ext001状态为：STOPPED检查进程日志:viewreportext001，提示如下错误：问题分析：出现上述问题，可能有以下几个原因1、数据库未进行过全量备份;2、数据库日志被手工清空
huryer·2020-09-17 04:29

MAX_DUMP_FILE_SIZE参数：限制trace files及alert file大小

有一AIX平台上的oracle产生一个大小为10G+的数据库日志跟踪文件，以致ORACLE安装目录充满，新的用户请求被拒绝，影响服务。反思：加强监控手段。
cuiding8243·2020-09-17 04:53
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他