HBase日志系统

唯品会 Dragonfly 日志系统的 Elasticsearch 实践

唯品会日志系统，承接了公司上千个应用的日志，提供了日志快速查询、统计、告警等基础服务，是保障公司技术体系正常运行必不可缺的重要系统之一。
王卫东·2024-02-20 18:08

SpringCloud微服务实战——搭建企业级开发框架（三十七）：微服务日志系统设计与实现

  针对业务开发人员通常面对的业务需求，我们将日志分为操作（请求）日志和系统运行日志，操作（请求）日志可以让管理员或者运营人员方便简单的在系统界面中查询追踪用户具体做了哪些操作，便于分析统计用户行为；系统运行日志又分为不同的级别（Log4j2）:OFF>FATAL>ERROR>WARN>INFO>DEBUG>TRACE>ALL，这些日志级别由开发人员在代码编写时确定，并编写在代码中，系统运行时记录
·2024-02-20 14:48

springboot集成Elk做日志系统（一) 环境搭建

环境搭建一、ELK介绍**Elasticsearch、Logstash、Kibana作用**二、本次采用实现日志收集的方案**logback产生日志->logstash->elasticsearch->kibana**三、ELK的安装[windows安装ELK(Elasticsearch,Logstash,kibana)](https://www.cnblogs.com/startlearn/p/
陌然回首7·2024-02-20 14:39

SpringBoot利用ELK实现日志收集

SpringBoot利用ELK实现日志收集ELK是Elasticsearch、Logstash、Kibana他们三个组合起来可以搭建日志系统，本文主要记录使用ELK收集SoringBoot应用产生的日志
_zxue·2024-02-20 14:04

HBase 进阶

参考来源:B站尚硅谷HBase2.x目录Master架构RegionServer架构写流程MemStoreFlush读流程HFile结构读流程合并读取数据优化StoreFileCompactionRegionSplit
魅美·2024-02-20 08:11

HbaseAPI

hbaseAPI方法：API本质就是调用对象的方法去实现的。ddl的概念是对表的操作和对外面的大的操作，ddl都是去调用admin对象的方法实现的admin对象通过连接.getAdmin获取。
astudybear·2024-02-20 08:40

HBase API

参考来源:B站尚硅谷HBase2.x环境准备新建Maven项目后在pom.xml中添加依赖：注意：会报错javax.el包不存在，是一个测试用的依赖，不影响使用org.apache.hbasehbase-server2.4.11org.glassfishjavax.elorg.glassfishjavax.el3.0.1
魅美·2024-02-20 08:37

Hbase - 自定义Rowkey规则

>在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制`TableInputFormat`来实现我们的需求了，我们还可以采用Flink的`DataSet`的方式读取,另外下面还有`Spark`读取的例子。##使用教程Md5Util.java```importorg.apache.commons.codec.binary.Hex;importjav
kikiki5·2024-02-20 07:17

HBase——基础概念介绍

一、初识HBaseHBase是一个面向列式存储的分布式数据库，其设计思想来源于Google的BigTable论文。HBase底层存储基于HDFS实现，集群的管理基于ZooKeeper实现。
zhanglf1016·2024-02-20 04:43

三分钟学会《门面模式》

今天来讲解门面(外观)模式~上一次分享了一篇好文：《为什么阿里巴巴禁止工程师直接使用日志系统(Log4j、Logback)中的API》【强制】应用中不可直接使用日志系统（Log4j、Logback
Java3y·2024-02-19 20:16

MySQL学习日记（九）-备份

对于MySQL来说，创建数据副本的常用方法有三种创建数据副本的方法1、数据备份：由MySQL日志系统前一篇博
garvin·2024-02-19 17:53

运用多设计模式的同步&异步滚动日志系统

还有使用样例代码和扩展样例代码（test.cc以及写的很详细了，后续补充）以及性能测试代码test.cc//#include"func.hpp"//#include"log_level.hpp"//#include"my_format.hpp"//#include"my_message.hpp"//#include"log_sink.hpp"//#include"lrt_logger.hpp"//
阿卡好可爱·2024-02-19 12:24

Linux/Ubuntu16.04安装kafka

最近开发的项目计划使用Kafka来实现日志系统，开发的过程中在自己的服务器上搭建了Kafka的开发环境，由于我的服务器是Ubuntu16.04.7LTS(GNU/Linux5.6.7-050607-genericx86
前端技术小咖·2024-02-19 11:13

从kafka如何保证数据一致性看通常数据一致性设计

有些组件的数据不一定需要高度保证数据的一致性，比如日志系统。本节从从kafka如何保证数据一致性看通常数据一致性设计。二、kafka那些环节存在
奋力向前123·2024-02-19 10:22

Hbase - 自定义Rowkey规则

在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取,另外下面还有Spark读取的例子。使用教程Md5Util.javaimportorg.apache.commons.codec.binary.Hex;importjava.security.M
kikiki2·2024-02-15 06:39

大数据开发之Sqoop详细介绍

用户可以在Sqoop的帮助下，轻松地把关系型数据库的数据导入到Hadoop与其相关的系统(如HBase和Hive)中；同时也可以把数据从Hadoop系统里抽取并导出到关系型数据库里。
只是甲·2024-02-14 01:17

Ubuntu16.04下HBase安装笔记

基础准备JDKHadoopSSHServer下载HBasehttps://hbase.apache.org/tar-zxvfhbase-1.4.2-bin.tar.gzsudomvhbase-1.4.2
bluexiii·2024-02-13 22:48

ELK 日志采集框架（四）：Kafka安装与配置

192.168.51.4zookeeper3.4.10IP:192.168.51.42介绍Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统
小P聊技术·2024-02-13 19:17

HBase过滤器

HBase过滤器Get和Scan都支持过滤器，这些类提供的接口不能对行键、列名和列值进行过滤，但过滤器可以实现。过滤器的接口为Filter。
橙汁啤酒厂·2024-02-13 16:28

HBase Shell操作命令

一、general操作1.1获取帮助#引号不能省略help'status'1.2查询服务器状态1.statushbase(main):002:0>status1activemaster,0backupmasters
橙汁啤酒厂·2024-02-13 16:58

日志问题总结

监控系统运行状况：全面有效的日志系统有助于建立完善的应用监控体系。通过应用监控体系，可以实时监控系统运行状况，及时预警，避免故障发送。系统运行状况是指服务器
小强聊it·2024-02-13 15:10

学习笔记12-zookeeper

提供一种集中式信息存储服务特点:数据存在内存中,类似文件系统的树形结构(文件和目录),高吞吐和低延迟,集群高可靠作用:基于zookeeper可以实现分布式统一配置中心,服务注册中心,分布式锁等功能1.zookeeper的应用案例Hbase
在知识的海洋里遨游·2024-02-12 19:09

Hbase - 迁移数据[导出,导入]

>有没有这样一样情况，把一个集群中的某个表导到另一个群集中，或者hbase的表结构发生了更改，但是数据还要，比如预分区没做，导致某台RegionServer很吃紧，Hbase的导出导出都可以很快的完成这些操作
kikiki5·2024-02-12 16:55

Hbase - 自定义Rowkey规则

在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取,另外下面还有Spark读取的例子。使用教程Md5Util.javaimportorg.apache.commons.codec.binary.Hex;importjava.security.M
大猪大猪·2024-02-12 15:45

zk01

zookeeper基础ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。提供的功能包括：命名服务、配置管理、集群管理、分布式锁、队列管理。
矮肥·2024-02-12 11:41

Python爬虫之非关系型数据库存储#5

列存储数据库：代表有Cassandra、HBase和Riak等。文档型数据库：代表有CouchDB和MongoDB等。图形数据库：
仲君Johnny·2024-02-12 07:59

-bash: export: =‘: 不是有效的标识符 -bash: export:

问题：Xshell连接linux时出现以下错误：Lastlogin:SunFeb1114:45:022024-bash:export:`=':不是有效的标识符-bash:export:`/opt/hbase
橙汁啤酒厂·2024-02-12 05:24

在运行hbase操作时出现错误：ERROR: Can‘t get master address from ZooKeeper； znode data == null

在运行hbase操作时出现错误：ERROR:Can’tgetmasteraddressfromZooKeeper;znodedata==null，可能是ZooKeeper不稳定导致的hbase(main
橙汁啤酒厂·2024-02-12 05:54

HBase集群部署

1.HBase安装相关版本：Hadoop：2.7.3hbase：1.3.1hbase相关版本下载安装HBase需要安装hbase-1.3.1-bin.tar.gz软件包，下载并解压到/opt目录下2.HBase
橙汁啤酒厂·2024-02-12 05:23

clickhouse 21.x生产实践优化

clickhouse1时间字段类型建表时能用数值型或日期时间型表示的字段就不要用字符串，全String类型在以Hive(hbase)为中心的数仓建设中常见，但ClickHouse环境不应受此影响。
架构师老狼·2024-02-11 18:28

HBase知识点总结

一、HBase基础HBase是一种建立在Hadoop文件系统之上的分布式、可扩展、支持海量数据存储的NoSQL数据库。HBase是BigTable的开源Java版本。
·2024-02-11 17:17

Hbase - 迁移数据[导出,导入]

有没有这样一样情况，把一个集群中的某个表导到另一个群集中，或者hbase的表结构发生了更改，但是数据还要，比如预分区没做，导致某台RegionServer很吃紧，Hbase的导出导出都可以很快的完成这些操作
kikiki2·2024-02-11 14:23

Kafka概念和基本架构

1、Kafka介绍Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多生产者、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx
悠然予夏·2024-02-11 12:38

离线数仓（一）【数仓概念、需求架构】

前言今天开始学习数仓的内容，之前花费一年半的时间已经学完了Hadoop、Hive、Zookeeper、Spark、HBase、Flume、Sqoop、Kafka、Flink等基础组件。
让线程再跑一会·2024-02-11 11:58

Hbase学习笔记（三）-hbase shell 常用命令

Hbaseshell常用命令名称命令表达式创建表create‘表名称’,‘列名称1’,‘列名称2’,‘列名称N’添加记录put‘表名称’,‘行名称’,‘列名称:’,‘值’查看记录get‘表名称’,‘行名称
好好学习，天天coding·2024-02-11 10:48

c# 访问hbase_【C#】透过Thrift操作HBase系列

C#调用C++的接口3.使用开源的库直接使用C#调用Java，详细信息请点击4.使用IKVM实现C#调用Java，参考：http://www.ikvm.net/之所以说这些，是因为自己这边客户端要调用HBase
weixin_39946500·2024-02-11 08:18

列式储存和横向储存的优缺点

列式储存和横向储存的优缺点列式储存和横向储存的优缺点列式储存的优点：列式储存的缺点：横向储存的优点：横向储存的缺点：列式存储和横向存储应用的软件列式存储1.HBase：2.ClickHouse：3.Druid
不可大东·2024-02-11 08:46

Hbase 性能问题排查思路

一般性能问题（查询、插入数据慢）可从以下几个方面进行初步排查：①对应表是否正常，hbasehbck检查，是否存在RIT或inconsitencies，如有用dstools修复。
zxfBdd·2024-02-11 06:48

生成目录结构（tree）

输入treehelp可查看tree项目可操作命令，具体命令结构如下：$tree--helpusage:tree[-adfghilnpqrstuvxACDFNS][-HbaseHREF][-Ttitle]
刘_小_二·2024-02-10 23:44

C#系列-C#访问hadoop API（9）

在C#中访问Hadoop通常涉及到与Hadoop分布式文件系统（HDFS）进行交互，以及可能执行MapReduce作业或其他Hadoop生态系统组件（如HBase或Hive）。
管理大亨·2024-02-10 22:27

一文带你安装64位Mysql5.7.31zip

下面是my.ini文件内容，复制即可,#为注释，可以删掉[mysqld]#portport=3306#前面不用更改，只需更改下面两个路径#setbasedirtoyourinstallationpathbasedir
一树樱花白·2024-02-10 07:39

Java日志--slf4j-log4j12

按照官方的说法，SLF4J是一个用于日志系统的简单Facade，允许最终用户在部署其应用时使用其所希望的日志系统。
weixin_33751566·2024-02-10 06:33

SLF4J简介与使用(整合log4j)

SLF4J提供了统一的记录日志的接口，对不同日志系统的具体实现进行了抽象化，只要按照其提供的方法记录即可，最终日
weixin_33778778·2024-02-10 06:33

1.Slf4j使用log4j的配置参数、配置sl4j/log4j输出到不同的文件、案例

blog.csdn.net/yx0628/article/details/83214387slf4j，即简单日志门面（SimpleLoggingFacadeforJava），不是具体的日志解决方案，它只服务于各种各样的日志系统
zxfBdd·2024-02-10 06:03

Hbase BulkLoad用法

MR考查了Hbase的各种MR，没有发现哪一个是能实现的，如果有请通知我，我给他发红包。所以我们只能自己来写一个MR了，编写一个Hbase的MR，官方文档上也有相应的例子。
kikiki1·2024-02-10 04:33

Hbase安装配置（含分布式ZooKeeper）

环境说明系统为CentOS6.0192.168.255.128=》server01192.168.255.130=》server02192.168.255.131=》server03/etc/hosts文件中有这些IP和域名的映射关系配置server01在hadoop用户下可以通过密钥无需密码访问server02和server031.安装配置zookeeper在三台服务器上执行以下同样的操作a.下
聊码·2024-02-10 04:17

静态时序分析：静态时序分析的原理及其两种模式PBA、GBA

spm=1001.2014.3001.5482静态时序分析有两种模式：PBA(PathBasedAnalysis)和GBA(GraphBasedAnalysis)，PBA是基于路径的分析模式而GBA则是基于图的分析模式
日晨难再·2024-02-10 02:17

京东面试总结

总结：HDFS基本命令总结Hive基本命令总结HBase基本命令总结Hive优化问题？HBase优化问题？
小小少年Boy·2024-02-09 21:45

C语言 服务器编程-日志系统

日志系统的实现引言最简单的日志类demo按天日志分类和超行日志分类日志信息分级同步和异步两种写入方式引言日志系统是通过文件来记录项目的调试信息，运行状态，访问记录，产生的警告和错误的一个系统，是项目中非常重要的一部分
WE xiye·2024-02-09 15:10

精通Python爬虫：掌握日志配置

合理地配置日志系统是提高爬虫可维护性的关键。本篇技术博客将详细介绍如何在Python爬虫中配置日志系统，并提供详细的代码案例，帮助你构建一个强大、灵活的日志环境。日志配置概
web安全工具库·2024-02-09 09:08
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他