E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
ELK-beats日志采集
大数据
日志采集
框架----Flume
Flume
日志采集
框架Flume介绍概述版本运行环境需求Flume架构Flume运行机制Flume采集系统结构图多级agent流动数据流合并(扇入流)数据流复用(扇出流)Flume介绍概述Flume是一个分布式
午托饭
·
2020-07-14 19:23
大数据-Flume
dubbox 2.8.4的配置和使用
dubbox的服务监控和
日志采集
:http://blog.csdn.net/u011282930/article/details/52786414zookeeper的安装1、准备工作-下载zookeeper
江离
·
2020-07-14 02:03
dubbo
zookeeper
Beats轻量级
日志采集
工具
Beats平台集合了多种单一用途数据采集器。这些采集器安装后可用作轻量型代理,从成百上千或成千上万台机器向Logstash或Elasticsearch发送数据。常用的Beats有Filebeat(收集文件)、Metricbeat(收集服务、系统的指标数据)、Packetbeat(收集网络包)等。这里主要介绍Filebeat插件。一、架构图二、安装Filebeat官网地址:https://www.e
幸福丶如此
·
2020-07-14 01:34
elk日志分析
Linux系统中的日志管理
文章目录实验环境journaldjournalctl命令的用法用journald服务永久存放日志rsyslog自定义
日志采集
路径日志类型日志级别如何更改
日志采集
格式日志的远程同步timedatectl时间同步服务实验环境两台网络可以互通的主机
强壮的小蛋蛋
·
2020-07-13 21:54
linux
linux
日志采集
中的关键技术分析
在这个转变的过程中,
日志采集
Agent在其中扮演着重要的角色。
阿里云云栖号
·
2020-07-13 21:21
Flume + Solr + log4j搭建web
日志采集
系统【转】
关于ApacheHadoopEcosystem请点击这里。Cloudera官方的教程也是基于这个例子开始的,get-started-with-hadoop-tutorial并且假设我们已经了解Flume(agent,Source,Channel,Sink),Morphline(ETL),Solr(全文检索),如果都没有了解,请自行百度。Scenario(需求)首先我们有多个web应用,每个web应
weixin_33949359
·
2020-07-13 18:14
消息队列(Message Queue)基本概念(转)
而在我自己提出的原始
日志采集
方案中不适用消息队列时,有几个基本问题:1.日志文件上传过程,有个基本的生产者-消费者问题;2.另外系统崩溃时,数据丢失的处理问题。
weixin_33935505
·
2020-07-13 18:09
使用Logtail采集Kubernetes上挂载的NAS日志
采集k8s挂载Nas后的日志该文档主要介绍使用logtail以两种不同的方式进行k8s挂载Nas后的
日志采集
。
weixin_33896069
·
2020-07-13 18:20
Message Queue - MQ Intro
而在我自己提出的原始
日志采集
方案中不适用消息队列时,有几个基本问题:1.日志文件上传过程,有个基本的生产者-消费者问题;2.另外系统崩溃时,数据丢失的处理问题。
screaming
·
2020-07-13 13:14
数据采集之Web端上传文件到Hadoop HDFS
需求主要有3个:通过web端上传文件到HDFS;通过
日志采集
的方式导入到HDFS;将数据库DB的表数据导入到HDFS。正好最近都有在这方面做知识储备。正所谓养兵千日,用兵一时啊。
风格lu
·
2020-07-13 07:09
大数据分布式
Flume + Solr + log4j搭建web
日志采集
系统
本文转载自:Flume+Solr+log4j搭建web
日志采集
系统前言很多web应用会选择ELK来做
日志采集
系统,这里选用Flume,一方面是因为熟悉整个Hadoop框架,另一方面,Flume也有很多的优点
benxiaohai529
·
2020-07-13 03:16
hadoop
Spark(七) --一文带你了解Spark Streaming对接Flume
1.SparkStreaming对接FlumeFlume是一个分布式、可靠、和高可用的海量
日志采集
、聚合和传输的系统。
众里寻她千百回
·
2020-07-13 00:46
Spark
开源
日志采集
系统比较:scribe、chukwa、kafka、flume
1.背景介绍许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:(1)构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;(2)支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统;(3)具有高可扩展性。即:当数据量增加时,可以通过增加节点进行水平扩展。本文从设计架构,负载均衡,可扩展性和
zhmgzhmg
·
2020-07-12 19:51
基于Kubernetes的日志监控系统安装
本例演示使用Fluentd进行
日志采集
,Elasticsearch进行日志存储,Kibana进行日志查询分析。
汪云飞记录本
·
2020-07-12 15:50
kubernetes
fluentd
Elasticsearch
kibana
Linux日志管理(日志格式设定、日志的硬盘保存)
换行测试1.vim/etc/rsyslog.conf$templateLOGFMT,"%timegenerated%%FROMHOST-IP%%syslogtag%%msg%\n"##设置一个LOGFMT的
日志采集
格式将采集到的
luckyluckylock
·
2020-07-12 11:08
syslog详解及配置远程发送日志和远程日志分类
1、日志协议syslog1.1、syslog简介完善的日志分析系统应该能够通过多种协议(包括syslog等)进行
日志采集
并对日志分析,因此日志分析系统首先需要实现对多种日志协议的解析。
weixin_34327223
·
2020-07-12 09:29
linux下的日志的采集、查看及管理
1.日志的采集规则采集日志是为了配置文件,分析日志解决服务器可能出现的部分问题;日志存在于内存中,rsyslog采集到硬盘并保存,决定了
日志采集
的位置,但日志的内容由程序本身决定。
qq_38622229
·
2020-07-11 18:15
运维
日志
Hadoop项目简单流程及各个组件的作用
数据分析数据导出数据展现下面我们来一个一个的详细介绍首先是数据采集:数据采集有多种方式:可以通过shell脚本、java程序、flume等方式,可以根据不同的业务需求来选择shell脚本:适合一些简单的业务逻辑,轻量级的,但对
日志采集
过程中的容错处理不便控制
Luffy_captain
·
2020-07-11 16:26
hadoop框架
IIS访问日志配置远程Syslog采集
第一步:安装
日志采集
工具Nxlog从Sourceforge下载最新的?Nxlog,并安装。
西北苍狼
·
2020-07-11 10:52
日志审计
整体认识flume:Flume介绍、分布式安装、常见问题及解决方案
Flume是一个分布式、可靠、和高可用的海量
日志采集
、聚合和传输的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
lmee_
·
2020-07-11 07:45
面试题:MQ(1)
如果是大数据领域的实时计算、
日志采集
等场景,用Kafka是业内标准的,绝对没问题,社区活跃度很高。
fhxyryxc
·
2020-07-11 06:17
面试题
#
MQ
基于Kafka的服务端用户行为
日志采集
本文来自网易云社区作者:李勇背景随着互联网的不断发展,用户所产生的行为数据被越来越多的网站重视,那么什么是用户行为呢?所谓的用户行为主要由五种元素组成:时间、地点、人物、行为、行为对应的内容。为什么要做用户的行为分析?因为只有做了用户行为分析才能知道用户画像、才能知道用户在网站上的各种浏览、点击、购买背后的商业真相,从而给企业带来商业价值。网易美学是一个供用户发现和分享美妆及护肤的社区。既然是一个
yijian2595
·
2020-07-10 22:48
Okhttp
日志采集
日志采集
是一个APP必备的功能,可以方便开发人员快速定位问题,解决问题,那么我们在使用okhttp的时候应该怎样添加日志功能呢?
大鸭梨leepear
·
2020-07-10 19:56
深入浅出Flume分布式日志收集一
Flume是一个高可用的、高可靠的、海量分布式
日志采集
、聚合和传输的系统。
皇甫嗷嗷叫
·
2020-07-10 17:38
JAVA心得
ĴAVA
Kubernetes生产架构浅谈
同时,增强开发了应用监控和
日志采集
分析系统,并作了性能优化和高可靠保证。首先,我们来梳理下Kubernetes生产架构,其设计适用于绝大多数环境。如下图所示。高可
weixin_30273763
·
2020-07-10 06:38
flume sqoop kafka使用小结
1.flumeflume是高可用的,高可靠的,分布式的海量
日志采集
、聚合和传输的系统。flume不仅可以采集数据,还可以对数据进行简单的处理。flume的文件采集source工具只能识别文本数据。
逐梦s
·
2020-07-09 22:16
关于F5 Networks相关日志说明
由于需要对F5设备
日志采集
分析,以下是本人对F5日志的整理说明。一、系统日志的配置系统日志的配置可以定义需要记录的消息种类和日志文件保存的位置。
pj_lping
·
2020-07-09 21:57
负载均衡
ActiveMQ、RabbitMQ、RocketMQ、Kafka对比
ActiveMQRabbitMQRocketMQKafka单机吞吐量万级,比RocketMQ、Kafka低一个数量级同ActiveMQ10万级,支撑高吞吐10万级,高吞吐,一般配合大数据类的系统来进行实时数据计算、
日志采集
等场景
武当青云梯
·
2020-07-09 18:02
java
直播丨 如何从零快速搭建一整套监控体系(
日志采集
+主机+数据库)
客户转型去O使用分布式架构的情况下,作为DBA需要维护更多的数据库以及各种开源组件,而过去人肉的运维无法快速定位处理或者追溯问题根源,使用ELK和Promethus+Grafana能帮助我们处理分布式架构带来海量日志以及日常监控,使用ansible完成批量操作,实现四两拨千斤的效果。分享大纲:目前运维过程中的痛点;ELK实现日志处理;Promethus+Grafana实现实时监控;Ansible的
Enmotech
·
2020-07-09 15:12
Filebeat 日志收集工具配置实践
工作原理部署与运行解压安装包配置运行读取文件自定义字段输出到Elasticsearch读取Nginx日志文件Module使用Module启用NginxModule配置Filebeat介绍Filebeat是一个轻量型
日志采集
器
zhangxm_qz
·
2020-07-09 05:05
ELK
学习笔记
elasticsearch
filebeat
日志收集
日志采集
iOS App 连续闪退时如何上报 crash 日志
crash日志上报有两个难点:crashhandler安装之前的代码要绝对稳定如果
日志采集
器还没成功启动就crash了,自然什么日志也无法采集到。
软件iOS开发
·
2020-07-09 04:11
日志采集
之移动端
日志采集
移动端
日志采集
:1)除了web页面
日志采集
的相关内容来提升用户体验外,还需要采集各种设备信息,以及各种设备的运行情况,协助开发者分析各类设备特有问题2)移动端
日志采集
通过采集SDK完成,根据不同的用户行为分成不同的事件
xu704928452
·
2020-07-09 02:21
linux syslog
日志采集
系统搭建
syslog已被许多日志函数采纳,它用在许多保护措施中,任何程序都可以通过syslog记录事件。syslog可以记录系统事件,可以写到一个文件或设备中,或给用户发送一个信息。它能记录本地事件或通过网络记录另一个主机上的事件。syslog是Linux系统默认的日志守护进程。默认的syslog配置文件是/etc/syslog.conf文件。syslog守护进程是可配置的,它允许人们为每一种类型的系统信
weixin_34067980
·
2020-07-08 16:39
Nxlog——
日志采集
神器简介
而今天要给大家介绍的这款
日志采集
神器就是Nxlog。
日志采集
工具众多,各有各的特色。譬如LogStash这头大象虽然笨重,但是部署简单,在各种环境下都能用。
weixin_小埋
·
2020-07-08 13:20
NxLog
中间件对比----Kafka、ActiveMQ、RabbitMQ及RocketMQ性能对比
ActiveMQRabbitMQRocketMQKafka单机吞吐量万级,比RocketMQ、Kafka低一个数量级同ActiveMQ10万级,支撑高吞吐10万级,高吞吐,一般配合大数据类的系统来进行实时数据计算、
日志采集
等场景
心诚则灵--艾
·
2020-07-08 08:17
大数据
中间件
对比
K8s-进入容器内部
前言之前将应用已经部署在k8s,之后遇到一个问题,就是进入容器内部看日志,简单地方式:kubectllogs-f,还是进入容器看看里面的日志文件,然后想法将
日志采集
起来。
牧羊人影视
·
2020-07-08 07:01
Docker&K8s
实时日志/数据库采集处理,实时用户行为属性个人总结
好久没写博客了,做了一段时间的
日志采集
和流处理,总结一下自己的工作吧。本人只涉及了一些总结,很多技术细节我也不会多说吧。
_laomei_
·
2020-07-08 07:20
【流处理】
总结
flume+kafka+storm的集成使用
Flume-ngFlume是一个分布式、可靠、和高可用的海量
日志采集
、聚合和传输的系统。
renrenzhong
·
2020-07-08 04:46
kafka
storm
flume
storm
kafka
flume
EFK6.3+kafka+logstash日志分析平台集群
转载来源:EFK6.3+kafka+logstash日志分析平台集群:https://www.jianshu.com/p/f956ebbb2499架构解读:第一层、数据采集层安装filebeat做
日志采集
寰宇001
·
2020-07-08 01:14
ELK
Windows系统日志配置远程Syslog采集
这里我们推荐一款非常好用的轻量级
日志采集
模块:Nxlog,在Windows下部署和配置均十分便捷。
西北苍狼
·
2020-07-07 13:55
日志审计
比原链CTO James | Go语言成为区块链主流开发语言的四点理由
11月24日,比原链CTOJames参加了Go中国举办的GopherMeetup杭州站活动,与来自阿里、网易的技术专家带来Kubernetes、区块链、
日志采集
、云原生等话题的分享。
比原链Bytom
·
2020-07-07 04:24
区块链
Bytom
iOS项目崩溃
日志采集
与分析
一、日常开发崩溃分析先看一个下Demo代码:NSString*str=nil;NSArray*arr=@[@"hello",str];代码很简单,因为数组里面有nil元素,所以运行的时候一定会崩溃,运行的崩溃画面分析:先看一个OC的DDemo工程:NSString*str=nil;NSArray*arr=@[@"hello",str];代码很简单,因为数组里面有nil元素,所以运行的时候一定会崩溃
aoxianzhuo5029
·
2020-07-07 03:37
flume的安装和使用
Flume的简单介绍Flume是一个分布式、可靠、和高可用的海量
日志采集
、聚合和传输的系统。
小月半会飞
·
2020-07-07 02:02
微服务框架(十三)Spring Boot Logstash
日志采集
本文为SpringBoot中Log4j2对接Logstash,进行
日志采集
本系列文章中所使用的框架版本为SpringBo
若明天不见
·
2020-07-06 19:41
ELK
微服务框架
Spring
Boot
+
Dubbo
+
Docker
日志采集
框架Flume的几种常见模式
1.1概述Flume是一个分布式、可靠、和高可用的海量
日志采集
、聚合和传输的系统。
weixin_43203897
·
2020-07-06 04:21
原理
日志采集
框架Flume以及Flume的安装部署(一个分布式、可靠、和高可用的海量
日志采集
、聚合和传输的系统)...
sink组件http://flume.apache.org/FlumeUserGuide.htmlFlume官网入门指南:1:Flume的概述和介绍:(1):Flume是一个分布式、可靠、和高可用的海量
日志采集
weixin_34191845
·
2020-07-06 00:49
谈一谈Flume
日志采集
系统
flumelogoNo.1是什么,哪儿来的Flume是一个分布式、可靠、和高可用的海量
日志采集
、聚合和传输的系统。支持在日志系统中定制各类
KellyCheng
·
2020-07-05 20:08
log4j2配置详解及自定义标签
一、背景最近由于项目需要开始捣鼓项目组日志系统,日志系统中日志打印采用的是log4j2,同时需要支持公司
日志采集
需求,所以也会用到公司扩展的appender。
海瑞mt
·
2020-07-05 19:04
Linux系统入门之系统日志管理(二)指定日志格式与journal
1.
日志采集
格式背景:日志信息种类较多,需要提取到用户想要看到的某几类就需要设置日志格式,可以更清晰、更有针对性的看到日志相关参数,方便管理,满足自己或者客户的需求。
vanvan_
·
2020-07-05 19:38
linux基础
Hadoop:本地文件(window系统)定时获取文件并上传至HDFS文件(两个虚拟机)系统 Java 实现
实现功能:定时
日志采集
并上传至HDFS文件系统的JavaAPI实现环境+工具:windows+虚拟机Centos*2+eclipse+windows下编译的Hadoopjar包+Hadoop集群一、流程
ivan58
·
2020-07-05 17:44
hadoop
Java
上一页
13
14
15
16
17
18
19
20
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他