IMM日志采集

IBM X3650 M4服务器内存故障更换处理

故障现象：服务器告警灯亮起，显示面板有MEM和CPU亮起如下图所示处理方法：首先确定是哪一个内存损坏，可以接显示屏post诊断，看系统刷出来的信息，或者也可以接上IMM口，登录IMM管理接口，前面有文章说明了如何进入
青阳小彭·2023-06-16 06:34

Flume + kafka + HDFS构建日志采集系统

Flume是一个非常优秀日志采集组件，类似于logstash，我们通常将Flume作为agent部署在applicationserver上，用于收集本地的日志文件，并将日志转存到HDFS、kafka等数据平台中
花和尚也有春天·2023-06-15 19:34

Filebeat详细介绍，下载和启动，日志读取和模块设置等

harvesterprospectorinput启动命令参数说明部署Nginx读取Nginx中的配置文件Modulenginxmodule配置配置filebeat测试错误1错误2Filebeat介绍Filebeat是一个轻量级的日志采集器为什么要用
生夏夏夏·2023-06-15 13:22

kettle数据采集三大流程-增量采集

2、XX_LOG日志采集到临时表XX_LOG_T中,并删除3、增量采集主流程备注：如果表比较多，建议设置并发执行。
程序猿羊·2023-06-15 02:00

ELK 日志采集框架（七）：Kibana安装与配置

1资源资源信息版本号备注服务器Centos7IP:192.168.51.4kibana7.4.2CSDNkibana下载：https://download.csdn.net/download/qq_15769939/16760256官网下载地址：https://www.elastic.co/cn/downloads/past-releases#kibana2介绍Kibana是一个为Logstash
小P聊技术·2023-06-14 21:15

[ARM 汇编]进阶篇—数据处理指令—2.1.3 移位指令

基本语法如下：LSLRd,Rn,#imm其中，Rd是目标寄存器，Rn是操作数所在寄存器，imm是移位的位数。示例：L
·2023-06-14 16:47

[ARM 汇编]进阶篇—数据处理指令—2.1.3 移位指令

基本语法如下：LSLRd,Rn,#imm其中，Rd是目标寄存器，Rn是操作数所在寄存器，imm是移位的位数。示例：L
·2023-06-14 16:16

SpringBoot 不同环境,加载不同日志配置

开篇  忽然想起好久不写博客,今天就搞一个背景  现有项目集成的日志采集框架有点小问题,每次运行时,都会在日志加载这里卡顿半分钟,非常影响工作效率.并且本地单测或者运行,也没有日志采集的必要性,所以我们今天改造项目
凌云_00·2023-06-14 04:17

『Android』横屏下无法代码弹出占据全屏的输入法

软键盘的全面解析解决方式：InputMethodManagerimm=(InputMethodManager)getSystemService(Context.INPUT_METHOD_SERVICE);if(imm
暄落丶·2023-06-13 17:20

大数据中台架构以及建设全流程一（Paas层设计）

离线存储平台（Hadoop系列）Hadoop选型机架感知硬件选型(PB级)内存配置资源计算关键参数存储平台常见故障调度系统（Yarn）管理平台AmbariClouderaManagerCloud自研+开源组件日志采集调度平台实时数据
只会写demo的程序猿·2023-06-13 01:29

ELK 日志采集使用

1.安装ELK整体环境1.1.安装docker环境Docker最新版Version20.10安装_docker最新版本是多少_猿小飞的博客-CSDN博客1.2.先安装dockercompose安装dockercompose_猿小飞的博客-CSDN博客1.3.使用DockerCompose搭建ELK环境1.3.1.编写docker-compose.yml脚本启动ELK服务忘记了文件在哪里，可以使用下
猿小飞·2023-06-12 23:12

ELKF安装及安装过程中的问题的解决

ElasticStack(elkandsoon)[TOC]旧称X-Pack，是一系列围绕elasticSearch的组件功能.比如常被提起的elk（日志采集分析）。
entro·2023-06-12 23:18

数仓项目之数据采集实战及ODS层数据初步导入和flume日志采集过程中问题监控及解决方案

在实际生产开发当中，适当的设计agent的数量和模式，并很好的将数据采集过来，是我们分析数据的第一步，即先要有数据业务系统那边进行埋点，记录日志，到服务器本地磁盘当中考虑使用高可用模式，并使用级联模式，上游一个agent，下游两个agent，因为要对数据进行简单的清洗、处理，所以需要一个自定义拦截器上游agent高可用模式1个sourcetaildir类型1个channelfile类型高可用：2个
菜鸟周星星·2023-06-12 20:40

ELK应用介绍

集成涉及组件：ElasticSearch数据分析、存储核心Kibana可视化应用Logstash日志写入ElasticSearchFilebeat日志采集Heartbeat
是大德德诶·2023-06-10 12:49

Flume学习--1、Flume概述、Flume入门、

1、Flume概述1.1Flume定义Flume是Cloudera提供的一个高可用，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式结构，灵活简单。
星光下的赶路人star·2023-06-10 10:29

spring boot使用日志组件log4j2

一、为什么要引入log4j2有以下几个原因：1、日志格式的统一，减少日志采集阶段，在正则匹配时的误差。2、以前是将控制台的日志重定向至日志文件里，这个在做日志切割的时候，会有问题。
天草二十六_简村人·2023-06-09 08:38

ELK日志采集系统搭建

需求背景现在的系统大多比较复杂，一个服务的背后可能就是一个集群的机器在运行，各种访问日志、应用日志、错误日志量随着访问量和时间会越来越多，运维人员就无法很好的去管理日志，开发人员排查问题，需要到服务器上查日志，极为不方便。逐台登陆机器去查看日志特别费力，且效率慢。为什么要用ELK？在日志分析场景一般使用最多的就是通过grep、awk命令获取想要的日志信息。但在规模较大的场景中，此方法效率低下，面临
旷野历程·2023-06-07 16:29

Logstash Filter配置和注意事项——古氪流技术

Logstash进行日志采集：在Logstash进行日志采集的时候需要使用Filter对数据进行过滤，这里可能会出现message无法匹配的问题，导致message里面存在一些信息如下：{"@timestamp
goc6·2023-04-21 19:53

Filebeat7 Kafka Gunicorn Flask Web应用程序日志采集

本文的内容如何用filebeatkafkaes做一个好用，好管理的日志收集工具放弃logstash，使用elasticpipelinegunicron日志格式与filebeat/es配置flask日志格式与异常日志采集与
OhBonsai·2023-04-21 15:28

大数据各组件简述

hdfs分布式文件系统hive数据仓库工具，形成文件与表的映射，可以使用类sql语言操作数据库mapreduce分布式计算框架spark分布式计算框架，减少落盘，作为一个应用在yarn上运行flume日志采集系统
February13·2023-04-21 13:10

日志采集组件Flume

1、Flume概述Flume是Cloudera开发的一个分布式的、可靠的、高可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化的数据存储系统中。随着互联网的发展，特别是移动互联网的兴起，产生了海量的用户日志信息，为了实时分析和挖掘用户需求，需要使用Flume高效快速采集用户日志，同时对日志进行聚合避免小文件的产生，然后将聚合后的数据通过管道移动到存储系统进行
shinelord明·2023-04-20 02:30

Docker ELK + docker-compose + filebeat部署教程

前言目前主流日志采集系统，采用elk+filebeat来实现，记录一下部署的流程。
YYYYYB·2023-04-19 05:21

操作系统、输入法和编码的理解

操作系统和输入法操作系统有一个输入法管理器，叫做IMM,管理系统内的所有输入法，或者说一个输入法想要使用操作系统提供的输入法API,就必须在IMM进行注册。
请你保持微笑·2023-04-19 03:47

技术选型|日志采集和管理工具您都了解哪些，看这篇就够了

简介对于日志管理当前网络上提供了大量的日志工具，今天就给大家分析总结一下这些常用工具的特点，希望对你们在选型时有所帮助，如果有用记得一键三连。1、FilebeatFilebeat是用于转发和集中日志数据的轻量级传送程序。作为服务器上的代理安装，Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或Logstash进行索引。Filebeat的工作方式如下
小小哭包·2023-04-18 13:39

ArmV8 A64汇编指令ADD

ADD立即数示例：addw0,w1,#255等价于C语言的：uint32_tw0,w1;w0=w1+255;由于立即数ADD指令码中立即数的编码位数为12位，所以立即数的数据范围为0<=imm<=4095
风海铜锣君·2023-04-18 09:21

TCP和UDP在实际工作中的应用

前言日常在网上浏览一些文章时都会看到一些介绍TCP和UDP的文章，每次都是草草浏览，而没有深入的去研究，这几天在做日志采集工具的时候恰好遇到一个问题，就是采集端将采集到的内容发送到服务端时这里采用的通信协议应该如何考量
ะัี潪ิื·2023-04-18 00:11

自己手写RISCV架构CPU-4其它指令

、基本整数指令RV32IRISCV指令集架构定义的基本整数指令RV32I有9条：ADDI、SLTI、SLTIU、ANDI、ORI、XORI、SLLI、SRLI、SRAI其格式如下addird，rs1，imm
skyer_lhb·2023-04-17 01:38

一种轻量级日志采集解决方案

前言目前各大公司生产部署很多都是采用的集群+微服务的部署方式，如果让日志散落在各个主机上，查询起来会非常的困难，所以目前我了解到的都是采用的日志中心来统一收集管控日志，日志中心的实现方案大多基于ELK(即Elasticsearch、Logstash和Kibana三个开源软件的缩写)，ELK一般都要配合FileBeat使用，其中FileBeat做为采集器，Logstash做为日志过滤格式化工具、El
ะัี潪ิื·2023-04-16 19:20

Jef-log-tail日志采集工具使用说明

介绍jef-log-tail是一款基于netty实现的日志采集工具，支持指定目录、指定文件、指定后缀的动态持续日志采集，日常使用场景如：集群部署后将多台主机的日志集中存放到一台日志服务器上，或者将日志统一输出到数据库
ะัี潪ิื·2023-04-16 19:50

优化算法学习（LM算法）

文章目录推荐书籍理论理解程序实现ceres安装代码：推荐书籍建议学习，METHODSFORNON-LINEARLEASTSQUARESPROBLEMS：http://www2.imm.dtu.dk/pubdb
Junoxiang·2023-04-16 12:28

【华为OD机试真题】日志采集系统（java&python）

日志采集系统时间限制：1s空间限制：256MB限定语言：不限题目描述：日志采集是运维系统的的核心组件。日志是按行生成，每行记做一条，由采集系统分批上报。
笑着的程序员·2023-04-16 10:38

Python 项目中日志输出为JSON格式

在Pythonweb服务中，有时候为了便于日志采集工具（filebeat等）采集日志信息，需要输出JSON格式的日志。
不忘初欣丶·2023-04-15 20:16

Flume基操

Flume概述Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。
curtime·2023-04-15 17:40

Vector日志采集器安装与使用

Vector简介Vector是一个高性能的日志采集器，用于构建可观察性（数据）管道的轻量级超快速工具，Vector简单易用并且只自定义组合数据格式灵活的创建数据管道，可收集、转换所有日志、指标、跟踪路由等各种数据
不会飞的小龙人·2023-04-14 07:30

ElasticSearch突然采集不到日志问题解决分析

由于我们是采用elk（elasticsearch+logstash+kibana）的方式下部署日志采集系统，其中logstash以Deamonset方式部署到k8s的每一个node节点上，先去查看logstash
·2023-04-14 01:51

Flink 在字节跳动数据流的实践

不同来源的埋点都通过数据流的日志采集服务接收到MQ，然后经过一系列的Flink实时ETL对埋点进行数据标准化、
倾听铃的声·2023-04-13 05:08

LogStash安装

.下载安装报2.上传到服务器3.启动Logstash4.连接ElasticsearchElasticsearch安装与配置Kibana安装与配置LogStash安装LogStash简介LogStash日志采集系统构建
Fisher3652·2023-04-13 00:21

开源日志项目（java,zookeeper,kafka,fluentd,gohangout,clickhouse,grafana）

记一次日志项目从日志采集，分布式协调，中间件消费，到数据库存储管理，到图形化界面展示1安装java环境官网下载想要的java版本，网址为：https://www.oracle.com/technetwork
W朱珠W·2023-04-12 02:43

Elasticsearch的基本介绍

DB-EnginesRanking-popularityrankingofsearchengines除了搜索领域外，Elasticsearch与Kibana、Logstash组成的ELK系统还可以应用到日志采集
Lyzxii·2023-04-11 15:24

FileBeat+Confluent Kafka Connector推送日志到Elasticsearch

confluent本文使用的confluent版本是confluent-5.2.11.FileBeatFileBeat是一款轻量型的日志采集器，通常会在每一台运行业务服务的服务器上部署一套，本文使用的版本是
大猪小猪在菜盘·2023-04-10 17:06

【项目实战26】logstash数据采集（上）(Elasticsearch界面监控、日志采集）

logstash数据采集一、前言一、简介二、3个主要组成二、logstash的安装一、获取安装软件二、使用方法三、logstash高级用法一、定向输出文件二、定向标准输出到es集群（ELK建立的监控集群）三、输入插件到es集群——输出日志四、logstash如何区分设备、文件名、文件的不同版本五、输入插件到es集群——logstash伪装日志四、apache服务日志过滤实战输出grok过滤——统计
运维技术－陈工·2023-04-10 16:28

RocketMq架构

ActiveMQRabbitMQRocketMQKafka单机吞吐量万级，比RocketMQ、Kafka低一个数量级同ActiveMQ10万级，支撑高吞吐10万级，高吞吐，一般配合大数据类的系统来进行实时数据计算、日志采集等场景
剑八-·2023-04-10 04:53

ELK 日志系统收集K8s中日志

容器特性给日志采集带来的困难•K8s弹性伸缩性：导致不能预先确定采集的目标•容器隔离性：容器的文件系统与宿主机是隔离，导致日志采集器读取日志文件受阻。
水木，年華·2023-04-10 01:49

分布式系统——服务端监控

你可以通过开源的日志采集工具，将这些日志中的数据发送给监控服务器。目前，常用的日志采集工具有很多，比如，ApacheFlume、
白coderT·2023-04-09 17:10

离线数仓数据可靠性的问题

日志采集网络架构设计为两层第一级采用了tailDirSource,fileChannel,avroSink的搭配,第二级采用了avroSource,fileChannel,hdfsSink的搭配tailDirSource
JinVijay·2023-04-08 20:05

《阿里巴巴大数据实践-大数据之路》读后感言

整个体系架构图，后面如有看不懂本书的可以回头再看下此图：本书大概分为四篇来讲诉：第一篇数据技术篇1、日志采集阿里巴巴的日志采集体系方案包括两大体系：Aplus.JS是Web端（基于浏览器）日志采集技术方案
会飞的鸡毛·2023-04-08 19:45

filebeat 日志采集系统概念和基础配置

www.elastic.co/cn/beats/filebeatfilebeat概述es提供了众多的beat模块用于数据采集，filebeat用于采集日志日志格式组件框架AuditdataAuditbeat（轻量审计日志采集
zhojiew·2023-04-08 07:40

使用log4j将数据流入flume

flume是一个提供高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。flume提供了source、channel、sink三个组件，实现数据的抽取加载。
码农峰·2023-04-07 22:42

数据采集之用户行为日志采集

2.同时进行日志采集的两台flume也分别在102和103的机器上，在flume组件的组件方面两台机器是一样的，使用的是taildirSource(特点：支持断点续传)kafkachannel进行缓冲和聚合另外还有一个
BadManChd·2023-04-07 10:11

六阶段大数据--day06--Apache Flume/ Source案例练习/ 集群部署

一ApacheFlume1．概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。
心猿意码~~·2023-04-07 08:34
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他