ELK日志分析平台搭建

Docker练习及在CTFd平台上放题目

前言这篇文章算是Docker学习还有CTFd平台搭建后的练习吧，毕竟都是用的dockerfile正文这里我复现的题目是SUSCTF2018的题目，下面是github地址https://github.com
0verWatch·2018-05-31 23:08

搭建GNS3 2.1.5 + IOU 平台

以下平台搭建工具：GNS32.1.5VMwareWorkstation10GNS3IOU-IOSi86bi-linux-l2-adventerprise-15.1b.bin（L2二层交换）i86bi-linux-l3
大湿网络·2018-05-30 14:45

linux监控平台搭建(3)添加自定义监控项目、配置邮件告警、测试警报、不发邮件的问题处理

linux监控平台搭建(3)添加自定义监控项目、配置邮件告警、测试警报、不发邮件的问题处理原创qq5a6d861adfe892018-04-1517:31:28评论(0)314人阅读添加自定义监控项目很多的监控项
handsome灿生·2018-05-28 23:51

linux监控平台搭建(2)主动和被动模式、添加监控主机、添加自定义模板、处理图形乱码、自动发现

主动和被动模式添加主机添加主机：1.添加主机群组：2.添加主机：点击主机-->创建主机(1)应用集：是监控项的集合（如：cpu的集合，内存的集合）(2)监控项：监控的项目（cpu,内存）(3)触发器：对监控项设定的告警规则，和告警级别。(4)图形：监控的项目历史数据所成图表。(5)自动发现规则：自动地去发现在服务器上的监控项目。(6)Web场景：监控指定网站的某个url访问是否正常。添加自定义模板
handsome灿生·2018-05-25 23:07

linux监控平台搭建(1)监控平台介绍、zabbix监控介绍、安装zabbix、忘记Admin密码

（一）监控平台介绍（二）zabbix监控介绍（三）安装zabbix实验需要两台机器：服务端（133）和客户端（134）1.首先在服务端安装Zabbix的yum扩展源。下载地址：www.zabbix.com/downloadwgethttp://repo.zabbix.com/zabbix/3.2/rhel/7/x86_64/zabbix-release-3.2-1.el7.noarch.rpm2.
handsome灿生·2018-05-25 09:46

如何打造优秀的电子商务平台之定位篇

随着电子商务的发展大潮，更多的传统行业也被裹挟于电子商务中来，近些年电子商务平台搭建的客户需求也越来越多，从我经手的项目来看，很多项目客户还是比较急切，不是太明确自己的定位及优势点，致使后续的运营推广举步维艰
熵谈电商·2018-05-23 21:22

如何打造优秀的电子商务平台之定位篇

随着电子商务的发展大潮，更多的传统行业也被裹挟于电子商务中来，近些年电子商务平台搭建的客户需求也越来越多，从我经手的项目来看，很多项目客户还是比较急切，不是太明确自己的定位及优势点，致使后续的运营推广举步维艰
熵谈电商·2018-05-23 21:22

大数据平台搭建 - cdh5.11.1 - hbase集群搭建

一、简介HBase是一种构建在HDFS之上的分布式、面向列的存储系统。在需要实时读写、随机访问超大规模数据集时，可以使用HBase。尽管已经有许多数据存储和访问的策略和实现方法，但事实上大多数解决方案，特别是一些关系类型的，在构建时并没有考虑超大规模和分布式的特点。许多商家通过复制和分区的方法来扩充数据库使其突破单个节点的界限，但这些功能通常都是事后增加的，安装和维护都和复杂。同时，也会影响RDB
nicekk·2018-05-16 22:00

平台搭建---不同应用端口使用情况

主要是记录默认端口应用名称识别码应用类型协议和端口描述pop3邮件5普通应用TCP:110pop3邮件ftp-data20ftp数据端口ftp21文件传输协议（FTP）端口；有时也被文件服务协议（FSP）使用ssh22安全Shell（SSH）服务https443安全超文本传输协议（http）9200ElasticsearchHTTP服务所在的端口8088yarnHTTP服务所在的端口50070hd
diggerTT·2018-05-16 10:06

大数据平台搭建 - cdh5.11.1 - oozie安装

一、简介oozie是hadoop平台开源的工作流调度引擎，用来管理hadoop作业，属于web应用程序，由oozieserver和oozieclient构成。oozieserver运行与tomcat容器中oozie的工作流必须是一个有向无环图，当用户需要执行多个关联的MapReduce作业时，只需要把作业写进workflow.xml中，再提交到oozie，oozie便可以托管服务，按照预先的配置有
nicekk·2018-05-15 22:00

大数据平台搭建 - Mysql在linux上的安装

一、简介MySQL是一个关系型数据库系统，由瑞典MySQLAB公司开发，目前属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，关系数据库管理系统)应用软件。大数据组件中，hive需要使用mysql作为metastore的存储的地方，hue也需要使用mysql存
nicekk·2018-05-14 21:00

大数据平台搭建 - cdh5.11.1 - spark源码编译及集群搭建

一、spark简介ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎，Spark是一种与hadoop相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使Spark在某些工作负载方面表现得更加优越，换句话说，Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。二、spark编译为什么cdh提供了spark已经编译好的包，还要自
nicekk·2018-05-14 21:00

XSS————1、XSS测试平台搭建

安装（1）安装httpserver与php环境（ubuntu:sudoapt-getinstallapache2php5或sudoapt-getinstallapache2php7.0libapache2-mod-php7.0）（2）上传所有文件至空间根目录（3）访问目标网站根据提示配置xss平台在配置之前，需要赋予xss的数据存储路径，js模板存储路径，我的js存储路径写权限，以及平台根目录写权
FLy_鹏程万里·2018-05-13 10:39

大数据平台搭建 - cdh5.11.1 - hue安装及集成其他组件

一、简介hue是一个开源的apachehadoopui系统，由cloudeardesktop演化而来，最后cloudera公司将其贡献给了apache基金会的hadoop社区，它基于python框架django实现的。通过使用hue，我们可以使用可视化的界面在web浏览器上与hadoop集群交互来分析处理数据，例如操作hdfs上的数据，运行MapReduceJob，查看HBase中的数据二、安装（
nicekk·2018-05-12 14:00

大数据平台搭建 - cdh5.11.1 - hive客户端安装

一、简介hive是基于hadoop的一种数据仓库工具，可以将结构化的文件映射成为数据库的一张表，并提供简单sql查询功能，底层实现是转化为MapReduce任务计算。二、安装（1）下载从cdh下载页下载http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.11.1.tar.gz下载好后上传至服务器的/home/hadoop/software，
nicekk·2018-05-12 13:00

大数据平台搭建 - cdh5.11.1 - hadoop集群安装

一、前言由于线下测试的需要，需要在公司线下（测试）环境搭建大数据集群。那么CDH是什么？hadoop是一个开源项目，所以很多公司再这个基础上进行商业化，不收费的hadoop版本主要有三个，分别是：（1）Apache，最原始的版本，所有发行版均基于这个版本进行改进缺点：版本部署混乱，部署过程繁杂，升级过程繁杂，兼容性差，安全性差（2）CDH版本，在Apache基础上，进行了封装，处理了不同版本的兼容
nicekk·2018-05-12 12:00

大数据平台搭建详解

大数据平台搭建(实验室版)1大数据介绍：1.1背景进入21世纪随着计算机科学的迅速发展，人民生活水平的提高，各种交易产生的数据也飞速增长，2016天猫双11谢幕，根据阿里公布的实时数据，截至11日24:
dingyanming·2018-05-12 11:37

ELK日志分析系统安装和部署

一、ELK平台搭建准备1.1平台环境：OS:CentOSrelease6.4(Final)ElasticSearch:6.3.2Logstash:6.3.2Kibana:6.3.2JRE:1.8注：由于
qianghong000·2018-05-11 15:20

OMserver自动化运维平台搭建及测试

本文基于《Python自动化运维技术与最佳实践》第十三章内容“从零开始打造B/S自动化运维平台”。参考链接为作者刘天斯个人博客：https://blog.liuts.com/post/245/https://blog.liuts.com/post/246/https://github.com/yorkoliu/pyauto平台简介：OMServer是本平台的名称。OMServer实现了一个集中式的
loong576·2018-05-10 15:34

Java 利用SpringBoot为Android，iOS等移动平台搭建简单的Restful后台接口平台

作为移动端开发者来说，一般情况下，我们是不需要管理后台接口，只需要调用就可以了；但有时候，我们想要自己来实现接口，就得需要搭建自己的后台接口当然实现方式有很多，我对Java比较熟悉，这里就说下用Java等框架来实现Restful接口。大学的时候，我们学过利用较为原始的Servelet来实现，当然会显得很臃肿，写起来也很麻烦，所以这里就利用SpringBoot框架来实现，大量的注解会让我们实现起来很
何浪·2018-05-07 10:11

elk日志分析管理

elk，可用于实现日志分析的一个工具e==>elasticsearch(Elasticsearch是一个分布式的RESTful风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例)f==>Filebeat(轻量型数据采集器)l==>logstash(能够同时从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的“存储库”中)k==>Kibana(Kibana能够可视化Elasticsearch
山水风情·2018-05-03 18:52

zookeeper集群搭建

预计分为两个阶段：一、完全分布式平台搭建（zookeeper平台的搭建、hadoop平台的搭建、hbase平台的搭建、spark平台的搭建、hive平台的搭建），二、使用和原理剖析（分别为zookeeper
focuson_·2018-04-30 23:45

Prometheus+Grafana监控平台搭建

什么是Prometheus?Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。Prometheus使用Go语言开发，是GoogleBorgMon监控系统的开源版本。Prometheus的特点·多维度数据模型。·灵活的查询语言。·不依赖分布式存储，单个服务器节点是自主的。·通过基于HTTP的pull方式采集时序数据。·可以通过中间网关进行时序列数据推送。·
JoeyDTChen·2018-04-26 12:42

日志管理平台搭建手册（一）——Logback配置

日志，是开发和运维人员定位错误，分析应用使用情况的一种重要手段。开发中最常见的情景就是测试时，一旦程序出现了异常，就立马想到通过查看程序日志来定位问题所在。目前的Java应用主流的日志框架有Log4J和Logback等。而Logback又是Log4J作者再设计开发的改进版，所以本系列使用Logback作为日志框架。采用IntellijIDEA2018.1作为开发工具，使用Maven做依赖管理，示例
明空曌空明·2018-04-25 22:19

CentOS服务器平台搭建mysql主从复制与读写分离的方法

本文实例讲述了CentOS服务器搭建mysql主从复制与读写分离的方法。分享给大家供大家参考，具体如下：mysql主从复制的优点:①如果主服务器出现问题，可以快速切换到从服务器提供的服务，保证高可用性②可以在从服务器上执行查询操作，降低主服务器的访问压力③可以在从服务器上执行备份，以避免备份期间影响主服务器的服务注意事项：①server-id必须唯一，一般使用ip的后三位②从库Slave_IO_R
爱代码也爱生活·2018-04-24 08:13

1、回测平台搭建——思路

什么是回测平台？最简单来说，写好了一个策略，从一个txt中读取了数据，放到策略中，得到了一个最后的收益，这个程序就是一个回测平台，用回测平台来概括虽然有些过，但是这就是一个回测平台的雏形。升级——需求增加当最后的统计结果不仅需要收益，还需要统计交易次数、开多开空次数、盈亏比、平均盈利、平均亏损、夏普比率等等这些指标，最后的结果还需要加上可视化的控件的时候，就需要再添加些东西了。升级——标准化现在，
敲代码的quant·2018-04-19 19:23

深度学习平台搭建（二）——Ubuntu16安装完成后要做的事

一、更换源以及更新系统进入Ubuntu16系统后，点击屏幕右上角，再点击系统设置，弹出图1所示窗口，再进入“软件和更新”，本人更换为阿里源。二、删除系统自带且无用的软件libreoffice、Amazon链接等等，把下面的命令复制到终端执行便可。sudoapt-getremovelibreoffice-commonunity-webapps-commonthunderbirdtotemrhythm
Dragon爆·2018-04-19 11:02

LNMP平台搭建网站实战案例

LNMP又称LEMP，由“L”即Linux操作系统、“N”即Nginx网站服务、“M”即Mysql数据库、“P”即PHP语言组成。LNMP与LAMP的差距就在于Apache和Nginx，Nginx相对于Apache而言，在并发处理量上具有较大优势，稳定性和性能也要好过Apache，所以较大型的公司用LNMP比LAMP多。对于运维人员的我们这两种网站平台的搭建我们都应当熟悉掌握。本次实例的目的是通过
张晨chat·2018-04-18 08:39

Logstash 读取tomcat错误日志

springcloud实战（干货）mybatis实战（干货）springboot实战（干货）React入门实战（干货）构建中小型互联网企业架构（干货）python学习持续更新ElasticSearch笔记概述最近搭建了elk
chenshiying007·2018-04-16 07:14

ELK日志分析系统实践

一、ELK介绍官网：https://www.elastic.co/cn/中文指南https://legacy.gitbook.com/book/chenryn/elk-stack-guide-cn/detailsELKStack（5.0版本后）-->ElasticStack相当于ELKStack+BeatsELKStack包含：Elaticsearch、Logstash、KibanaElastic
IT技术栈·2018-04-13 20:10

linux监控平台搭建

Linux监控平台介绍监控的重要性不言而喻，一个企业就算架构再不成熟，监控都是必须要有的。监控不管用什么方式实现，开源软件也好，商业的监控服务也好，抑或是简陋的shell脚本，在业务上线时都首先要做到位。流行的开源监控软件有cacti、nagios、zabbix、smokeping、open-falcon.cacti、nagios、zabbix都可以监控服务器的基础指标，比如CUP、内存、硬盘、网
chunyang315·2018-04-13 01:58

深度学习平台搭建（一）——在GPT+UEFI安装Win10+Ubuntu16.04双系统

提示：本帖是本人综合网上多方帖子的内容，最终搭建好自己的深度学习系统，由于这段时间经常重复安装，故在此记录自己的安装过程，免得以后每次到处乱找，其他人也可以参考参考。本教程是把硬盘彻底的清除，所以使用本教程前请各位记得先把自己重要的资料转移到其它电脑上暂时保存，等电脑重装好后再放回来。一、前期准备准备好相关系统和软件：1、首先要有一台能使用的装有windowns的电脑以及一个(两个最好)可以正常使
Dragon爆·2018-04-12 20:02

filebeat+redis+elk日志平台搭建

filebeat+redis+elk系统：centos7.1x86_64filebeat:6.2.3logstash:6.2.3elasticsearch:6.2.3kibana:6.2.3架构如下：配置yum源：导入验证文件rpm--importhttps://artifacts.elastic.co/GPG-KEY-elasticsearchrpm--importhttps://package
674591788·2018-04-08 05:07

CentOS、Ubuntu、Debian三个linux如何选择

做平台搭建学习等用CentOS。Linux有非常多的发行版本，从性质上划分，大体分为由商业公司维护的商业版本与由开源社区维护的免费发行版本。
不才一首歌·2018-04-04 18:50

elk系列1之入门安装与基本操作

我们每天都要查看服务器的日志，一方面是为了开发的同事翻找日志，另一方面是巡检服务器查看日志，而随着服务器数量以及越来越多的业务上线，日志越来越多，人肉运维相当痛苦了，此时，参考现在非常流行的日志分析工具，搭建了一套ELK
JackLiu16·2018-04-04 14:55

电商平台搭建笔记

第一章：课程介绍与开发前的准备工作课程导学架构设计：前后端完全分离、分层架构、模块化技术选型：html、css、js、jquery辅助工具：Webpack、NodeJs、NPM、Shell效率工具：Sublime、Chrome、Charles、Git课程安排：一：基础框架的搭建（１）双平台的开发环境按照（２）git仓库的规范化用法（３）webpack脚手架搭建实战二：通用模块（１）可高复用工具类设
洛小宇·2018-04-02 15:05

平台搭建---大数据框架---大数据组件的安装及部署

大数据组件图解所有组件的安装最好都在自己操作的用户下，以免影响root用户下的文件，因为安装如果出错，可能无法还原这些文件,而且存在安全隐患；但有些组件如mysql必须用root用户来安装，因为涉及到修改root用户权限的问题，root用户安装可以避免因一些权限问题导致中间的安装不完全，root用户安装的软件其他用户可读可执行但无法修改。如果安装的软件涉及到写文件，比如第一次开机，会在配置的某个目
diggerTT·2018-04-01 23:23

虚拟机\物理机上5台服务器cloudrea manager5.12大数据平台搭建（持续更新）

文章目录前言节点网络配置ssh配置cloudera以及JDK以及Mysql版本选择【必读】其他注意事项JDK安装mysql5.7安装防火墙正题CDH集群安装其他虚拟机扩容TODO参考前言全文共1.4w字（仅安装整个大数据平台，关于cdhmanager管理，会单独记录）。相比有的地方几十页的文档已经少了不少，但是还真的比较多。强烈建议多看官方文档，写得特别详细，是的，确实有些多。一定要耐心，一定要仔
haixwang·2018-03-31 22:07

虚拟机\物理机上5台服务器cloudrea manager5.12大数据平台搭建（持续更新）

文章目录前言节点网络配置ssh配置cloudera以及JDK以及Mysql版本选择【必读】其他注意事项JDK安装mysql5.7安装防火墙正题CDH集群安装其他虚拟机扩容TODO参考前言全文共1.4w字（仅安装整个大数据平台，关于cdhmanager管理，会单独记录）。相比有的地方几十页的文档已经少了不少，但是还真的比较多。强烈建议多看官方文档，写得特别详细，是的，确实有些多。一定要耐心，一定要仔
haixwang·2018-03-31 22:07

ROS 无人机仿真系统3 —— 验证仿真系统

roslaunchrotors_gazebomav_hovering_example.launchmav_name:=fireflyworld_name:=basic当你在终端运行该指令时，会不断弹出信息，当出现报错时说明平台搭建有问题
kongdaqing1290·2018-03-29 14:52

ROS 无人机仿真系统2 —— 平台搭建

1、平台选择参照仿真系统https://github.com/ethz-asl/rotors_simulator进行平台搭建，这里选择ubuntu14.04+ros-indigo+gazebo7。
kongdaqing1290·2018-03-29 13:14

repeatmasker

repeatmolder和repeatmasker的平台搭建完毕，本以为会风平浪静一阵子。没想到repeatmmasker又搞事情了。本来拿了前辈的一些资料想着不需要再读说明书了。
Bettrry·2018-03-26 20:15

大数据平台搭建（1）虚拟机+Centos-7安装

在2017-2018寒假自己尝试了在家里的老电脑上安装Ubuntu16.04+Hadoop3.0，遇到的问题特别多而且只能搭建单机，集群没法搭起来，一直不认同虚拟机搭建的，这学期大数据课程，千峰的老师给我们上课，讲述了虚拟机搭建集群测试的好处，并且使用了Centos-7+hadoop-2.6.4+jdk1.87+VMware12.1.1，这是老师在最近一年教授的搭配，实践总结比较实用bug少，对机
ssITt猿·2018-03-26 17:19

【ELK笔记】ELK的安装，快速搭建一个ELK日志分析平台

ELK是ElasticSearch、LogStash、Kibana三个开源工具的简称，现在还包括Beats，其分工如下:LogStash/Beats:负责数据的收集与处理ElasticSearch:一个开源的分布式搜索引擎，负责数据的存储、检索和分析Kibana:提供了可视化的界面。负责数据的可视化操作基于ELKStack可以构建日志分析平台、数据分析搜索平台等非常有用的项目。作为学习笔记的第一篇
艾希射日·2018-03-19 11:49

LAMP平台搭建-PHP篇（终结篇）

LAMP平台的构成组件：1、Linux操作系统，Linux操作系统是整个LAMP架构的基础部分，提供用于支撑Web站点的操作系统，为其他的组件提供了更好的稳定性、兼容性2、Apache网站服务器，作为LAMP架构的前端，功能强大、稳定性良好3、MySQL数据库服务器，为LAMP架构的后端，是一款应用非常广泛的数据库系统。在企业网站、业务系统等应用中，各种账户信息、产品信息、客户资料等都可以存储到M
张晨chat·2018-03-15 23:35

ELK日志分析Kibana——数据图形化制作

摘要：Kibana把数据图形化,可以帮助我们更好的去分析数据,找到数据里面的结构注意看一下,上面缩看的界面,是一个聚合的结果,他是由CPUUsage图表、SystemLoad图表、CPUusageovertime图表、SystemLoadovertime图表一起构造而成的。Kibana把数据图形化,可以帮助我们更好的去分析数据,找到数据里面的结构注意看一下,上面缩看的界面,是一个聚合的结果,他是由
山东梅长苏·2018-03-14 21:43

ELK日志分析Kibana——筛选语法基础

摘要：ES全文搜索的简易语法是Kibana上使用的搜索语法,一定需要学会,前一篇文章给出的只是基础的、最根本的CRUD操作,是对单挑数据的操作,但是在Kibana中存在大量的搜索和聚合,动辄上千万的数据量,所以掌握好ES全文搜索的语法就是使用Kibana的重要保证。ES全文搜索的简易语法是Kibana上使用的搜索语法,一定需要学会,前一篇文章给出的只是基础的、最根本的CRUD操作,是对单挑数据的操
山东梅长苏·2018-03-14 21:36

LAMP平台搭建-MySQL篇

MySQL是一个真正的多线程、多用户的SQL数据库系统。她凭借着其高性能、高可靠性和易于使用的特性，成为服务器领域最受欢迎的数据库系统。在2008年之前，MySQL项目由MySQL公司进行开发、发布和支持，之后历经SUN公司收购MySQLAB公司，Oracle公司收购SUN公司，目前MySQL项目有Oracle公司负责运营和维护。安装过程1、准备工作，为避免程序冲突或者端口冲突，我们可以查询一下M
张晨chat·2018-03-14 16:47

PApi 开源接口管理平台搭建部署

官网：https://yapi.ymfe.org/GitHub：https://github.com/YMFE/yapiyapi是什么YApi是高效、易用、功能强大的api管理平台，旨在为开发、产品、测试人员提供更优雅的接口管理服务。提供了api文档管理，api数据模拟（Mock），调试和自动化测试api等功能可以帮助开发者轻松创建、发布、维护API，YApi还为用户提供了优秀的交互体验，开发人员
fantasymango·2018-03-14 11:14

LAMP平台搭建-apache篇

Apache以其开放源代码、可跨平台使用、支持各种编程语言、模块化设计、运行安全问稳定的特性被广泛应用于搭建企业的网站服务器。·Apache发布于1995年，后期通过了ApacheGroup到ASF的维护和管理。全称为“ApacheHTTPServer”，正式名称为“HTTP”。操作部分1、首先将apache的源码包解包到一个目录下，惯例选择解包到/usr/src下。2、将目录切换到/usr/sr
张晨chat·2018-03-09 12:58
上一页 48 49 50 51 52 53 54 55 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他