大数据运维

Hadoop ha CDH5.15.1-hadoop集群启动后，两个namenode都是standby模式

然而在这一个小时内，我都心里活动真的是跌宕起伏呀～不是因为放假，而是身为一名大数据运维技术人员需要替公司大数据生态圈中面临都各种问题。这不，遇到了一个奇葩
weixin_33724570·2020-07-10 07:18

大数据运维问题记录(八)

问题描述:一个hbase集群出现数据倾斜，并且服务器经常会宕机问题解决:登录60010界面查看region的分布情况，发现region分布不均衡Paste_Image.png同时RegionsinTransiton报如下问题:Paste_Image.png重启masterserver问题依旧执行assign'REGIONNAME'命令后问题依旧同时查看该region所在regionserver的信
火车飞侠·2020-07-09 18:45

大数据测试

大数据运维，通俗来说就是对集群健康的监控；各种与集群相关组件的使用，如hive，hbase，spark，zookeeper,redis,pig,solr,kafka,flume等，都属于运维的范畴；数据库的备份
eosclover·2020-07-06 10:37

大数据开发都需要掌握哪些编程语言

大数据编程语言的选择要根据具体的工作岗位来进行，目前大数据领域的工作岗位包括大数据平台研发、大数据应用开发、大数据分析和大数据运维，除了大数据平台研发之外，其他岗位的人才需求量还是比较大的，尤其是大数据分析岗位
程序员老金·2020-07-06 06:54

2019-07-16

day13课程过半回顾总结01.第一阶段回顾:服务器硬件知识1.系统运维工作:网络安全运维云计算运维大数据运维数据库运维DBA运维开发(自动化运维)监控运维三大职责:保证数据不丢失保证服务7*24小时稳定运行提升用户访问体验
ManBu_x·2020-07-05 05:48

day 12

第一个阶段回顾：服务器硬件知识1.系统运维工作网络安全运维云计算运维大数据运维数据库运维DBA运维开发(自动化运维)监控运维三点职责:保证数据不丢失保证服务7*24小时稳定运行提升用户访问体验2.服务器硬件组成
斗魂_2e5d·2020-07-04 17:17

大数据运维问题记录(四)

问题描述：有个hadoop集群，跑hive任务的时候慢，而且经常跑的跑的就挂了，报内存不够等等的相关异常，需要我们给解决，优化一下配置问题解决：跑hive慢，一方面是hive语句的问题，另一方面就是hadoop中mapreduce已经yarn的相关配置没有配置好，第一方面需要项目组开发人员自己解决了，学习如何根据业务优化一下sql参数配置优化就需要平衡集群中机器的内存，处理器和磁盘的使用Yarn和
火车飞侠·2020-07-02 17:49

day 12操作系统阶段梳理

一.第一个阶段回顾：服务器硬件知识1.系统运维工作（包含哪方面的运维)网络安全运维云计算运维大数据运维数据库运维DBA运维开发（自动化运维）监控运维运维的三大职责：1.保证数据不丢失，不露2.保证服务7
流云若雨_e3eb·2020-07-02 02:37

大数据开发、大数据分析、大数据运维主要工作各是什么？哪个好？

大数据开发、大数据分析、大数据运维都围绕着大数据展开。如果我们把大数据去掉，就只剩下，开发，分析，运维。当然还有其它的工作，例如运营，产品，讲师，测试等。
ZS_520·2020-06-30 13:30

Logstash+filebeat 7.6 实现监控服务异常日志并钉钉告警

我作为唯一的一个大数据运维，考虑将日志异常信息接入钉钉机器人告警。
星期天的亚索·2020-06-30 12:03

如何入门大数据

这篇文章，写给：刚刚入门大数据的同学现在，大数据方向的大致分为以下几类：1.大数据工程师（平台开发）2.大数据运维（平台维护）3.数据分析师（算法、机器学习等）4.大数据科学家因为我的方向就是大数据工程师
ysjh0014·2020-06-30 09:20

Hive架构

所以我们仍要再谈Hive架构，希望将积累的经验总结出一套完整而又易懂的Hive架构，借此为行业新人开路，为大数据运维排忧。Hive是典型C/S模式。
RangeYan2012·2020-06-30 06:50

大数据开发、运维、架构都是干什么的？薪资哪个高？

在大数据的世界里面主要有三个学习方向，大数据开发师、大数据运维师、大数据架构师。哪个好？我不知道你所说的哪个好？指的是哪一块，这三个都好，谁也离不开谁！
wwdede·2020-06-29 21:47

运维工程师 能力要求

文章目录一、运维工程师发展路径二、系统运维工程师的技能要求三、web运维技能要求四、大数据运维工程师五、容器运维工程师七、日志下面简单介绍下，运维重点收集的日志数据有哪些部分以及用途。
万金油——King·2020-06-29 06:26

linux运维升级路线

如：今年大数据，人工智能比较火……(相对表示就是Python比较火）之前写过运维基础篇，发现对很多人收益挺大，接下来也写下关于这4年多的运维实践经验，从事了2年多游戏运维，1年多安全运维，1年大数据运维
weixin_30852419·2020-06-28 01:37

大数据领域三个大的技术方向

大数据领域三个大的技术方向：1、Hadoop大数据开发方向2、数据挖掘、数据分析&机器学习方向3、大数据运维&云计算方向大数据学习什么在这里还是要推荐下我自己建的大数据学习交流群:529867072，群里都是学大数据开发的
大数据交流·2020-06-27 18:07

魅族大数据运维平台实践

一、大数据平台介绍1.1大数据平台架构演变如图所示魅族大数据平台架构演变历程：2013年底，我们开始实践大数据，并部署了测试集群。当时只有三个节点，因为我们起步比较晚，没有赶上Hadoop1.0，直接是用YARN来跑的大数据集群，而且默认就上了HA功能；2014年9月节点增加到20个，数据日增30GB；2015年6月上线Spark和Hbase，同时节点达到100个，数据日增10T；2016年5月实
麦思博·2020-06-27 14:39

最全Linux学习笔记

Linux学习笔记Linux运维的岗位：运维开发应用运维系统运维工程师：最顶级的云计算运维大数据运维Linux系统运维学习路径：系统管理服务管理脚本开发系统扩展常见站点系统架构演变单机：HttpPHPmodulephpappmysqlhttptomcatjspappMysql
csm_81·2020-06-25 18:24

【大数据运维监控】Prometheus 可视化页面 Grafana

文章目录基本概念DataSourceOrganizationUsers小结代码总结Grafana其实是没什么好讲的，这里记录下也是因为这个星期在做这个Grafana的多租户设置以及Grafana服务器的分发，所以也就简单的记录下。基本概念在Grafana里面的基础的概念说多不多，说少不少。这里也不准备全部介绍，就简单的讲一下，笔者在使用的过程中所用到的几个功能模块。DataSource数据源，这是
开发实习生·2020-06-25 06:44

零基础学习大数据适合什么方向

大数据三大学习方向：大数据开发师、大数据架构师、大数据运维师数据开发师和大数据架构师必须熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作
美食江湖·2020-06-24 16:05

大数据运维Flume

Flume题：1.在master节点安装启动Flume组件,打开LinuxShell运行flume-ng的帮助命令,查看Flume-ng的用法信息。[root@master~]#flume-nghelpUsage:/usr/hdp/2.6.1.0-129/flume/bin/flume-ng.distro[options]…commands:helpdisplaythishelptextagent
mn525520·2020-06-24 15:52

大数据运维HBase

HBase题：启动先电大数据平台的Hbase数据库,其中要求使用master节点的RegionServer。在LinuxShell中启动Hbaseshell,查看HBase的版本信息。（相关数据库命令语言请全部使用小写格式）[root@master~]#hbaseshellHBaseShell;enter‘help’forlistofsupportedcommands.Type“exit”tole
mn525520·2020-06-24 15:52

大数据运维框架(一)--几类比较常用的自动化运维工具

最近老大在做一个组内的平台框架，配套的，需要一个自动化运维平台来对组内业务的部署和配置和程序预警做一个支持。开始做这个项目，首先，对几种可以借鉴的自动化部署工具做了调研。其中出了总结的内容，其他的大部分内容是从网络和书本上获取的，侵权必删：1.选型要素首先，框架目标功能是实现以下几点（服务器数量较少）：1.JDK和scala的自动安装和环境变量的自动配置。2.Kakfa框架的自动化部署3.Spar
lilyjoke·2020-06-24 05:39

大数据开发、大数据分析、大数据运维主要工作各是什么？哪个好？

大数据开发、大数据分析、大数据运维都围绕着大数据展开。如果我们把大数据去掉，就只剩下，开发，分析，运维。当然还有其它的工作，例如运营，产品，讲师，测试等。
数据僧·2020-06-23 14:47

提前突击了这近200道大数据面试题，果然头条、京东都给了Offer

面试题包括Java、大数据开发、大数据运维、大数据分析、大数据架构等等Q1：老师线上6000+规模集群，抛开一些其它组件集群，仅讨论HDFS数据存储集群，保守理应也在有3000节点左右，想知道这些存储节点只是单集群
大数据研习社·2020-06-23 02:00

大数据运维：大数据平台+海量数据

此时大数据开发人才非常紧缺，很多公司大数据从立项，到大数据平台构建，到项目整个流程开发，到后期大数据项目的运维，都是由大数据开发人员一手完成（此时少有专业大数据运维人才）。
大数据研习社·2020-06-23 02:00

大数据运维 | 集群_监控_CDH_Docker_K8S_两项目_云服务器

说明：大数据时代，传统运维向大数据运维升级换代很常见，也是个不错的机会。
大数据研习社·2020-06-23 02:00

大数据运维文档

大数据运维文档一hadoop相关运维1系统环境由于机器安装时，硬盘挂在不同，所以hadoop安装路径可能不同。默认hadoop相关集群项目路径在/app目录下。
ciqingloveless·2020-06-22 23:17

大快搜索DKM大数据运维管理平台深度解析

关于DKHadoop下载安装基本已经讲清楚了，这几天有点空闲把大快DKM大数据运维管理平台的内容整理了一些，作为DKHadoop相配套的管理平台，是有必要对DKM有所了解的。
adnb34g·2020-06-22 12:48

微信许家滔：微信10亿日活场景下，后台微服务架构及存储架构实践！

数据猿最新招聘公告：①阿里数据中台品牌团队杭州四大职位虚位以待②蚂蚁金服大数据部2020实习生招募全面启动③TalkingData北京招资深银行行业BD...④数数科技上海招大数据运维支持工程师...大数据产业创新服务媒体
数据猿·2020-06-22 09:59

大数据运维初探之Hadoop搭建（入门）

0.大数据技术分类1.批处理框架：Mapreduce批处理历史数据2.流处理框架：storm一直处理源源不断的数据3.混合处理框架：spark1.生态圈核心项目1.HDFS分布式文件系统2.yarn调度与管理3.mapreduce数据并行处理2.生态圈相关项目1.hive数据仓库基础架构2.hbase分布式数据库3.ambari监控与管理4.spark快速计算5.zookeeper协调服务等等3.
@一只弱鸡·2020-06-22 07:37

day12--操作系统阶段梳理

课程知识回顾(提问环节)省略第一个阶段回顾:服务器硬件知识系统运维工作网络安全运维云计算运维大数据运维数据库运维DBA运维开发(自动化运维)监控运维3点职责:保证数据不丢失保证服务7*24小时稳定运行提升用户访问体验服务器硬件组成
IT小白_鑫茂·2020-06-22 06:25

大数据运维之hadoop的概念单机搭建HDFS集群搭建1

目录数据运维的概念以及hadoop概念Hadoop模式:单机,伪分布式,完全分布式和搭建数据运维的概念以及hadoop概念运维需要做的工作:收集数据,搭建平台,数据分析,反馈结果大数据能做什么企业组织利用相关数据分析帮助他们降低成本,提高效率,开发新产品,做出更明智的业务决策等把数据集合并后进行分析得出的信息和数据关系性,用来察觉商业趋势,判定研究质量,大规模并行出来数据库,数据挖掘电网,分布式文
zhy-dream·2020-06-21 15:12

大数据运维学习之路

hadoop组成原理flink组成原理hive组成原理zookeeper组成原理spark组成原理hbase组成原理kafka组成原理Impala组成原理storm组成原理elasticsearch组成原理flume组成原理azkaban组成原理Oozie组成原理CDH组成原理ambari组成原理sqoop组成原理HUE组成原理kettle组成原理Kylin组成原理ClickHouse组成原理Ku
火树银花之处·2020-06-21 15:51

先电openstack云计算比赛个人记录

Docker容器运维6.大数据+安卓1.参赛内容简介本人才疏学浅，如有错误，还望各位不吝赐教，谢谢参赛试题基本都差不多，基本包括以下几个方面openstack环境搭建openstack运维docker大数据运维安卓开发样题下载
wz392949231·2020-06-21 14:36

大数据运维之日志管理——ELK+beat搭建

文章目录1.场景2.组件3.流程4.安装FileBeat5.安装Logstash6.搭建ElasticSearch集群6.安装kibana1.场景在开发项目时，我们可能开发很多程序，或者使用很多sparktask处理数据等等，在多个服务器上产生很多个日志文件，在需要查看日志或者排错时，如果去服务器上查看会非常繁琐。2.组件E——ElasticSearchL——LogstashK——Kibana可以
Mr.Lu_1·2020-06-21 13:40

大数据运维方向面试题

一、基础题1.请写出http和https请求的区别，并写出遇到过的响应状态码.一、https协议需要到ca申请证书，一般免费证书很少，需要交费。二、http是超文本传输协议，信息是明文传输，https则是具有安全性的ssl加密传输协议。三、http和https使用的是完全不同的连接方式，用的端口也不一样，前者是80，后者是443。四、http的连接很简单，是无状态的；HTTPS协议是由SSL+HT
weixin_30549657·2020-06-21 10:55

漫谈ELK在大数据运维中的应用

本文旨在针对复杂的大数据运维系统推荐一把利器，达到抛砖引玉的效果，如果文中出现任何纰漏和错误的地方，恳请指正，欢迎讨论，希望大家不吝赐教。众所周知，大数据平台组件是很复杂的。
周建丁·2020-06-21 01:26

我是如何从运维转岗到开发

2018年7年毕业的我，从事大数据运维工作，如今工作接近两年，内部换岗到大数据开发工作，对我来说是新的开始，也是一段全新的挑战。
b601ad2de836·2020-06-13 17:51

第一篇 - SRE闲谈

经常会有人说运维是苦力活，很多的运维在大家眼中成了一个不值钱的角色，但是随着sre的兴起，K8S的流行，以及devops的茁壮成长，系统运维/运维开发/云运维/大数据运维/中间件运维/应用运维等详细的岗位划分也逐渐出现
None_6769·2020-05-14 21:28

想要从事大数据技术，需要Python还是Java语言?

首先，掌握编程语言是很多大数据岗位的基础要求，比如说大数据平台开发、大数据应用开发、大数据分析和大数据运维等都需要具备扎实的编程语言基础，才可以拥有更好的发展。
老男孩IT·2020-05-12 11:46

一文带你认清运维岗位

文章目录IDC机房运维：售前运维桌面运维实施运维系统运维和自动化运维运维开发数据库运维大数据运维DevOps运维后续：近日，跟已经毕业的学员聊天，因为疫情的关系，还有很多学员没有复工，或者在家里办公，平时事情也不多
高胜寒|职场引路人·2020-04-13 23:03

Linux运维工程师学习成长的四个阶段！

比如云计算系统工程师，大数据运维工程师，运维开发工程师其职位都是Linux运维工程师的进阶。下面就整体介绍下，怎么学习Linux，以及Linux入门和学习的路线。
汇巨科技·2020-04-13 05:12

个推技术学院：高并发大容量NoSQL解决方案探索

本文将基于个推SRA孟显耀先生所负责的DBA工作，和大数据运维相关经验，分享两大方向内容：一、公司在KV存储上的架构演进以及运维需要解决的问题；二、对NoSQL如何选型以及未来发展的一些思考。
个推大数据·2020-04-12 20:46

华为中国区大学生ICT大赛2018云计算大数据赛道决赛考试大纲

考试内容描述云计算&大数据赛道决赛覆盖80%IT考点和20%IP考点，内容包括但不限于：IT考点覆盖存储、云计算和大数据的三个技术方向的基础知识，内容包括：存储SAN和NAS业务知识和应用，云计算私有云知识和应用，大数据运维管理和应用技
誉天education·2020-04-12 11:52

大数据运维问题记录(九)

问题描述:部门承接的某运营商的CRM项目日志查询出现延迟，最高延迟达半小时，严重影响业务运行。问题解决:首先对他们的数据流向进行了解后得知，数据是从Flume采集到Kafka再由Sparkstreaming到Elasticsearch,Elasticsearch做为数据存储，版本为2.3.2，CRM系统就是在前端对Elasticsearch进行查询，在此之前Elasticsearch集群出现过一次
火车飞侠·2020-04-09 21:42

大数据领域三个大的技术方向

大数据领域三个大的技术方向：1、Hadoop大数据开发方向2、数据挖掘、数据分析&机器学习方向3、大数据运维&云计算方向大数据学习什么Python：Python的排名从去年开始就借助人工智能持续上升，现在它已经成为了语言排行第一名
烽火程序猿·2020-04-09 16:33

大数据运维问题记录(一)

问题描述：在hive里运行selectcount(1)操作一个表时，老是失败，但是其它sql确不报错能正常跑出结果问题解决：查看日志，发现会出现如下错误Error:CouldnotcreatetheJavaVirtualMachine.Error:Afatalexceptionhasoccurred.Programwillexit.首先想到的是可能内存不够啊，于是增加以下两个参数分别设置为2048
火车飞侠·2020-04-09 03:36

大数据系统运维2019

培训目标：了解大数据运维都有什么内容大数据系统核心组件介绍性能调优策略实战离线服务平台介绍业务实时监控介绍Hadoop集群硬件监控通过应用案例了解工作方法与流程大数据运维概览大数据的运维案例回顾：运维内容运维工作流程运维支撑平台大数据运维涉及哪些内容大数据运维关注的问题大数据运维平台的典型架构大数据系统核心组件介绍
zhanggliy·2020-04-01 20:03

Apache NiFi大数据数据处理和分发系统培训实战

培训对象大数据开发团队、大数据运维团队、数据采集和ETL人员、数据治理和管理人员课程大纲主题内容模块1：Nifi原理和架构Nifi的功能概述Nifi原理和架构Nifi基本模块介绍NifiGroups、Processor
zhanggliy·2020-03-25 18:46
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他