大数据运维

大数据爬坑收录

爬出过的坑大数据运维过程就是一个踩坑的过程。如下分享一些踩过的坑，以供参考，此文不定期更新，敬请关注。
WestC·2020-03-24 20:24

（前言）我的大数据学习之旅

一、大数据运维之Linux基础打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等。
Ares_song·2020-03-18 21:30

大数据运维问题记录(七)

问题描述:公司中一个项目我们用netty接收厂商提供的数据入kafka，接收速度较慢，入kafka也比较慢，需要对其进行一些优化。问题解决:利用一周左右的时间对其代码和相关配置进行了一些优化，并测试了一下性能，现将测试过程和结果分析进行总结。一.测试环境测试节点描述.png1.服务端主机配置如下表：服务端主机配置.png2.Kafka服务器配置如下表：kafka主机配置.png二.测试需求/目标在
火车飞侠·2020-03-02 00:23

运维三板斧

3.大数据运维和传统运维的不同1)硬件不同传统运维面对的底层软硬件基本稳固;大数据运维面对的是商用硬件和复杂Linux版本;2)架
sky9890·2020-02-24 14:43

大数据运维问题记录(五)

问题描述：集群中原有采集程序从源文件入hbase出现积压，优化修改程序都无济于事，需要赶紧出个方案进行解决问题解决：集群中的采集程序也有一条线是从源文件入到hdfs的，所以计划以hdfs里的数据为源数据采用mapreduce生成hfile后通过bulkload的方式入hbase避免了原始数据的清洗操作以下是开发的程序importjava.io.IOException;importorg.apach
火车飞侠·2020-02-23 02:05

大数据运维经理27道经典面试题

1.解释下什么是GPL,GNU,自由软件？GPL:(通用公共许可证)：一种授权，任何人有权取得、修改、重新发布自由软件的权力。GNU:(革奴计划)：目标是创建一套完全自由、开放的的操作系统。自由软件：是一种可以不受限制地自由使用、复制、研究、修改和分发的软件。主要许可证有GPL和BSD许可证两种。2.如何选择Linux操作系统版本?一般来讲，桌面用户首选Ubuntu；服务器首选RHEL或CentO
大象数据科学·2020-02-21 21:54

华为大数据运维HCIP认证

一、发布概述华为认证是华为公司基于“平台+生态”战略，围绕“云-管-端”协同的新ICT技术架构，打造的ICT技术架构认证、平台与服务认证、行业ICT认证三类认证，是业界唯一覆盖ICT全技术领域的认证体系。根据ICT从业者的学习和进阶需求，华为认证分为工程师级别、高级工程师级别和专家级别三个认证等级。华为认证覆盖ICT全领域，符合ICT融合的技术趋势，致力于提供领先的人才培养体系和认证标准，培养数字
智汇云校·2020-02-19 20:42

零基础转行学习大数据技术需要经过哪些学习步骤？

，当前通过学习大数据技术来进入IT行业发展是比较不错的选择，一方面当前的大数据技术已经趋于成熟，有很多案例可以参考学习，另一方面当前大数据领域的就业机会也相对比较多，岗位涉及到大数据分析、大数据开发、大数据运维等
IT编程之家·2020-02-15 16:00

零基础转行学习大数据技术需要经过哪些学习步骤？

，当前通过学习大数据技术来进入IT行业发展是比较不错的选择，一方面当前的大数据技术已经趋于成熟，有很多案例可以参考学习，另一方面当前大数据领域的就业机会也相对比较多，岗位涉及到大数据分析、大数据开发、大数据运维等
IT编程之家·2020-02-15 16:00

Linux云计算岗位的发展前景

基于安卓的VR设备大型互联网公司IDC主机操作系统（谷歌、淘宝、腾讯）各种智能设备操作系统，智能监控Linux运维相关工作岗位底层=>Linux系统运维工程师应用运维工程师-运维开发工程师大数据运维工程师
07f292389c8b·2020-02-05 04:32

魅族大数据运维平台实践

一、大数据平台介绍1.1大数据平台架构演变如图所示魅族大数据平台架构演变历程：2013年底，我们开始实践大数据，并部署了测试集群。当时只有三个节点，因为我们起步比较晚，没有赶上Hadoop1.0，直接是用YARN来跑的大数据集群，而且默认就上了HA功能；2014年9月节点增加到20个，数据日增30GB；2015年6月上线Spark和Hbase，同时节点达到100个，数据日增10T；2016年5月实
麦思博·2020-01-05 19:05

大数据与云计算学哪个前景更好？发展空间如何？

大数据领域的人才需求主要围绕大数据的产业链展开，涉及到数据的采集、整理、存储、安全、分析、呈现和应用，岗位多集中在大数据平台研发、大数据应用开发、大数据分析和大数据运维等几个岗位。
暮光倾城·2019-12-30 15:00

Hadoop学习路线

课程一、大数据运维之Linux基础本部分是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等众多课程
101之歌·2019-12-29 16:09

大数据运维问题记录(二)

问题描述：一个项目组的同事反应他们的集群hive突然出现了问题，走mr就报错问题解决：首先问了下他们最近做了些什么操作，说是最近在lib下复制了一些jar包，后来就出现这个问题，把复制过来的jar包删除了也没用，发了些日志也只是hive报出来的表面现象，所以还是远程协助进行解决，打开resourcemanager查看到出错的日志如下Applicationapplication_1464140393
火车飞侠·2019-12-28 15:11

大数据运维：大数据平台+海量数据

此时大数据开发人才非常紧缺，很多公司大数据从立项，到大数据平台构建，到项目整个流程开发，到后期大数据项目的运维，都是由大数据开发人员一手完成（此时少有专业大数据运维人才）。
大数据研习社·2019-12-25 18:00

大数据运维：大数据平台+海量数据

此时大数据开发人才非常紧缺，很多公司大数据从立项，到大数据平台构建，到项目整个流程开发，到后期大数据项目的运维，都是由大数据开发人员一手完成（此时少有专业大数据运维人才）。
大数据研习社·2019-12-25 18:00

Nginx 高级配置-自定义json格式日志

在大数据运维工作中，我们经常会使用flume，filebeat相关日志收集工具取收集日志，但这些日志在收集前都日志基本上都是json格式的，通过flume收集日志到hdfs集群，开发人员就直接使用java
尹正杰·2019-12-16 05:00

剖析Spark数据分区之Hadoop分片

针对这种问题，大数据运维工程
OPPO互联网技术·2019-12-14 13:07

魅族大数据运维平台实践

一、大数据平台介绍1.1大数据平台架构演变如图所示魅族大数据平台架构演变历程：2013年底，我们开始实践大数据，并部署了测试集群。当时只有三个节点，因为我们起步比较晚，没有赶上Hadoop1.0，直接是用YARN来跑的大数据集群，而且默认就上了HA功能；2014年9月节点增加到20个，数据日增30GB；2015年6月上线Spark和Hbase，同时节点达到100个，数据日增10T；2016年5月实
Cynthia成·2019-11-07 13:33

关于大数据运维能力的一些思考

作者简介：20年IT工作经验，曾在华为、HP、移动、电网等国内外知名IT企业任职；关注领域包括证券、航空、制造、电信、电网等。在数据库开发和优化、数据仓库、系统架构、大中型项目管理、部门管理、数据挖掘和分析、数据治理、大数据方面有一定研究。早在2011年的时候，收到一个任务，就是自研一套运维管理平台，当时基于硬件（CPU、内存、硬盘、网络）的开源运维平台业已成熟，但为什么要自研呢？1、2010年前
jeanron100·2019-10-19 00:49

大数据运维的工作职责

原文链接：https://www.cnblogs.com/yinzhengjie/p/10587721.html一.集群管理大数据需要分布式系统，也就是集群：Hadoop，Hbase，Spark，Kafka，Redis等大数据生态圈组建。二.故障处理1>.商用硬件使用故障是常态。2>.区分故障等级，优先处理影响实时性业务的故障。三.变更管理1>.以可控的方式，高效的完成变更工作；2>.包括配置管理
蘑菇丁·2019-10-09 15:22

Linux学习day1

IT行业的工作方向云计算–大数据运维：Linux操作系统（windows–桌面工程师）包括1.Linux运维---（web架构）---（搭建自己的个人网站）2.虚拟化---openstack---docker
Cm0-0·2019-07-30 19:21

运维岗位是边缘岗位么？裁员对运维有影响么？

D.系统运维(后台服务运维)，企业里运营关键业务的人员(Linux运维、数据库运维、devops运维工程师，云计算运维工程师，大数据运维工程师)企业离不开运维，运维也十分重要，手
老男孩oldboy·2019-07-08 14:37

大数据运维题库2018年

501.配置masterNode的主机名为：master；slaver1Node的主机名为：slaver1。将查询2个节点的主机名信息以文本形式提交到答题框。[root@master~]#hostnamemaster[root@slave~]#hostnameslave502.修改2个节点的hosts文件，配置IP地址与主机名之间的映射关系。将查询hosts文件的信息以文本形式提交到答题框。[ro
mn525520·2019-06-26 21:26

大数据运维Hive

Hive题：启动先电大数据平台的Hive数据仓库,启动Hvie客户端,通过Hive查看hadoop所有文件路径（相关数据库命令语言请全部使用小写格式）。[root@master~]#hivelog4j:WARNNosuchproperty[maxFileSize]inorg.apache.log4j.DailyRollingFileAppender.Logginginitializedusingc
mn525520·2019-06-26 20:57

大数据、云计算系统顶级架构师课程学习路线图

大数据、云计算系统架构师顶级课程阶段一、大数据、云计算-Hadoop大数据开发技术课程一、大数据运维之Linux基础本部分是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习Hadoop，
haotian1685·2019-05-09 21:34

零基础学习大数据的路线和方向

大数据三大学习方向：大数据开发师、大数据架构师、大数据运维师互联网科技发展蓬勃兴起，人工智能时代来临，抓住下一个
铁拳虎·2019-01-25 16:27

深度解析大快DKadoop大数据运维管理平台功能

关于DKHadoop下载安装基本已经讲清楚了，这几天有点空闲把大快DKM大数据运维管理平台的内容整理了一些，作为DKHadoop相配套的管理平台，是有必要对DKM有所了解的。
adnb34g·2019-01-11 15:00

深度解析大快DKadoop大数据运维管理平台功能

关于DKHadoop下载安装基本已经讲清楚了，这几天有点空闲把大快DKM大数据运维管理平台的内容整理了一些，作为DKHadoop相配套的管理平台，是有必要对DKM有所了解的。
adnb34g·2019-01-11 15:00

大数据知识体系

课程一、大数据运维之Linux基础本部分是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等众多课程
探索者一号·2018-12-28 14:42

大数据开发技术学习方向

一、大数据运维之Linux基础打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等。
congcangnuo6739·2018-12-20 11:06

高并发大容量NoSQL解决方案探索

本文将基于个推SRA孟显耀先生所负责的DBA工作，和大数据运维相关经验，分享两大方向内容：一、公司在KV存储上的架构演进以及运维需要解决的问题；二、对NoSQL如何选型以及未来发展的一些思考。
ERIIISED·2018-05-22 15:22

系列课程：大米运维课堂-系统基础篇-上篇

：（讲解运维这个词汇的诞生以及意义）0.5-1课时运维概念的引入包括企业的大致运作模式，运维职位的定义，运维铁三角的讲解最终引入服务器维护和IDC的概念基础运维IDC运维，运维开发，高级运维（涵盖），大数据运维
大白猫儿·2018-02-23 18:56

MONGODB大数据运维管理

数据库管理备份MONGODB服务器执行mongodump//默认使用本地连接127及端口连接本地数据库数据库恢复到备份之前的状态:mongorestore--drop##--drop选项告诉mongorestore工具,在恢复集合之前先丢弃现有的数据,如果不使用该选项,被恢复的数据将被追加到每个集合的尾部,导致数据的重复备份单个数据库mongodump-ddatabase_name-cpost##
DBAspace·2017-12-12 16:07

不错的大数据课程体系（感谢某机构，希望不属于侵权）

2019独角兽企业重金招聘Python工程师标准>>>阶段一、大数据、云计算-Hadoop大数据开发技术课程一、大数据运维之Linux基础本部分是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习
weixin_34088838·2017-11-13 23:00

魅族大数据运维平台实践

 一、大数据平台介绍1.1大数据平台架构演变如图所示魅族大数据平台架构演变历程：2013年底，我们开始实践大数据，并部署了测试集群。当时只有三个节点，因为我们起步比较晚，没有赶上Hadoop1.0，直接是用YARN来跑的大数据集群，而且默认就上了HA功能；2014年9月节点增加到20个，数据日增30GB；2015年6月上线Spark和Hbase，同时节点达到100个，数据日增10T；2016年5月
msup789·2017-10-14 10:16

大数据运维工程师面试题目

当前你们公司使用的Hadoop版本是什么HDFS常见的数据压缩格式有哪些，介绍其中一种详细的实现方式HDFS垃圾回收的时间模式是多久，如何修改该时间HDFS如何生效机架感知，取消机架感知有什么问题HDFS常见的运维操作有哪些，哪些操作是高危的，如果高危操作出现问题，如何解决HDFS常见的故障是什么，如何处理，是否可以给出三种预案来防范大部分常见故障你经历过哪些严重的Hadoop故障HDFS常用的I
fanren224·2017-10-10 16:03

大数据领域三个大的技术方向资料

大数据领域三个大的技术方向：1、Hadoop大数据开发方向2、数据挖掘、数据分析&机器学习方向3、大数据运维&云计算方向大数据学习什么Python：Python的排名从去年开始就借助人工智能持续上升，现在它已经成为了语言排行第一名
ejinxian·2017-09-27 09:12

CNUTCon福利大放送&精彩回顾

【大数据运维】百度运维大数据存储平台设计与实践4.【智能化运维】基于日志trace的智能故障定位系统5.【运维自动化】百度大规模时序数据自动异常检测实战9月10-11日，5位
AIOps智能运维·2017-09-15 00:00

大数据云计算学习路线

大数据开发篇项目部分大数据之阿里云企业级认证篇仅限面授与直播学员大数据之Java企业级核心技术篇大数据之PB级别网站性能优化篇项目部分大数据之数据挖掘分析机器学习篇项目部分大数据之运维云计算平台篇项目部分阶段一大数据云计算-Hadoop大数据开发技术课程一大数据运维之
AI李俊超·2017-08-17 22:28

大数据运维基础面试

简要描述如何安装hadoop1设置IP，主机名，配置SSH免密码登录2安装JDK3解压hadoop安装包4配置hadoop的核心文件hadoop-env.sh，core-site.xml,mapred-site.xml，hdfs-site.xml5配置hadoop环境变量6格式化hadoopnamenode-format7启动节点start-all.shhadoop是怎么运行的？hadoop是项目
fanren224·2017-06-16 06:26
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他