酷工作大数据运维

一个暑假打通 Linux 任督二脉，技术天团带你11周成为运维大咖！

据统计，2017年上海的大数据运维工程师平均薪资为15500/月。实验楼推出了「楼+linux运维与DevOps实战」实训
实验楼v·2020-07-10 22:05

HIVE- 大数据运维之hive管理

我现在在一家公司负责大数据平台（CDH平台）的运维管理，最常遇见的问题我总结出来，并且继续在下面更新。希望方便自己以后troubleshooting以及方便各位同行解决问题与学习。关于做运维有几个重要的要点一定一定要遵守的：遇到问题冷静，冷静，冷静，就山崩都要冷静，心态关乎你是否能将问题解决同时不会给人留下不好的印象。凡是关于对集群更改与变动的操作，一定要在测试环境测试到没问题才上生产，不然可能会
weixin_34186950·2020-07-10 08:37

Hadoop ha CDH5.15.1-hadoop集群启动后，两个namenode都是standby模式

然而在这一个小时内，我都心里活动真的是跌宕起伏呀～不是因为放假，而是身为一名大数据运维技术人员需要替公司大数据生态圈中面临都各种问题。这不，遇到了一个奇葩
weixin_33724570·2020-07-10 07:18

大数据运维问题记录(八)

问题描述:一个hbase集群出现数据倾斜，并且服务器经常会宕机问题解决:登录60010界面查看region的分布情况，发现region分布不均衡Paste_Image.png同时RegionsinTransiton报如下问题:Paste_Image.png重启masterserver问题依旧执行assign'REGIONNAME'命令后问题依旧同时查看该region所在regionserver的信
火车飞侠·2020-07-09 18:45

酷工作丨金山 wps 招聘中/高级开发工程师、高新兴高级前端开发、秦丝科技高级 Java/移动端混合开发工程师

为此特设「酷工作板块」，以便企业发布相关招聘信息，也为社区开发者提供招聘信息参考。
芒果果·2020-07-07 03:40

大数据测试

大数据运维，通俗来说就是对集群健康的监控；各种与集群相关组件的使用，如hive，hbase，spark，zookeeper,redis,pig,solr,kafka,flume等，都属于运维的范畴；数据库的备份
eosclover·2020-07-06 10:37

大数据开发都需要掌握哪些编程语言

大数据编程语言的选择要根据具体的工作岗位来进行，目前大数据领域的工作岗位包括大数据平台研发、大数据应用开发、大数据分析和大数据运维，除了大数据平台研发之外，其他岗位的人才需求量还是比较大的，尤其是大数据分析岗位
程序员老金·2020-07-06 06:54

2019-07-16

day13课程过半回顾总结01.第一阶段回顾:服务器硬件知识1.系统运维工作:网络安全运维云计算运维大数据运维数据库运维DBA运维开发(自动化运维)监控运维三大职责:保证数据不丢失保证服务7*24小时稳定运行提升用户访问体验
ManBu_x·2020-07-05 05:48

day 12

第一个阶段回顾：服务器硬件知识1.系统运维工作网络安全运维云计算运维大数据运维数据库运维DBA运维开发(自动化运维)监控运维三点职责:保证数据不丢失保证服务7*24小时稳定运行提升用户访问体验2.服务器硬件组成
斗魂_2e5d·2020-07-04 17:17

大数据运维问题记录(四)

问题描述：有个hadoop集群，跑hive任务的时候慢，而且经常跑的跑的就挂了，报内存不够等等的相关异常，需要我们给解决，优化一下配置问题解决：跑hive慢，一方面是hive语句的问题，另一方面就是hadoop中mapreduce已经yarn的相关配置没有配置好，第一方面需要项目组开发人员自己解决了，学习如何根据业务优化一下sql参数配置优化就需要平衡集群中机器的内存，处理器和磁盘的使用Yarn和
火车飞侠·2020-07-02 17:49

day 12操作系统阶段梳理

一.第一个阶段回顾：服务器硬件知识1.系统运维工作（包含哪方面的运维)网络安全运维云计算运维大数据运维数据库运维DBA运维开发（自动化运维）监控运维运维的三大职责：1.保证数据不丢失，不露2.保证服务7
流云若雨_e3eb·2020-07-02 02:37

大数据开发、大数据分析、大数据运维主要工作各是什么？哪个好？

大数据开发、大数据分析、大数据运维都围绕着大数据展开。如果我们把大数据去掉，就只剩下，开发，分析，运维。当然还有其它的工作，例如运营，产品，讲师，测试等。
ZS_520·2020-06-30 13:30

Logstash+filebeat 7.6 实现监控服务异常日志并钉钉告警

我作为唯一的一个大数据运维，考虑将日志异常信息接入钉钉机器人告警。
星期天的亚索·2020-06-30 12:03

酷工作丨Sea Group 大量前端后端工程师坑位、神策数据招聘前端架构师/工程师

为此特设「酷工作板块」，以便企业发布相关招聘信息，也为社区开发者提供招聘信息参考。
芒果果·2020-06-30 09:55

如何入门大数据

这篇文章，写给：刚刚入门大数据的同学现在，大数据方向的大致分为以下几类：1.大数据工程师（平台开发）2.大数据运维（平台维护）3.数据分析师（算法、机器学习等）4.大数据科学家因为我的方向就是大数据工程师
ysjh0014·2020-06-30 09:20

Hive架构

所以我们仍要再谈Hive架构，希望将积累的经验总结出一套完整而又易懂的Hive架构，借此为行业新人开路，为大数据运维排忧。Hive是典型C/S模式。
RangeYan2012·2020-06-30 06:50

大数据开发、运维、架构都是干什么的？薪资哪个高？

在大数据的世界里面主要有三个学习方向，大数据开发师、大数据运维师、大数据架构师。哪个好？我不知道你所说的哪个好？指的是哪一块，这三个都好，谁也离不开谁！
wwdede·2020-06-29 21:47

运维工程师 能力要求

文章目录一、运维工程师发展路径二、系统运维工程师的技能要求三、web运维技能要求四、大数据运维工程师五、容器运维工程师七、日志下面简单介绍下，运维重点收集的日志数据有哪些部分以及用途。
万金油——King·2020-06-29 06:26

linux运维升级路线

如：今年大数据，人工智能比较火……(相对表示就是Python比较火）之前写过运维基础篇，发现对很多人收益挺大，接下来也写下关于这4年多的运维实践经验，从事了2年多游戏运维，1年多安全运维，1年大数据运维
weixin_30852419·2020-06-28 01:37

大数据领域三个大的技术方向

大数据领域三个大的技术方向：1、Hadoop大数据开发方向2、数据挖掘、数据分析&机器学习方向3、大数据运维&云计算方向大数据学习什么在这里还是要推荐下我自己建的大数据学习交流群:529867072，群里都是学大数据开发的
大数据交流·2020-06-27 18:07

魅族大数据运维平台实践

一、大数据平台介绍1.1大数据平台架构演变如图所示魅族大数据平台架构演变历程：2013年底，我们开始实践大数据，并部署了测试集群。当时只有三个节点，因为我们起步比较晚，没有赶上Hadoop1.0，直接是用YARN来跑的大数据集群，而且默认就上了HA功能；2014年9月节点增加到20个，数据日增30GB；2015年6月上线Spark和Hbase，同时节点达到100个，数据日增10T；2016年5月实
麦思博·2020-06-27 14:39

最全Linux学习笔记

Linux学习笔记Linux运维的岗位：运维开发应用运维系统运维工程师：最顶级的云计算运维大数据运维Linux系统运维学习路径：系统管理服务管理脚本开发系统扩展常见站点系统架构演变单机：HttpPHPmodulephpappmysqlhttptomcatjspappMysql
csm_81·2020-06-25 18:24

【大数据运维监控】Prometheus 可视化页面 Grafana

文章目录基本概念DataSourceOrganizationUsers小结代码总结Grafana其实是没什么好讲的，这里记录下也是因为这个星期在做这个Grafana的多租户设置以及Grafana服务器的分发，所以也就简单的记录下。基本概念在Grafana里面的基础的概念说多不多，说少不少。这里也不准备全部介绍，就简单的讲一下，笔者在使用的过程中所用到的几个功能模块。DataSource数据源，这是
开发实习生·2020-06-25 06:44

零基础学习大数据适合什么方向

大数据三大学习方向：大数据开发师、大数据架构师、大数据运维师数据开发师和大数据架构师必须熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作
美食江湖·2020-06-24 16:05

大数据运维Flume

Flume题：1.在master节点安装启动Flume组件,打开LinuxShell运行flume-ng的帮助命令,查看Flume-ng的用法信息。[root@master~]#flume-nghelpUsage:/usr/hdp/2.6.1.0-129/flume/bin/flume-ng.distro[options]…commands:helpdisplaythishelptextagent
mn525520·2020-06-24 15:52

大数据运维HBase

HBase题：启动先电大数据平台的Hbase数据库,其中要求使用master节点的RegionServer。在LinuxShell中启动Hbaseshell,查看HBase的版本信息。（相关数据库命令语言请全部使用小写格式）[root@master~]#hbaseshellHBaseShell;enter‘help’forlistofsupportedcommands.Type“exit”tole
mn525520·2020-06-24 15:52

大数据运维框架(一)--几类比较常用的自动化运维工具

最近老大在做一个组内的平台框架，配套的，需要一个自动化运维平台来对组内业务的部署和配置和程序预警做一个支持。开始做这个项目，首先，对几种可以借鉴的自动化部署工具做了调研。其中出了总结的内容，其他的大部分内容是从网络和书本上获取的，侵权必删：1.选型要素首先，框架目标功能是实现以下几点（服务器数量较少）：1.JDK和scala的自动安装和环境变量的自动配置。2.Kakfa框架的自动化部署3.Spar
lilyjoke·2020-06-24 05:39

大数据开发、大数据分析、大数据运维主要工作各是什么？哪个好？

大数据开发、大数据分析、大数据运维都围绕着大数据展开。如果我们把大数据去掉，就只剩下，开发，分析，运维。当然还有其它的工作，例如运营，产品，讲师，测试等。
数据僧·2020-06-23 14:47

酷工作丨阿里巴巴内推、高顿教育高级前端工程师、中原银行多岗位招聘

为此特设「酷工作板块」，以便企业发布相关招聘信息，也为社区开发者提供招聘信息参考。
芒果果·2020-06-23 07:14

提前突击了这近200道大数据面试题，果然头条、京东都给了Offer

面试题包括Java、大数据开发、大数据运维、大数据分析、大数据架构等等Q1：老师线上6000+规模集群，抛开一些其它组件集群，仅讨论HDFS数据存储集群，保守理应也在有3000节点左右，想知道这些存储节点只是单集群
大数据研习社·2020-06-23 02:00

大数据运维：大数据平台+海量数据

此时大数据开发人才非常紧缺，很多公司大数据从立项，到大数据平台构建，到项目整个流程开发，到后期大数据项目的运维，都是由大数据开发人员一手完成（此时少有专业大数据运维人才）。
大数据研习社·2020-06-23 02:00

大数据运维 | 集群_监控_CDH_Docker_K8S_两项目_云服务器

说明：大数据时代，传统运维向大数据运维升级换代很常见，也是个不错的机会。
大数据研习社·2020-06-23 02:00

大数据运维文档

大数据运维文档一hadoop相关运维1系统环境由于机器安装时，硬盘挂在不同，所以hadoop安装路径可能不同。默认hadoop相关集群项目路径在/app目录下。
ciqingloveless·2020-06-22 23:17

大快搜索DKM大数据运维管理平台深度解析

关于DKHadoop下载安装基本已经讲清楚了，这几天有点空闲把大快DKM大数据运维管理平台的内容整理了一些，作为DKHadoop相配套的管理平台，是有必要对DKM有所了解的。
adnb34g·2020-06-22 12:48

微信许家滔：微信10亿日活场景下，后台微服务架构及存储架构实践！

数据猿最新招聘公告：①阿里数据中台品牌团队杭州四大职位虚位以待②蚂蚁金服大数据部2020实习生招募全面启动③TalkingData北京招资深银行行业BD...④数数科技上海招大数据运维支持工程师...大数据产业创新服务媒体
数据猿·2020-06-22 09:59

大数据运维初探之Hadoop搭建（入门）

0.大数据技术分类1.批处理框架：Mapreduce批处理历史数据2.流处理框架：storm一直处理源源不断的数据3.混合处理框架：spark1.生态圈核心项目1.HDFS分布式文件系统2.yarn调度与管理3.mapreduce数据并行处理2.生态圈相关项目1.hive数据仓库基础架构2.hbase分布式数据库3.ambari监控与管理4.spark快速计算5.zookeeper协调服务等等3.
@一只弱鸡·2020-06-22 07:37

day12--操作系统阶段梳理

课程知识回顾(提问环节)省略第一个阶段回顾:服务器硬件知识系统运维工作网络安全运维云计算运维大数据运维数据库运维DBA运维开发(自动化运维)监控运维3点职责:保证数据不丢失保证服务7*24小时稳定运行提升用户访问体验服务器硬件组成
IT小白_鑫茂·2020-06-22 06:25

大数据运维之hadoop的概念单机搭建HDFS集群搭建1

目录数据运维的概念以及hadoop概念Hadoop模式:单机,伪分布式,完全分布式和搭建数据运维的概念以及hadoop概念运维需要做的工作:收集数据,搭建平台,数据分析,反馈结果大数据能做什么企业组织利用相关数据分析帮助他们降低成本,提高效率,开发新产品,做出更明智的业务决策等把数据集合并后进行分析得出的信息和数据关系性,用来察觉商业趋势,判定研究质量,大规模并行出来数据库,数据挖掘电网,分布式文
zhy-dream·2020-06-21 15:12

大数据运维学习之路

hadoop组成原理flink组成原理hive组成原理zookeeper组成原理spark组成原理hbase组成原理kafka组成原理Impala组成原理storm组成原理elasticsearch组成原理flume组成原理azkaban组成原理Oozie组成原理CDH组成原理ambari组成原理sqoop组成原理HUE组成原理kettle组成原理Kylin组成原理ClickHouse组成原理Ku
火树银花之处·2020-06-21 15:51

先电openstack云计算比赛个人记录

Docker容器运维6.大数据+安卓1.参赛内容简介本人才疏学浅，如有错误，还望各位不吝赐教，谢谢参赛试题基本都差不多，基本包括以下几个方面openstack环境搭建openstack运维docker大数据运维安卓开发样题下载
wz392949231·2020-06-21 14:36

大数据运维之日志管理——ELK+beat搭建

文章目录1.场景2.组件3.流程4.安装FileBeat5.安装Logstash6.搭建ElasticSearch集群6.安装kibana1.场景在开发项目时，我们可能开发很多程序，或者使用很多sparktask处理数据等等，在多个服务器上产生很多个日志文件，在需要查看日志或者排错时，如果去服务器上查看会非常繁琐。2.组件E——ElasticSearchL——LogstashK——Kibana可以
Mr.Lu_1·2020-06-21 13:40

大数据运维方向面试题

一、基础题1.请写出http和https请求的区别，并写出遇到过的响应状态码.一、https协议需要到ca申请证书，一般免费证书很少，需要交费。二、http是超文本传输协议，信息是明文传输，https则是具有安全性的ssl加密传输协议。三、http和https使用的是完全不同的连接方式，用的端口也不一样，前者是80，后者是443。四、http的连接很简单，是无状态的；HTTPS协议是由SSL+HT
weixin_30549657·2020-06-21 10:55

酷工作丨金山 WPS 内推、Sea Group 前端/后端工程师、Shopee 各类程序员在招

为此特设「酷工作板块」，以便企业发布相关招聘信息，也为社区开发者提供招聘信息参考。
芒果果·2020-06-21 02:09

酷工作丨网易/腾讯招前端开发工程师、今日头条实习和高级岗位招聘

为此特设「酷工作板块」，以便企业发布相关招聘信息，也为社区开发者提供招聘信息参考。
芒果果·2020-06-21 02:35

漫谈ELK在大数据运维中的应用

本文旨在针对复杂的大数据运维系统推荐一把利器，达到抛砖引玉的效果，如果文中出现任何纰漏和错误的地方，恳请指正，欢迎讨论，希望大家不吝赐教。众所周知，大数据平台组件是很复杂的。
周建丁·2020-06-21 01:26

我是如何从运维转岗到开发

2018年7年毕业的我，从事大数据运维工作，如今工作接近两年，内部换岗到大数据开发工作，对我来说是新的开始，也是一段全新的挑战。
b601ad2de836·2020-06-13 17:51

酷工作 丨字节跳动内推、美团点评技术专家、极智嘉算法工程师、秉理科技 Web 前端研发工程师

为此特设「酷工作板块」，以便企业发布相关招聘信息，也为社区开发者提供招聘信息参考。
芒果果·2020-06-01 12:20

酷工作丨 第四范式多个职位内推、shopee长期大量招聘测试/大数据工程师

为此特设「酷工作板块」，以便企业发布相关招聘信息，也为社区开发者提供招聘信息参考。
芒果果·2020-05-27 23:31

酷工作丨 阿里巴巴国际化部门内推、问境科技大量岗位、云杉急招时序数据库研发工程师

为此特设「酷工作板块」，以便企业发布相关招聘信息，也为社区开发者提供招聘信息参考。
芒果果·2020-05-27 23:35

酷工作 | 阿里巴巴 P8,P9 岗位、字节跳动内推，梅卡曼德初高级算法工程师

为此特设「酷工作板块」，以便企业发布相关招聘信息，也为社区开发者提供招聘信息参考。
芒果果·2020-05-27 17:10
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他