酷工作大数据运维

【Hibench 】完成 HDP-Spark 性能测试

✨个人主页——开着拖拉机回家_Linux,Java基础学习,大数据运维-CSDN博客✨希望本文能够给您带来一定的帮助文章粗浅，敬请批评指正！目录博主"开着拖拉机回家"带您GotoNewWorld.
开着拖拉机回家·2023-08-23 00:43

Linux运维发展与学习路线笔记

1.云计算运维、大数据运维、运维开发、应用运维、系统运维架构师、Linux系统运维。
冬青夏木·2023-08-20 11:51

【大数据运维之一】系统环境搭建

1、新建虚拟机菜单>文件>新建虚拟机，快捷键Ctrl+Nimage选择自定义，单击下一步image单击下一步image选择稍后安装操作系统image选择CentOS664位image设置虚拟机名称和虚拟机存放目录，单击下一步image设置虚拟机处理器数量、每个处理器的内核数量，单击下一步image设置虚拟机使用的内存大小，单击下一步image设置网络连接，选择使用网络地址转换(NAT)(E)ima
我是李小胖·2023-08-18 03:10

【PostgreSQL】系列之 一 用户创建和授权（三）

✨个人主页——开着拖拉机回家_Linux,Java基础学习,大数据运维-CSDN博客✨希望本文能够给您带来一定的帮助文章粗浅，敬请批评指正！目录博主"开着拖拉机回家"带您GotoNewWorld.
开着拖拉机回家·2023-08-05 23:50

【大数据运维-ambari】自定义fair-scheduler.xml配置文件导致ambari-server启动失败

将自定义fair-scheduler.xml放到/var/lib/ambari-server/resources/stacks/HDP/3.0/services/YARN/configuration目录下，重启ambari-server失败：日志显示：进ambari数据库查看发现数据应该是对的。删掉之前自定义的文件fair-scheduler.xml，重启ambari-server成功。
qq_24699905·2023-07-27 07:27

字节跳动云原生大数据平台运维管理实践

随着字节跳动内部业务的快速增长，传统大数据运维平台的劣势开始逐渐暴露，如组件繁多，安装运维复杂，与底层环境过度耦合；对业务方来说缺少开箱即用的日志、监控、告警功能等。
字节跳动云原生计算·2023-07-22 04:11

NISP-SO网络安全运维工程师

网络安全运维包括什么：系统运维，自动化运维，桌面运维，大数据运维
网安世纪小鹅NISP_CISP·2023-06-20 18:18

高并发大容量NoSQL解决方案探索

本文将基于个推SRA孟显耀先生所负责的DBA工作，和大数据运维相关经验，分享两大方向内容：一、公司在KV存储上的架构演进以及运维需要解决的问题；二、对NoSQL如何选型以及未来发展的一些思考。
java高并发·2023-04-17 19:49

大数据开发的前景和就业如何？该如何去学习它？

学习大数据可以从事很多工作，比如说：hadoop研发工程师、大数据研发工程师、大数据分析工程师、数据库工程师、hadoop运维工程师、大数据运维工程师、java大数据工程师、spark工程师等等都是我们可以从事的工作岗位
测试小扎·2023-04-11 11:26

【大数据是什么】

大数据运维工程师数据仓库开发工程师ETL工程师大数据开发工程师BI工程师算法工程师大数据平台开发工程师大数据架构师讲述一下自己的大数据学习之路大数据是做什么的？
BigDataTuTu·2023-04-07 16:11

大数据专业毕业后前景如何？能做什么职位？

大数据专业毕业生未来的岗位选择空间比较大，有三大类岗位可选择分别是大数据开发岗位、大数据分析岗位和大数据运维岗位，在不同的行业和技术体系结构下这些岗位也包含很多细分的岗
我想去吃ya·2023-04-01 11:19

大数据专业前景怎么样？

大数据专业毕业生未来的岗位选择空间比较大，有三大类岗位可选择分别是大数据开发岗位、大数据分析岗位和大数据运维岗位，在不同的行业和技术体系结构下这些岗位也包含很多细分的岗位。
我想去吃ya·2023-04-01 11:19

【库学科技】做到这几点你就是合格的数据工程师了

大数据工程师有不少细分方向，不同的方向需求具有不同的知识结构，通常情况下大数据工程师分为四个详细的作业范畴，分别是大数据底层渠道研制、大数据使用开发、大数据分析和大数据运维。大数据工程师是做什么的？
库学科技·2023-03-30 17:28

BAT大数据暑期面经（已拿蚂蚁，腾讯offer）

大数据实习面经（滴滴，头条，网易，微博，美团，360，数美）》之后,最近有一些闲暇时光，所以想把BAT的面经给大家分享一下，以下排名不分先后次序1.百度（二面挂）是做百度云盘监控的部门，不知道为何自己被推到了偏大数据运维的部门
fly先森·2023-03-24 00:08

闲聊 | 奥特曼又变成石像倒下，你还相信光吗？

9月24日，有网友发现《迪迦奥特曼》在B站、优酷、腾讯视频、爱奇艺等视频平台上均已无法观看正片，随后优酷工作人员回应：因内容调整优化暂无法观看，暂未收到具体通知。
端木胥·2023-03-18 22:24

大数据运维？还是大数据分析？

经常有同学在后台留言问我，自己觉得大数据行业薪资很高，想往大数据方向发展，但不知道该学哪些知识，应该具备的技能树是啥样的。迷茫和焦虑都要溢出屏幕了……如果觉得薪资高就业好，想往大数据方向发展，也不是不可以。那么你的专业是计算机相关专业？还是数学/统计专业？再不然工程专业，就是想转行干IT？那你对计算机的兴趣是什么呢？我列举下大数据岗位有哪些，你可以根据你的兴趣来找对应关系：对操作系统、硬件、网络
BigDataSam·2023-03-18 07:32

云栖大会|小米大数据运维管理体系的建设与实践

前言前段时间，很荣幸能参加云栖大会，并分享交流一个议题，接下来我们来回顾一下介绍这次给大家带来的题目是《小米大数据运维管理体系的建设和实践》今天整个分享分两部分，第一部分我们先来聊聊大数据运维数字化转型相关的内容看看运维层面如何做到化繁为简
BigData之路·2023-03-17 16:55

大数据平台性能监控

1.大数据运维监控体系监控维度主要监控项底层基础监控机房与网络（路由器、交换机等）、专线、服务器（CPU、内存、IO、磁盘、文件等）各类型日常的基础监控服务状态监控各类型标准组件存活状态（从业务的SLB
Jelly lee·2023-02-23 07:26

大数据和数据技术适不适合女孩子

对于女生来说，大数据领域的大部分岗位都是能够胜任的，包括数据采集、数据整理、数据存储、数据安全、数据分析、数据呈现和数据应用等岗位，除了大数据运维相关岗位之外，其他岗位还是比较适合女生从事的。
lxwangym·2023-02-03 00:27

转行大数据，编程学Java还是Python？

Python和大数据：Python本身的特点是高效率的开发和简单的维护，大数据运维领域也在普遍采用Python语言来编写管理脚本；Python语言目前在大数据和人工智能领域有广泛的应用，在数据科学领域，
蒋白白·2022-12-25 01:56

做大数据用java还是python_新手零基础学做大数据工程师，编程学Java还是Python比较好？...

PythonPython和大数据：Python本身的特点是高效率的开发和简单的维护，大数据运维领域也在普遍采用Python语言来编写管理脚本；Python语言目前在大数据和人工智能领域有广泛的应用，在数据科学领域
weixin_39537977·2022-12-17 10:21

阿里巴巴云原生大数据运维平台 SREWorks 正式开源

阿里巴巴云原生大数据运维平台SREWorks，沉淀了团队近10年经过内部业务锤炼的SRE工程实践，今天正式对外开源，秉承“数据化、智能化”运维思想，帮助运维行业更多的从业者采用“数智”思想做好高效运维。
阿里云技术·2022-12-16 16:14

大数据工程师应聘要求高么？好找工作么

大数据工程师不少细分方向，不同的方向需要具备不同的知识结构，分别是大数据底层平台研发、大数据应用开发、大数据分析和大数据运维。
我想去吃ya·2022-12-08 20:15

大数据从业人员需要哪些技能？

大数据团队的构成与基本要求一般来说，企业内部建立大数据团队，至少会包含以下几个类别：大数据开发工程师、大数据运维工程师、大数据架构师、有的还会有偏向业务侧的数据分析工程师。先说大数据运维工程师，从职责
IT转型指北·2022-11-27 21:10

零基础学习大数据路线和方向

大数据三大学习方向：大数据开发师、大数据架构师、大数据运维师大数据开发师和大数据架构师必须熟
bobo79888·2022-11-20 04:45

大数据开发工程师招聘要求高吗？

大数据工程师不少细分方向，不同的方向需要具备不同的知识结构，分别是大数据底层平台研发、大数据应用开发、大数据分析和大数据运维。
我想去吃ya·2022-11-03 11:25

学好大数据能做什么工作？

大数据运维
我想去吃ya·2022-10-08 16:21

基于神经网络的推荐算法,协同过滤推荐算法python

大数据运维的主要工作内容是什么？。
wenangou·2022-10-08 11:43

python大数据工程师需要掌握哪些_大数据工程师是做什么的？需要掌握哪些技能？...

大数据工程师有不少细分方向，不同的方向需要具备不同的知识结构，通常情况下大数据工程师分为四个具体的工作领域，分别是大数据底层平台研发、大数据应用开发、大数据分析和大数据运维。大数据工程师是做什么的？
weixin_39627361·2022-09-28 11:07

EMR重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器

大数据运维的挑战—如何保证集群稳定与运行效率企业级大数据集群通常拥有海量的数据存储、日常运算成干上万的计算任务，需要满足各类上层业务的计算需求。
·2022-09-16 16:43

EMR重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器

大数据运维的挑战—如何保证集群稳定与运行效率企业级大数据集群通常拥有海量的数据存储、日常运算成干上万的计算任务，需要满足各类上层业务的计算需求。
·2022-09-15 16:57

大数据运维linux系统服务管理(LAMP平台/nginx服务/jenkins自动化集成)-张勇-专题视频课程...

大数据运维linux系统服务管理(LAMP平台/nginx服务/jenkins自动化集成)—446人已学习课程介绍本课程讲解的是linux操作系统部署企业中用到的各种服务。
sundaytian·2022-09-07 14:22

大数据运维--生产环境处理问题汇总（持续更新中.......）

2020.0513hdfsdfsadmin-report查看HDFS集群状态Underreplicatedblocks副本数少于指定副本数的block数量Blockswithcorruptreplicas存在损坏副本的block的数据Missingblocks丢失block数量hdfsfsck-list-corruptfileblocks列出丢失的块hdfsfsck/tmp/temporary-b
lxqyx007·2022-09-07 14:39

大讲台大数据运维学习笔记

运维通俗的理解即为运行和维护，来保证系统和网站的正常运行，维护它们的安全。保证7×24小时的正常运行，数据的稳定、不丢失，并持续进行系统及网站的优化。那它具体是做什么的呢？1.备份有备无患，总是没错的！！！从数据库的备份、程序的备份到系统的备份，通过备份的方式，来防止数据的丢失。以免数据的故障或其他原因，让数据都消失了，造成一场不小的“灾难”。2.监视对日常的系统进行监视和管理，避免出现不必要的问
码中求乐·2022-09-07 14:35

大数据运维之MySQL备份及恢复

一、MySQL备份概述1、为什么要备份能够防止由于机械故障以及人为误操作带来的数据丢失，例如将数据库文件保存在了其它地方。冗余：数据有多份冗余，但不等备份，只能防止机械故障还来的数据丢失，例如主备模式、数据库集群。2、备份必须重视的内容备份内容databasesBinlogmy.conf所有备份数据都应放在非数据库本地，而且建议有多份副本。测试环境中做日常恢复演练，恢复较备份更为重要。3、备份过程
码农Maynor·2022-09-07 14:29

小白想学大数据？

一.大数据领域的从业人员，应该牢牢把握2018年大数据这三个大的技术方向：1、Hadoop大数据开发方向;2、数据挖掘、数据分析和机器学习方向;3、大数据运维和云计算方向。
铁拳虎·2022-08-26 11:06

spark 数据框 删除列_【学习笔记】大数据运维实战

大数据要解决的就是大规模数据存储、大规模数据计算、大规模数据处理，而Hadoop生态系统就是用来实现这些功能的。任务：电商平台里所有的用户在PC端和App上的浏览、点击、购买等行为日志都存放起来集中分析，并形成报表，以供老板每天查看。可以把大数据理解为Hadoop的生态圈(或者泛生态圈)。Hadoop生态圈里的各种软件，比如HDFS、Hive、Pig、Spark、Storm等，这些软件各有各的用途
weixin_39914863·2022-08-21 15:07

大数据运维工程师面试

当前你们公司使用的Hadoop版本是什么ambari2.5.1Hadoop2.7.3.2.6.2.14-5HDFS常见的数据压缩格式有哪些，介绍其中一种详细的实现方式1gzip压缩优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoopnative库；大部分linux系统都自带gzip命令，使用方便。缺点：不支持spl
龚帅立·2022-08-21 15:07

大数据运维 (四) 大数据平台运维总结

大家好，我是脚丫先生(o^^o)目前自己在运维方面，主要管理着CDH平台和HDP平台，同时负责着以docker的形式进行产品的交付。文章目录0、CDH集群配置、日志、jar包以及安装目录和常用命令汇总0.1关键目录（1）开启应用目录：默认可以直接敲命令行（2）日志目录（3）配置文件目录（4）安装各个组件目录（5）jar包目录（6）CDH加载的环境变量1、namenode出现missingblock
大数据指北·2022-08-21 15:34

【300+精选大厂面试题持续分享】大数据运维尖刀面试题专栏（六）

持续分享有用、有价值、精选的优质大数据面试题致力于打造全网最全的大数据面试专题题库51、如何迁移大数据平台中的Zookeeper集群？参考答案：（1）先将新增节点添加到原先的Zookeeper集群中同步数据（2）然后再将原先Zookeeper集群中的节点关闭掉即可52、zookeeper有哪些常用的应用场景？参考答案：（1）数据发布订阅（2）统一命令服务（3）分布式通知与协调（4）分布式锁（5）集
大数据研习社·2022-08-21 15:31

【300+精选大厂面试题持续分享】大数据运维尖刀面试题专栏（四）

持续分享有用、有价值、精选的优质大数据面试题致力于打造全网最全的大数据面试专题题库31、如果发现现有集群出现数据倾斜，生产环境中HBase出现数据倾斜了该如何解决呢？出现数据倾斜的原因到底是什么，换句话说，导致数据倾斜的罪魁祸首到底时开发，运维还是软件自身缺陷呢？参考答案：导致数据倾斜的原因是因为rowkey设计的不合理，跟HBase本身关系不大，这个我们在HBase组件运维的时候会讲解。32、最
大数据研习社·2022-08-21 15:31

大数据运维实战第二十九课 Hadoop 跨集群数据迁移应用实践

我们的Hadoop大数据平台已经运行多年，使用的版本是CDH5.8，平台上的各个组件（HDFS、Yarn、Hive、Spark）也都是基于这个版本的，但随着对Hadoop平台的深入使用，部分组件版本过低，有些新功能无法使用，这迫使我们必须要升级到新的版本。CDH5.8版本的Hadoop是基于Hadoop2.x的，此次升级计划从Hadoop2.x版本升级到3.x版本，相关依赖组件也一并升级。大数据平
办公模板库 素材蛙·2022-08-21 15:30

阿里巴巴云原生大数据运维平台 SREWorks 正式开源

目录一SREWorks是什么？二SREWorks有什么优势？体系化运维平台分层架构完整的数据化运维体系实践服务化的AIOps智能运维平台运维中台化、低代码化及云原生化运维开发体验三为什么要开源？四后续规划五写在最后作者：晟白随着行业不断发展，大数据&AI也逐渐呈现云原生化的趋势。复杂的业务场景及其背后涉及到的不同技术方向的开源和自研，使得产品运维面临技术复杂度高、规模大、场景多等挑战。阿里巴巴云原
阿里云大数据AI技术·2022-08-18 13:44

智慧电力供配电三维可视化大数据运维管理平台

智慧电力概述智慧电力是通过采用先进的大数据、云计算、物联网、边缘计算等技术，实现生产信息与管理信息的智慧，实现人、技术、经营目标和管理方法的集成，是企业管理思想的一个新突破。智慧电厂建设具备智能化、一体化、可观测、可互动、自学习、自寻优等九大能力，可为管理者及时提供过去和现在的数据，并能够预测未来和引导企业人员的工作，使信息技术与电力工业技术、现代管理技术有机融合，全面提升电厂的生产技术和经营管理
·2022-08-18 13:04

大数据知识体系

想成为一名合格的大数据架构师你必须要掌握这些内容https://cloud.tencent.com/developer/news/327486阶段一、大数据、云计算-Hadoop大数据开发技术课程一、大数据运维之
提莫_·2022-08-18 01:37

【大数据运维监控】Prometheus水平扩展Cortex的架构分析

Cortex由Weaveworks创建，是一个开放源码的时间序列数据库和监视系统，用于应用程序和微服务。基于Prometheus，Cortex增加了水平缩放和几乎无限的数据保留。Cortex的架构图Cortex中的工作的流程如下:Prometheus的作用Prometheus实例从各个目标中抓取样本，然后将他们推送到Cortex集群（直接远程写入API）。API本身在Http请求主体内发出批处理的
开发实习生·2022-08-12 20:59

大数据开发写sql写烦了，要不要转？

瞅瞅方向：如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。丰富自己的能力，到处都机会。
embelfe_segge·2022-08-01 13:29

大数据开发写sql写烦了，要不要转？

瞅瞅方向：如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。丰富自己的能力，到处都机会。
m0_67403188·2022-07-31 10:38

大数据运维架构师培训（5）：大数据管理平台（Cloudera CM/CDH/CDP）

一、风哥大数据运维架构师实战培训专题2.0介绍课程背景：为满足想学习和掌握大数据运维与体系架构的学员，风哥特别设计的一套比较系统的大数据库运维培训课程。
风哥2号·2022-07-29 09:16

大数据开发写sql写烦了，要不要转？

瞅瞅方向：如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。丰富自己的能力，到处都机会。
测试小扎·2022-07-12 12:47
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他