【大数据开发】第18页

大数据行业现在工作很难找吗？

我想去吃ya·2022-11-03 11:53

大数据开发学习路径是怎么样的？

要说当下IT行业什么最火？ABC无出其右。所谓ABC者，AI+BigData+Cloud也，即人工智能、大数据和云计算(云平台)。每个领域目前都有行业领袖在引领前行，今天我们来讨论下大数据BigData这个方向。二，大数据里面的角色角色一：大数据工程大数据工程需要解决数据的定义、收集、计算与保存的工作，因此大数据工程师们在设计和部署这样的系统时首要考虑的是数据高可用的问题，即大数据工程系统需要实时

李旭me·2022-11-01 07:52

游族网络xStarRocks：高效助力数据查询，灵活应对多维分析

作者：刘成彬，游族网络资深大数据开发游族网络股份有限公司（SZ.002174）成立于2009年，总部位于上海，在德国、新加披、日本、韩国、印度等十余个国家设有分支机构。

·2022-10-30 23:05

大数据开发好找工作么？还能入行么？

如今，大数据无处不在，它被广泛地应用到各个领域中。似乎我们对大数据已经并不陌生了，但是关于大数据的定义和概念，相信没几个人能够说清楚。那么，当我们在谈大数据的时候到底在谈什么呢？下面就带大家彻底认识大数据，包括大数据的定义、特点、应用场景以及和云计算的关系。下面就一起来看看吧！1、什么是大数据？关于大数据的解释，比较官方的定义是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是

我想去吃ya·2022-10-28 16:13

土木工程成功转行程序员，真香~

但本人对于这份工作是极其不喜欢的……学科|Python+大数据开发校区|上海薪资|13k+14~18薪大家好，我是龚同学，顺利从黑马程序员毕业。找到工作后一直都想为这半年的生活状态和经历做个总结。

Blue92120·2022-10-27 18:05

【Java全栈学习路线】最全的Java学习路线及知识清单，Java自学方向指引

【Java全栈学习路线】Java面向对象有哪些特征，如何应用前言一、JavaSE基础二、JavaWeb三、SSM框架四、Linux运维五、分布式与微服务六、大数据开发前言自学Java怎么学，找对方向最关键

´Code_Wang·2022-10-22 14:07

【大数据开发面试笔记】

大数据开发面试笔记本篇博客是本人学习大数据开发各种框架和经历各种面试总结的一些笔记，不全在面试中遇到，可以当做知识复习巩固，如果您希望查看重点，可以重点看kafka和flink相关的问题（本人在面试中遇到比较多

爱酸柠檬·2022-10-16 07:27

猿创征文｜破世界纪录的国产数据库 - OceanBase

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。

一头小山猪·2022-10-16 07:06

大数据开发离线计算框架知识点总结

大数据开发离线计算框架知识点总结，大数据在带来发展机遇的同时，也带来了新的挑战，催生了新技术的发展和旧技术的革新。

我想去吃ya·2022-10-13 12:05

挑战海量数据：基于Apache DolphinScheduler对千亿级数据应用实践

点亮⭐️Star·照亮开源之路GitHub:https://github.com/apache/dol...精彩回顾近期，初灵科技的大数据开发工程师钟霈合在社区活动的线上Meetup上中，给大家分享了《

·2022-10-11 17:22

重构实时离线一体化数仓，Apache Doris 在思必驰的应用实践

作者：赵伟，思必驰大数据高级研发，10年大数据开发和设计经验，负责大数据平台基础技术和OLAP分析技术开发。社区贡献：Doris-spark-connector的实时读写和优化。

·2022-10-10 16:40

学好大数据能做什么工作？

大数据开发工程师：主要工作负责大数据技术开发，例如，编写离线处理程序、数据差集、数据ETL等。大数据运维

我想去吃ya·2022-10-08 16:21

About云双11两大福利：送书【9本】|送1T资源

我们知道当前大数据已经普及，人工智能已经升级为国家战略，人工智能开发必将跟Java、大数据开发一样普及，而Python是人工智能最受欢迎的语言，这里送了关于Python的算法书籍、数据分析与挖掘、从入门到精通

about云·2022-10-05 09:16

大数据入门：Flink核心概念详解

以Flink框架来说，作为新一代的流计算框架，越来越多地出现在大数据开发者们的技能树当中。今天的大数据入门分享，我们就来讲讲FLink的几个核心概念。

加米谷大数据张老师·2022-10-04 14:03

MapReduce经典案例-数据去重

在大数据开发中，统计大数据集上的多种数据指标，这些复杂的任务数据都会涉及数据去重。2.案例需求及分析(1)分析是否可以使用MapReduce处理此需求。(2)如何处理此需求，Map阶段？

诺特兰德·2022-10-04 08:11

数据库、数据仓库、大数据平台、数据中台、数据湖大对比

主要包括以下几个方面：目录数据什么是大数据数据分析与数据挖掘的区别是什么数据库什么是数据库数据库中的分布式事务理论数据仓库什么是数据仓库数据库与数据仓库有什么区别什么是数据集市大数据平台什么是大数据平台什么是大数据开发平台数据中台什

灵境旅行家·2022-10-03 07:31

数据库、数据仓库、大数据平台、数据中台、数据湖对比分析

主要包括以下几个方面：数据什么是大数据数据分析与数据挖掘的区别是什么数据库什么是数据库数据库中的分布式事务理论数据仓库什么是数据仓库什么是数据集市数据库与数据仓库的区别是什么大数据平台什么是大数据平台什么是大数据开发平台数据

csdn-延·2022-10-03 07:13

大数据开发和软件开发哪个前景好？

大数据开发学习有难度，零基础入门要先学习Java语言打基础，然后进入大数据技术体系的学习，Hadoop、Spark、Storm等知识。软件开发工程师根据不同的学科从事的岗位也千差万别。

骨灰级收藏家·2022-09-29 19:53

大数据开发要学Java框架吗？

从java基础开始,学习大数据开发过程中必备的离线数据分析、实时数据分析和内存数据计算等，掌握大数据体系中几乎所有的核心技术。

骨灰级收藏家·2022-09-29 19:23

大数据自学要多久？为什么零基础自学大数据那么久？

伴随着大数据时代的冲击，大数据开发相关的技术人才成为目前招聘市场炙手可热的高薪岗位，越来越多想要通过技术获得高薪工作的同学选择大数据技术方向。

我想去吃ya·2022-09-28 11:40

什么人适合学习大数据开发？学大数据难吗？

什么人适合学习大数据开发？学大数据难吗？

我想去吃ya·2022-09-28 11:09

本科应届生应聘大数据开发工程师，有机会吗？

本科应届生想去应聘大数据开发工程师的岗位有没有机会？我平时用的语言是Java和Python，看过《机器学习实战》(python)和《Hadoop权威指南》，确实很多地方一知半解，也没有实践过。

大数据基础入门教程·2022-09-28 10:37

大数据开发工程师到底是干嘛的？日常做什么呢？

最近后台收到很多私信，内容大都差不多，总结下来就是：目前在学习大数据专业，想提前了解一下大数据开发工程师的工作职责是怎么的？需要提前准备些什么？大数据分了哪些岗位？

程序员小陶·2022-09-28 10:37

转大数据开发，适合什么岗位？

/转岗原因分析/相信有不少人在从事某个行业一定时间之后都有过想要转岗的想法，或许是薪资达不到心理预期，或者是技术上遇到瓶颈等等等等。下面我们来梳理一下一个人工作一段时间后，为什么想要转岗的可能原因吧，从转岗前工作和想转去的岗位两个角度我们来简单总结一下：转岗前工作情况行业发展前景不佳，要么过于冷门，要么趋于饱和工作内容重复，枯燥，技能提升不明显薪水涨幅小目前工作与个人性格相悖，比如性格内向的人从事

大数据基础入门教程·2022-09-28 10:06

大数据开发的作用是什么？

首先从工作内容，大数据开发主要负责大数据的大数据挖掘，数据清洗的发展，数据建模工作，主要负责处理和大数据应用，结合大数据可视化分析工程师，挖掘出价值的数据，为企业提供业务发展支持。

大数据基础入门教程·2022-09-28 10:06

java大数据开发做什么你知道吗？大数据的职业发展规划

你想过自己的未来规划吗？java大数据程序员只需要学到技术就行吗？1.如何成为大数据工程师Java开发是IT行业的经典岗位，行业当中存在普遍的需求，Web开发、Android开发、游戏开发等基本上Java语言是主力队伍。而进入大数据时代，Java又在大数据方向上有了用武之地，又该如何进行成长路线规划。在Java程序界流行着一种默认的说法叫黄金5年，也就是一个程序员从入职的时候开始算起，前五年的选择

Duminh·2022-09-28 10:36

2020年大数据行业就业如何，大数据开发工程师需求大吗？

因为疫情的影响，2020年大的就业环境不景气，所以，近段时间越来越多的朋友开始担心自己就业问题，想要学习大数据课程的朋友也有点慌了阵脚，学完大数据就业该怎么办？2020年大数据行业仍被看好，在就业形势不好的情况下，更需要不断更新自己的技能水平，多学习技能，才能不被淘汰。不管是什么时候，淘汰的都是那些无法顺应时代发展的人。大数据行业就业薪资以及行业前景：1、大数据行业目前还处在发展初期，虽然落地应用

jiamigudashuju·2022-09-28 10:36

高薪岗位大数据开发工程师要如何入门？【重磅】

最近，谷歌爸爸又收购了一家公司。长期以来，谷歌致力于推动围绕GoogleCloud的企业业务，但在这方面一直被亚马逊和微软吊打，这次的收购正是为了弥补自身的短板。被收购的CaskData是一家专门提供基于Hadoop的大型数据分析服务解决方案的初创公司。基于此，谷歌进一步加强他的大数据分析能力。除了谷歌、微软、亚马逊、IBM等国际大佬全力布局大数据外，国内企业也积极投入大数据的怀抱，无论是BAT这

bobo79888·2022-09-28 10:05

大数据开发工程师是做什么的？岗位要求高吗？

大数据开发工程师是做什么的？岗位要求高吗？大数据开发工程师要负责数据仓库建设、ETL开发、数据分析、数据指标统计、大数据实时计算平台及业务开发、平台建设及维护等工作内容。

我想去吃ya·2022-09-28 10:33

在 KubeSphere 中部署高可用 Redis 集群

作者：余生大大，大数据开发工程师，云原生爱好者，KubeSphere社区用户。前言Redis是在开发过程中经常用到的缓存中间件，在生产环境中为了考虑稳定性和高可用一般为集群模式的部署。

·2022-09-26 10:12

redis 主从配置_Redis6.0主从、哨兵、集群搭建和原理

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！

weixin_39729115·2022-09-26 09:05

学习大数据必须了解的大数据开发课程大纲

大数据开发最核心的课程就是Hadoop框架，几乎可以说Hadoop就是大数据开发。

安靜@忧伤·2022-09-25 10:00

计算机大数据的前景方向_大数据专业未来就业前景如何？

首先，从近两年大数据方向研究生的就业情况来看，大数据领域的岗位还是比较多的，尤其是大数据开发岗位，目前正逐渐从大数据平台开发向大数据应用开发领域覆盖，这也是大数据开始全面落地应用的必然结果。

weixin_39808877·2022-09-24 14:20

码农转型大数据开发有必要吗？有前景吗？

想要学习大数据开发，第一件事并不是要找书籍或者是找视频教程，而是要了解一下大数据行业前景，了解一下成为大数据工程师需要具备什么样的能力，掌握哪些技能我当初学习大数据之前也有过这样的问题，作为一个过来人，

juan777·2022-09-24 14:17

从开发角度看羊了个羊

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。

一头小山猪·2022-09-24 12:57

Pandas数据分析：快速图表可视化各类操作详解+实例代码(一)

目录前言一、基础绘图：plot二、底图板块1.条形图2.直方图点关注，防走丢，如有纰漏之处，请留言指教，非常感谢前言一般我们做数据挖掘或者是数据分析，再或者是大数据开发提取数据库里面的数据时候，难免只能拿着表格数据左看右看

fanstuck·2022-09-23 15:15

50万年薪都招不来大数据开发工程师，究竟是什么样的？

2010年，大数据投资热潮与大数据岗位需求集中爆发，时至今日，大数据的热度仍高居不下。从360指数来看，目前大数据在市场的热度远远高于前几年特别火的产品经理。大数据如此火热，身边很多人对于大数据的相关趋势及词汇都能随口就来。但如果问他大数据和他之间的关系，却很难能说出一二三来。大家虽置身于大数据环境下，耳濡目染各种新的概念，但是真正参与实践大数据的案例少之又少，造成了对大数据整体认知的缺失。下面讲

chigubiao4837·2022-09-22 14:22

Pandas数据分析：快速图表可视化各类操作详解+实例代码(三)

目录前言一、六边形箱图二、饼图三、缺失数据绘制处理点关注，防走丢，如有纰漏之处，请留言指教，非常感谢前言一般我们做数据挖掘或者是数据分析，再或者是大数据开发提取数据库里面的数据时候，难免只能拿着表格数据左看右看

fanstuck·2022-09-22 07:34

Pandas数据分析：快速图表可视化各类操作详解+实例代码(二)

目录前言一、箱线图二、面积填充图三、散点图点关注，防走丢，如有纰漏之处，请留言指教，非常感谢前言一般我们做数据挖掘或者是数据分析，再或者是大数据开发提取数据库里面的数据时候，难免只能拿着表格数据左看右看

fanstuck·2022-09-21 07:26

ApacheCon Asia 2022 精彩回顾 | 如何让更多人从大数据中获益？

点亮⭐️Star·照亮开源之路GitHub:https://github.com/apache/dolphinscheduler在ApacheConAsia2022Meetup上，有着十余年大数据开发工作经验

·2022-09-20 14:46

大数据计算框架-FLINK精华篇1

这些都迫使大数据开发人员需要掌握一种流（实时）处理框架。而Flink正是这块的佼佼者，因此Flink无疑就被捧上了神座。一、Flink是个什么玩

他们叫我技术总监·2022-09-16 13:07

大数据开发之小文件合并

问题背景：MR计算引擎一般把一次查询切分成多个stage，每个stage是一次MapReduce计算，而MapReduce计算则是将多个MapTask读取到的数据，划分成不同的分区，汇聚到不同的Reduce上进行计算。Spark计算引擎也是先将一次查询划分成多个stage，各自计算，再写入表中。文件的平均大小=分区大小/文件数，理想情况下，文件的平均大小在128MB~256MB之间，如果文件的平均

归去来？·2022-09-16 13:36

[大数据开发]什么是堡垒机？带你了解堡垒机！

主要目录1.背景2.讲个故事吧（堡垒机的作用）3.什么是堡垒机3.1定义define3.2工作机制3.3堡垒机运维操作审计的工作原理4.使用堡垒机4.1堡垒机部署4.2配置思路4.3堡垒机的使用5.堡垒机品牌1.背景公司集群有堡垒机节点，不知不觉听到“堡垒机”这个词已经有些日子了。emmm…（由于周围的小伙伴搞开发表较多，这个属实得问运维…询问未果后决定自己查资料！）2.讲个故事吧（堡垒机的作用）

bigdata王一·2022-09-14 14:26

比MySQL快801倍，OLAP两大神器ClickHouse和Doris到底怎么选？

2021年4月程序员薪资水平，大数据开发工程师：月薪低至5K，高达45K，差距相当大在信息化时代，数据即价值。

公众号:肉眼品世界·2022-09-14 07:16

DolphinScheduler&RocketMQ 联合 Meetup 即将重磅开启，集中展示任务调度与消息队列能力！

在大数据开发中，任务调度和消息队列是两个非常关键的能力。任务调度对异步、周期性

·2022-09-13 18:37

Flink面试题大全(建议收藏)

时至今日，Flink已经发展到1.9版本，在大数据开发领域，面试中对于Flink的考察已经是大数据开发求职者必须面对的，本文结合自己作为面试官过

无精疯·2022-09-08 10:23

一幅长文细学华为MRS大数据开发（五）——MapReduce和Yarn

5MapReduce和Yarn摘要：本文中主要讲述大数据领域中最著名的批处理和离线处理计算框架——MapReduce，包括MapReduce的原理、流程、使用场景，以及Hadoop集群中负责统一的资源管理和调度的组件——Yarn。作者：来自ArimaMisaki创作文章目录5MapReduce和Yarn5.1基本介绍5.1.1MapReduce概述5.1.2资源调度与分配5.1.3Yarn概述5.

ArimaMisaki·2022-09-07 20:09

一文快速了解MaxCompute

同时，很多拥有大数据开发经验的开发者，也希望能够结合自身的背景知识，将MaxCompute产品能力与开源项目、商业软件之间建立某种关联和映射，以快速寻找或判断MaxCompute是否满足自身的需要，并结合相关经验更轻松地学习和使用产品

阿里云技术·2022-09-07 14:19

阿里云大数据工厂DataWorks学习之--数据同步任务常见日志报错总结

在使用大数据开发套件时最常用的就是数据同步模块，工单里最常见的问题就是其中数据同步的问题，这里总结一些常见一些从Maxcompute到其他数据源的同步任务报错案例，主要是日志中出现数据回滚写入的问题。

weixin_34128411·2022-09-07 13:40

推荐频道

【大数据开发】