【大数据开发】

大数据开发必须掌握的五大核心技术

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。一、数据采集与预处理对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散
xyzkenan·2022-09-07 10:39

大数据开发必须掌握哪些技术？

大数据开发的工具与语言：编程语言（Java，python，R语言等）1、大数据离线处理架构Hadoop（基于JAVA）开源免费，懂JavaSE；2、大数据实时计算的架构storm（基于JAVA）开源免费
juan333·2022-09-07 09:06

想学好大数据开发，要掌握哪些技术

大数据开发的工具与语言：编程语言（Java，python，R语言等）1、大数据离线处理架构Hadoop（基于JAVA）开源免费，懂JavaSE；2、大数据实时计算的架构storm（基于JAVA）开源免费
asd3331380·2022-09-07 09:02

大数据开发，就要掌握哪些技术？

大数据开发的工具与语言：编程语言（Java，python，R语言等）1、大数据离线处理架构Hadoop（基于JAVA）开源免费，懂JavaSE；2、大数据实时计算的架构storm（基于JAVA）开源免费
asd3331380·2022-09-07 09:02

【面经】Thoughtworks 大数据开发面经

1.自我介绍2.结对编程面试之前会给一个GitHub仓库，需要提前下载，配置环境，运行代码，熟悉代码。2.1讲一下代码是干什么的提前熟悉理解即可。2.2知道TDD吗测试驱动开发。建议提前学习B站视频。2.3重构代码，实现三个需求按照测试驱动开发的方法：先写测试样例并运行-不通过；修改业务逻辑代码；运行测试代码，不通过返回第二步骤，直到通过测试。3.介绍简历上的项目项目中用到了Elasticsear
和风与影·2022-09-05 19:03

全链路数据治理实操演练营，互联网、金融、制造等行业都适用！

大数据开发治理平台DataWorks推出多个大数据训练营（持续更新中），全域数据集成训练营可完成多种数据源、多种网络环境下的离线同步与实时同步。参营还可领取定制无线充、定制折扇！
阿里云开发者·2022-08-30 22:26

专科学历能学习大数据开发吗？

近来不少想转行大数据的同学在跟我的的交流中诉说到:想做IT行业，但是学历太低啦。怕花了时间和精力来学习IT相关知识，最后却找不到相应的工作，一起努力都付诸东流。对于这类学生，一般会建议他们来学习大数据，为了前沿技术，为了高薪。具体原因是什么呢，下面一起来了解一下。1.因为大数据是IT行业中比较炙热的项目，现在各个用人单位对于大数据相关的人才需求量特别的大。相关统计数据显示，未来3~5年，中国需要1
大数据—————————————————·2022-08-26 11:45

学大数据可以从事什么工作？前景如何？

接下来我们就具体说下学大数据可以从事的岗位：1、大数据开发工程师开发，建设，测试和维护架构，负责公司大数据平台的开发和维护，负责大数
我想去吃ya·2022-08-26 11:44

python大数据和java大数据的区别-学大数据开发，java和python都需要学吗？

谢邀。对比java和python后者还算是小语种。不知道楼主的具体情况如何。根据个人情况，建议先学java，毕竟你目前的需求是尽快找到更合适的技术工作，java择业面相对较宽，虽然也难学，但学习资源丰富，上手肯定比python快，等你通过java站稳脚跟了，再去试试python不迟。目前看来，Java主流，Go最有潜力，但我说一个优秀的java程序员工资也不低。现在互联网行情就目前互联网行情而言，
weixin_37988176·2022-08-26 11:42

小白想学大数据？

一.大数据领域的从业人员，应该牢牢把握2018年大数据这三个大的技术方向：1、Hadoop大数据开发方向;2、数据挖掘、数据分析和机器学习方向;3、大数据运维和云计算方向。
铁拳虎·2022-08-26 11:06

Java后端开发工程师是否该转大数据开发？

本文描述一下我对java后端和是否转大数据开发的个人见解。
JAVA_bx·2022-08-26 11:04

大数据为什么这么火？为什么那么多人转型？

这句话至少传递两种信息：1、大数据是海量的数据2、大数据处理无捷径，对分析处理技术提出了更高的要求在这里还是要推荐下我自己建的大数据学习交流群:199427210，群里都是学大数据开发的，如果你正在学习大数据
juan11115·2022-08-25 14:18

袋鼠云思枢：数栈DTinsight，创新升级，全新出发，驶入数智转型新赛道

作为袋鼠云打造的一站式大数据开发与治理平台——数栈DTinsight，包括离线数据开发、实时数据开发、数据服务、数据资产四款
·2022-08-24 12:33

全链路数据治理实操演练营，互联网、金融、制造等行业都适用！

大数据开发治理平台DataWorks推出多个大数据训练营（持续更新中），全域数据集成训练营可完成多种数据源、多种网络环境下的离线同步与实时同步。参营还可领取定制无线充、定制折扇！
·2022-08-23 17:47

全链路数据治理实操演练营，互联网、金融、制造等行业都适用！

大数据开发治理平台DataWorks推出多个大数据训练营（持续更新中），全域数据集成训练营可完成多种数据源、多种网络环境下的离线同步与实时同步。参营还可领取定制无线充、定制折扇！
·2022-08-19 12:53

Ding！您有一份ChunJun实用指南，请查收

ChunJun是易用、稳定、高效的批流一体的数据集成框架，主要应用于大数据开发平台的数据同步/数据集成模块，使大数据开发人员可简洁、快速的完成数据同步任务开发，供企业数据业务使用。
·2022-08-19 12:20

大数据知识体系

it18%E6%8E%8C/、想成为一名合格的大数据架构师你必须要掌握这些内容https://cloud.tencent.com/developer/news/327486阶段一、大数据、云计算-Hadoop大数据开发技术课程一
提莫_·2022-08-18 01:37

大数据到底应该如何学？大数据生态圈技术组件解析

笔者从事大数据开发和培训多年，曾为多家机构优化完整大数据课程体系，也为多所高校设计并实施大数据专业培养方案，并进行过多次大数据师资培训、高校骨
weixin_38754337·2022-08-18 01:07

数据科学与大数据技术

大数据科学家学习路线数据科学与大数据技术我个人理解，就是两个方向一、分析：大数据分析师走向大数据科学家二、开发：大数据开发工程师走向大数据专家大数据岗位方向Hadoop大数据技原理与应用：VMwareWorkstation
李好秀·2022-08-15 09:34

N年前的实习记录 - 职场生涯应如何规划？

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
一头小山猪·2022-08-15 00:21

袋鼠云申杭：数雁EasyDigit，致力成为金融行业数据洞察平台供应商的“领头雁”

袋鼠云宣布将集团进行全新升级：从“数字化基础设施供应商”，升级为“全链路数字化技术与服务提供商”，并发布了全新的四大产品体系：数据智能分析与洞察平台“数雁EasyDigit”、低代码数字孪生平台EasyV、一站式大数据开发与治理平台
·2022-08-09 19:56

SQL中concat和substr组合运用解析

刚开始我以为很简单就接了下来开始想，想了之后发现并没有这么简单（自己太菜了），就去问朋友（大数据开发）。给了我这两个函数（concat和substr）让我自己去
·2022-08-06 10:56

大数据开发，Hadoop Spark太重？你试试esProc SPL

摘要：由于目标和现实的错位，对很多用户来讲，Hadoop成了一个在技术、应用和成本上都很沉重的产品。本文分享自华为云社区《HadoopSpark太重，esProcSPL很轻》，作者：石臻臻的杂货铺。随着大数据时代的来临，数据量不断增长，传统小机上跑数据库的模式扩容困难且成本高昂，难以支撑业务发展。很多用户开始转向分布式计算路线，用多台廉价的PC服务器组成集群来完成大数据计算任务。Hadoop/Sp
华为云开发者联盟·2022-08-04 15:46

大数据开发，Hadoop Spark太重？你试试esProc SPL

摘要：由于目标和现实的错位，对很多用户来讲，Hadoop成了一个在技术、应用和成本上都很沉重的产品。本文分享自华为云社区《HadoopSpark太重，esProcSPL很轻》，作者：石臻臻的杂货铺。随着大数据时代的来临，数据量不断增长，传统小机上跑数据库的模式扩容困难且成本高昂，难以支撑业务
华为云开发者联盟·2022-08-04 14:00

袋鼠云思枢：数驹DTengine，助力企业构建高效的流批一体数据湖计算平台

数字化基础设施供应商”，升级为“全链路数字化技术与服务提供商”，并由袋鼠云产研负责人思枢对外正式发布了全新的四大产品体系：数据智能分析与洞察平台“数雁EasyDigit”、低代码数字孪生平台EasyV、一站式大数据开发与治理平台
·2022-08-02 18:09

大数据开发写sql写烦了，要不要转？

瞅瞅方向：如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。丰富自己的能力，到处都机会。
embelfe_segge·2022-08-01 13:29

机器学习系列（三）决策树的集成算法--随机森林与极限森林--三个臭皮匠与完美主义者的较量

写在前面：我是「nicedays」，一枚喜爱做特效，听音乐，分享技术的大数据开发猿。这名字是来自worldorder乐队的一首HAVEANICEDAY。
NICEDAYSS·2022-08-01 07:06

大数据开发选择之技术路线 or 业务路线？

问题一、大数据开发在公司是不是每天写sql，会转别的吗？问题的本身是在思考技术人的职业发展和自身能力提升的瓶颈。
sheep8521·2022-07-31 10:10

大数据开发写sql写烦了，要不要转？

瞅瞅方向：如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。丰富自己的能力，到处都机会。
m0_67403188·2022-07-31 10:38

【组件】大数据开发常考题之介绍一下 Spark

  Spark是大数据开发的必会技能。面试中经常被问到的问题就是Spark是什么，或者请介绍一下Spark，今天的文章主要对这个问题做出讲解。
和风与影·2022-07-29 19:22

【大数据面经系列】大数据开发（实时计算方向）面试题（二）

腾讯一面自我介绍特征变量计算项目两个字符串相减（大数相减）flink端到端一致性flink两阶段提交以及如何与checkpoint机制结合flink反压机制米哈游一面自我介绍flink作业提交过程算子如何分配slotflinkwatermark业务场景：去重求当天的pv业务场景：实时数仓架构设计java：currentHashmap原理volitatefinal，finally，finalize关
阿烦大64·2022-07-29 19:15

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
m0_67403240·2022-07-29 19:09

直播实录 | 37 手游如何用 StarRocks 实现用户画像分析

作者：向伟靖，37手游大数据开发工程师37手游使用StarRocks已有半年多，在此期间非常感谢StarRocks团队的积极协助，感受到了服务速度和产品速度一样快，辅导我们解决了产品使用上的一些问题。
·2022-07-29 18:12

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
m0_54853420·2022-07-28 11:51

数仓建模和业务建模对比总结

数仓建模和业务建模对比总结1.背景在大数据开发中，整个流程是数据采集，数据存储，数据传输，数据计算，数据展示。在这个过程中数据存储和数据计算是最关键2个环节。
闻香识代码·2022-07-28 10:47

阿里云云原生一体化数仓 — 数据治理新能力解读

简介：本文介绍大数据开发治理平台DataWorks在数据治理领域的最新产品进展，包括基于事前、事中、事后的全链路理念构建的核心产品功能和数据治理量化评估机制解读，以及围绕降本增效的成本治理最佳实践。
·2022-07-20 11:02

大数据入门（一）—— 数据仓库（数仓）基本概念

以及，了解下大数据开发的一些基本流程。一、什么是数仓？数据仓库，由数据仓库之父比尔·恩门（BillInmon）于1990年提出的。
齐舞647·2022-07-18 19:22

2022年python大数据开发学习路线

python大数据开发学习路线如下：10天精通MySQL教程资料链接：https://pan.baidu.com/s/1zQ0AQn68WaLvihEEiX312A?
测试小扎·2022-07-15 07:22

python编程初学者的良言警句_送给大数据开发初学者的良言，有兴趣的可以看看...

经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣……其实这就
weixin_39752352·2022-07-14 14:40

不能再low的初级练手项目【学生信息管理系统】登录 + 注册 + 列表展示

题外话： 此次文章的输出动力来源，是拉勾教育的大数据开发训练营课程（没有推销的意思，也没有广告费，纯粹是记录一下这个过程，陪伴我走过来的一些重要的人或事） 虽然我的学习进度并不理想，但是好在他们提供的线上班级学习氛围很给力
迟到_啦·2022-07-13 19:48

腾讯离职领导的建议：如果可以，去做大数据，不要做报表

就好比，我有一腾讯的哥们，之前面试的时候说的是做大数据开发，但是入职之后，就突然变成了写sql，做做数据库、报表和数据系统了，这之间的差距肉眼可见。
Leo.yuan·2022-07-12 12:25

常见大数据面试话术(建议收藏)

我叫xxx，毕业于xxx，之前在xxx公司待了1年多，期间⼀直从事的是IT行业，刚开始的时候做的是Java开发后来转岗到大数据方向做大数据开发;刚转行到大数据开发时开始比较困难的，大数据并不像Java那样
无精疯·2022-07-12 12:48

我是程序媛，从事大数据开发两年，我有话说

前言开头感谢峰哥，平时愿意和我谈论工作遇到的难题，包括最近的求职准备、简历书写，也帮我对接了几个猎头和HR，让我顺利拿到了一些offer。这次主要分享我硕士毕业两年从事大数据的经历，面经我会在下期进行分享。很开心，自己选择了计算机这个行业，从事大数据工作这个方向，本人是毕业于重庆某一本大学的硕士一枚，目前已有两年的开发经验，不敢说对大数据有很深刻的见解，但对于一个从学校0开发经验到快速熟悉编程，熟
无精疯·2022-07-12 12:48

【大数据面经系列】大数据开发（实时计算方向）面试题（一）

得物一面自我介绍实时数仓相关项目介绍flink集群规模与版本多流join有哪些？connect原理与实现flink状态后端有哪些？FSMemory和RocksDBstate有什么区别？flink反压机制如何检测和解决？多个算子的单一算子链如何检测反压？kafkaack机制kafkarebalance二面自我介绍实时模型特征值工程介绍？重点项目介绍频繁查询维表如何处理？频繁update外存如何处理？
阿烦大64·2022-07-12 12:48

大数据开发写sql写烦了，要不要转？

瞅瞅方向：如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。丰富自己的能力，到处都机会。
测试小扎·2022-07-12 12:47

面经1：字节跳动：22年实习生大数据开发面试（一面凉经）

本人是一个双非硕士在读地研二狗，非科班出身，最近也是参加了大数据开发地面试，已拿到了哔哩哔哩和顺丰的大数据开发岗实习offer，现在把自己的面试经历分拨记录下来，记录了面试各个公司的问题和心经，给正在面试的你做一些适当的参考如果这篇文章对你有所帮助
牧码文·2022-07-12 09:22

面经2：22年实习生大数据开发面试（第一家凉了，第二家拿了offer）

本人是一个双非硕士在读地研二狗，非科班出身，最近也是参加了大数据开发地面试，已拿到了哔哩哔哩和顺丰的大数据开发岗实习offer，现在把自己的面试经历分拨记录下来，记录了面试各个公司的问题和心经，给正在面试的你做一些适当的参考如果这篇文章对你有所帮助
牧码文·2022-07-12 09:22

数据仓库理论与实践

通用数据采集框架2.2日志服务器日志采集工具(Flume)三、Hive离线数仓实践3.1数仓分层与意义3.2ODS层3.3DWD层3.3DWS层3.4ADS层四、用户画像系统五、Hive优化相关Java、大数据开发学习要点
oahaijgnahz·2022-07-04 12:51

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
ArimaMisaki·2022-07-03 13:55

Flink简介

第一章初识Flink大数据开发总体架构大数据开发总体架构数据传输层：常用的数据传输工具有Flume、Sqoop、Kafka。
日落_3d9f·2022-06-29 18:14
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他