A大数据开发

月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线

一、时间线梳理3月3日，寻找到同专业的就业伙伴3月5日，着手准备Java八股文，决定先走Java后端路线3月8月，申请到了校图书馆的考研专座，决定暂时放弃就业，先准备考研，买了数学和408的资料书3月9日-3月13日，因疫情原因，宿舍区暂封，这段时间在准备考研，发现内容特别多3月13日-3月19日，大部分时间在刷Hadoop、Zookeeper、Kafka的视频，同时在准备实习的项目3月20日，退

「已注销」·2024-09-14 23:30

科锐国际（计算机类），汤臣倍健，中建三局，宁德时代，途游游戏，得物，顺丰，康冠科技24春招内推

职能类、IT技术类、商业分析类、生产运营类【内推链接】https://sourl.cn/JSDhLU【推荐码】ES3W2T②科锐国际(OD项目组--计算机专场)【招聘岗位】软件开发工程师、软件测试工程师、大数据开发工程师

weixin_53585422·2024-09-14 22:54

实时数仓之实时数仓架构(Hudi)(1)，2024年最新熬夜整理华为最新大数据开发笔试题

+Hudi：湖仓一体数据管理框架，用来管理模型数据，包括ODS/DWD/DWS/DIM/ADS等；+Doris：OLAP引擎，同步数仓结果模型，对外提供数据服务支持；+Hbase：用来存储维表信息，维表数据来源一部分有Flink加工实时写入，另一部分是从Spark任务生产，其主要作用用来支持FlinkETL处理过程中的LookupJoin功能。这里选用Hbase原因主要因为Table的HbaseC

2401_84181221·2024-09-09 19:04

HiveSQL一本通 - 案例实操，2024年最新大数据开发编程基础班

count(stu_id)stu_countfromscore_infogroupbycourse_idhavingstu_count>=15;（3）查询结果。course_idstu_count0119021903196.3.4查询结果排序和分组指定条件1.查询学生的总成绩并按照总成绩降序排序（1）思路分析。本题主要考查分组聚合和orderby关键字的使用。（2）查询语句。hive>select

疯狂的石头。·2024-09-07 13:47

Spark一些个人总结

在此我们探索了Spark的原理，以及其在大数据开发中的重要作用。一、Spark是什么Spark是一个用来实现快速，通用的集群

易逑实战数据·2024-09-06 09:39

最全金融数据_PySpark-3(2)，大数据开发学习的三个终极问题及学习路线规划

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取frompyspark.ml.evaluationimportBinaryClassificationEv

2401_84185145·2024-09-05 23:38

Java 快速入门知识精简（1）

内存的申请与释放提供了相对安全的内存管理和访问机制特点三：跨平台性由JVM负责Java程序在系统中的运行JVMforUNIXJVMforWindowsJVMforMac应用领域：JavaWeb开发后台开发大数据开发

Tangy范·2024-09-03 16:18

大数据开发技术HBase优化与特点分析

高可用在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。关闭HBase集群（如果没有开启则跳过此步）[atguigu@hadoop102hbase]$bin/stop-hbase.sh在con

at小白在线中·2024-09-02 13:32

外行学习快速入行大数据开发指南

大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。大数据是什么？投资者眼里是金光闪闪的两个字：资产。比如，Facebook上市时，评估机构评定的有效资产中大部分都是其社交网站上的数据。如果把

weixin_45732643·2024-09-01 03:58

大数据分析与大数据开发两者的区别是怎样的?

大数据主要分为两个就业方向：①大数据开发②大数据分析大数据分析：主要负责现有数据价值提炼与挖掘，包括业务增长点挖掘，产品改进点挖掘，业务分析指标体系构建，业务分析报告出具等大数据开发：主要负责大数据平台与应用开发

泰迪智能科技01·2024-08-29 10:18

Python大数据学习day01——大数据开发概论

目录大数据概念大数据特点大数据应用场景大数据分析业务步骤大数据职业规划大数据学习路线1.大数据解决问题海量数据存储——海量数据运算——海量数据迁移2.大数据特点（大、多、值、快、信）数据体量大种类和来源多源化实现低价值密度速度快数据的质量准确可信3.大数据应用4.大数据分析步骤明确分析目的思路——数据收集——数据处理（ETL）——数据分析——数据展现——撰写报告5.大数据职业规划6.大数据学习路线

笨小孩124·2024-08-28 12:46

面试笔记8.24

项目你的项目中涉及大数据开发，那你的代码工程是怎么搭建的？正确答案：在我的项目中涉及大数据开发时，我通常会采用分布式的架构，比如使用Hadoop或者Spark等大数据处理框架。

励志秃头码代码·2024-08-26 16:55

大数据开发（Hive面试真题-卷二）

大数据开发（Hive面试真题）1、举几个Hive开窗函数例子？什么要有开窗函数，和聚集函数区别？2、说下Hive是什么？跟数据仓库区别？3、Hive架构？4、Hive数据倾斜以及解决方案？

Key-Key·2024-03-20 05:14

大数据开发（Kafka面试真题-卷一）

大数据开发（Kafka面试真题）1、请解释以下ApacheKafka是什么？它在大数据系统中的角色是什么？2、请解释以下Kafka的工作原理和它与传统消息队列服务的不同之处？

Key-Key·2024-03-18 23:05

Java开发从入门到精通（七）：Java的面向对象编程OOP：常用API

Java大数据开发和安全开发（一）Java的常用API1.1Object类1.1toString1.1equals方法1.1对象克隆clone1.1Objects类1.1包装类1.1StringBuilder1.1StringBuffer1.1StringJoiner1.1Math

HACKNOE·2024-03-18 02:37

大数据开发（Spark面试真题-卷一）

大数据开发（Spark面试真题）1、什么是SparkStreaming？简要描述其工作原理。2、什么是Spark内存管理机制？请解释其中的主要概念，并说明其作用。

Key-Key·2024-03-13 07:58

大数据开发（Spark面试真题-卷六）

大数据开发（Spark面试真题）1、SparkHashPartitioner和RangePartitioner的实现？

Key-Key·2024-03-12 02:16

大数据开发（Hadoop面试真题-卷二）

大数据开发（Hadoop面试真题）1、在大规模数据处理过程中使用编写MapReduce程序存在什么缺点？如何解决这些问题？

Key-Key·2024-03-12 02:15

大数据开发（Hadoop面试真题-卷九）

大数据开发（Hadoop面试真题）1、Hivecount(distinct)有几个reduce，海量数据会有什么问题？

Key-Key·2024-03-09 10:06

我的创作纪念日

机缘读大二的时候开始尝试记录学习笔记，刚开始再到仅仅为了对自己学习内容做回顾，后来发现可以帮助身边其他人，再到后来随着粉丝增多，陆续接到合作及平台邀请，期间自己的技术方向也从大数据开发转为算法领域，这一路走来并不容易

GoAI·2024-02-20 05:52

Java和人工智能哪个好？

在Java开发方向，像Java后端开发、大数据开发、微服务架构师、云计算架构师等高级岗位，收入会相对较高。而在人工智能领域，像机器学习工程师、深度学习工程师、自然语言处理工程师、数据科学家等方向的

华清远见成都中心·2024-02-20 04:50

学习大数据开发，需要满足哪些条件？学历，性别，专业有限制吗？

首先对于零基础的童鞋想参加大数据开发学习，需要：1、一些数学常识，尤其是想从事数据分析这一块，至少要了解常用计算模型

yoku酱·2024-02-19 23:22

Hadoop+Spark+MongoDB+MySQL+C#大数据开发项目最佳实践

一、前言随着IT技术的飞速发展，各行各业都已在广泛尝试使用大数据技术提供更稳健和优质的服务。目前，医疗IT系统收集了大量极具价值的数据，但这些历史医疗数据并没有发挥出其应有的价值。为此，本文拟利用医院现有的历史数据，挖掘出有价值的基于统计学的医学规则、知识，并基于这些信息构建专业的临床知识库，提供诊断、处方、用药推荐功能，基于强大的关联推荐能力，极大地提高医疗服务质量，减轻医疗人员的工作强度。二、

yiyidsj·2024-02-14 07:08

大数据开发之Sqoop详细介绍

备注:测试环境CDH6.3.1Sqoop1.4.7一.Sqoop概述ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。用户可以在Sqoop的帮助下，轻松地把关系型数据库的数据导入到Hadoop与其相关的系统(如HBase和Hive)中；同时也可以把数据从Hadoop系统里抽取并导出到关系型数据库里。Sqoop是一个在结构化数据和Had

只是甲·2024-02-14 01:17

学习大数据要有这样的学习思路才行

我们在系统学习大数据的之前，要先了解大数据开发是在什么系统平台下进行的。所以我们在学之前要先学习Linux的知识，这部分显得格外的重要。

尚学先生·2024-02-14 01:33

大数据开发 | 最流行的项目管理工具Maven

什么是Maven？Maven是优秀的项目管理和构建工具，能让我们更为方便的来管理和构建项目，从最基础的环境配置，到maven核心知识点的应用。Maven简化和标准化项目建设过程。处理编译，分配，文档，团队协作和其他任务的无缝连接。Maven增加可重用性并负责建立相关的任务。Maven是干什么？Maven就可以帮你构建工程，管理jar包，编译代码，还能帮你自动运行单元测试，打包，生成报表，甚至能帮你

程序员不敲代码·2024-02-13 10:47

Java从入门到精通

1、首先要学习JavaSE，掌握Java语言本身、Java核心开发技术以及Java标准库的使用；2、如果继续学习JavaEE，那么Spring框架、数据库开发、分布式架构就是需要学习的；3、如果要学习大数据开发

nightluo·2024-02-13 01:52

小白入门大数据，这一篇就够了

所以不论是计算机专业的程序员，还是非计算机专业准备转行计算机的跨行人员都想学习大数据，从事大数据开发工作。但是当你站在一个行业门外的时候，你更多的是看到他的价值和前景，这会促使你义无反顾地往里冲。但

弄潮大数据·2024-02-12 18:03

一本Python爬虫的书，凭什么能畅销10W册

Python作为一种广泛应用的编程语言，在Web开发、大数据开发、人工智能开发和嵌入式开发等领域都有着重要的应用。Python的易学性、清晰性和可移植性等特点使它得到很多技术人士的喜爱。

程序员老冉·2024-02-12 11:21

大数据开发之电商系统架构从零到一

福兴信息科技：揭秘电商系统架构，从零到一打造大数据驱动的购物新世界了解更多信息，请关注：福兴信息科技了解更多信息，请关注：福兴信息科技随着互联网的迅猛发展，电子商务已成为人们生活中不可或缺的一部分。然而，背后的电商系统架构是如何构建的呢？今天，就让我们一起跟随福兴信息科技的脚步，从零开始，探索大数据驱动的电商系统架构的奥秘。一、从零开始：规划电商系统架构蓝图在福兴信息科技，我们深知电商系统架构的重

福兴信息科技·2024-02-10 17:55

京东面试总结

出现的问题：大数据开发没有理论支撑，应该可以涉及多一点的应用方面；其次引导面试官提问MapReduce；在

小小少年Boy·2024-02-09 21:45

学习大数据应该掌握哪些技能

想要了解大数据开发需要掌握哪些技术，不妨先一起来了解一下大数据开发到底是做什么的~1、什么是大数据？

我想去吃ya·2024-02-09 13:15

使用 Kubernetes 部署 Flink 应用

作者:薄荷脑https://blog.csdn.net/zjerryj/article/details/100063858大数据技术与架构点击右侧关注，大数据开发领域最强公众号！

王知无(import_bigdata)·2024-02-09 06:38

大数据从何学起？大数据脑图+学习路线清晰的告诉你！

【大数据开发学习资料领取方式】：加入大数据技术学习交流扣扣群458345782，点击加入群聊，私信管理员即可免费领取第一阶段linux+搜索+hadoop体系Linux基础→sh

yoku酱·2024-02-08 18:16

大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习（stage3）

MynameisJinsuo.Shi.一个不正经的大数据开发工程师，目前从事在公司主要进行CDP平台的数据接入、数据的ETL、数据的融合与事件的展开工作。

道-闇影·2024-02-08 06:07

图解大数据 | 大数据分析挖掘-Spark初步

Dashesand·2024-02-08 03:22

数仓：用户行为类指标一网打尽

关注公众号，回复关键字【资料】，获取【10万字大数据框架面试知识点】与【大数据开发的命令手册】先来看下用户类行为指标说明，然后下面详解常写的指标。

大数据左右手·2024-02-07 09:35

数仓：事实表设计方法，原则和三种类型选择

关注公众号，回复关键字【资料】，获取【10万字大数据框架面试知识点】与【大数据开发的命令手册】事实表设计方法事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计。

大数据左右手·2024-02-07 09:35

【Flink】FlinkSQL实现数据从Kafka到MySQL

简介未来Flink通用化，代码可能就会转换为sql进行执行，大数据开发工程师研发Flink会基于各个公司的大数据平台或者通用的大数据平台，去提交FlinkSQL实现任务，学习Flinksql势在必行。

一杯咖啡半杯糖·2024-02-07 06:39

大数据开发之机器学习总结（一）

大数据开发之机器学习总结1.背景在大数据开发中，数据分析目的一般分为2大类，一个是基于已有数据，提炼出想要的数据汇总信息。一个是基于已有数据使用算法训练出模型，基于模型预测和分析未来的新数据。

闻香识代码·2024-02-05 21:41

【大数据开发运维解决方案】Hadoop+Hive+HBase+Kylin 伪分布式安装指南

Hadoop2.7.6+Mysql5.7+Hive2.3.2+Hbase1.4.9+Kylin2.4单机伪分布式安装文档注意：####################################################################本文档已经有了最新版本，主要改动地方为：1、zookeeper改为使用安装的外置zookeeper而非hbase自带zookeeper，新

运维道上奔跑者·2024-02-04 05:43

2019-10-08 大数据开发进阶之路

市场需要的水平熟练掌握Linux、SQL与HiveSQL掌握Hadoop生态主流技术，如HDFS/MapRedunce/Yarn/HBase/Flume等掌握Spark生态核心技术，如Spark架构/RDD转换算子/行动算子/持久化算子/任务调度/SparkStreaming等能够对崭新的问题进行建模分析，使用一直只是进行解决掌握大数据平台调优技能，源码阅读技巧具备应对BAT级别相关岗位面试能力学

红瓦李·2024-02-03 20:39

都 2024 年了！程序员的到底出路在哪里！？继续卷技术？晋升管理层？还是转业？

1）程序员的难处2）程序员专业方向3）大数据3.1.大数据开发涉及到哪些技术3.2.大数据开发涉及到的框架3.3.大数据前景4）程序员的三大出路4.1.继续卷技术4.2.晋升管理层4.3.转业4.3.1

bmyyyyyy·2024-02-01 21:25

秋招的一些面经吧——大数据面经和java面经（阿里巴巴）

应聘方向是大数据开发和java开发大概拿到的offer有：阿里、美团、快手、贝壳、作业帮、旷视、农行总部、浙江大华、海康威视、有赞、云从科技、招银网络科技、oppo一.阿里巴巴（已拿offer）：渣硕阿里面了总共三个部门

大数据教学笔记·2024-02-01 20:19

大数据开发流程图

1、大数据流程图2、大数据各个环节主要技术2.1、数据处理主要技术Sqoop：（发音：skup）作为一款开源的离线数据传输工具，主要用于Hadoop(Hive)与传统数据库（MySql,PostgreSQL）间的数据传递。它可以将一个关系数据库中数据导入Hadoop的HDFS中，也可以将HDFS中的数据导入关系型数据库中。Flume：实时数据采集的一个开源框架，它是Cloudera提供的一个高可用

xyzkenan·2024-02-01 14:30

Spark系列（十）Shuffle的技术难点问题--Spark比MapReduce快的真正原因

写在前面：我是「nicedays」，一枚喜爱做特效，听音乐，分享技术的大数据开发猿。这名字是来自worldorder乐队的一首HAVEANICEDAY。

NICEDAYSS·2024-02-01 12:03

【大数据开发 Spark】第一篇：Spark 简介、Spark 的核心组成（5大模块）、Spark 的主要特征（4大特征）、Spark 对比 MapReduce

文章目录1Spark简介2Spark的核心组成（5大模块）3Spark的主要特征（4大特征）4Spark对比MapReduce1Spark简介初步了解一项技术，最好的方式就是去它的官网首页，一般首页都会有十分官方且准确的介绍，学习Spark也不例外，官方介绍：ApacheSpark™是一种多语言引擎，用于在单节点机器或集群上执行数据工程、数据科学和机器学习。我们可以得知，Spark可以单节点运行，

超周到的程序员·2024-02-01 12:02

大数据开发之离线数仓项目（用户行为采集平台）（可面试使用）

第1章：数据仓库概念数据仓库，是为企业指定决策，提供数据支持的，可以帮助企业，改进业务流程、提高产品质量等。数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等。业务数据：就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。业务数据通常存储在mysql、oracle等数据库中。用户行为数据：用户

Key-Key·2024-02-01 08:46

如何通过Hive/tez与Hadoop的整合快速实现大数据开发

一、Hive的功能Hive是基于Hadoop的一个外围数据仓库分析组件，可以把Hive理解为一个数据仓库，但这和传统的数据库是有差别的。传统数据库是面向业务存储，比如OA、ERP等系统使用的数据库，而数据仓库是为分析数据而设计的。同时，数据仓库是在数据量巨大的情况下，为了进一步挖掘数据资源、为了企业决策需要而产生的，它不是所谓的“大型数据库”。Hive通过将结构化的数据文件映射到一张数据库表上，然

小枫@码·2024-01-31 08:00

推荐频道