E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据开发
大数据(三)大数据相关的职位
不同企业规模高校毕业生CIER指数2.3、高校毕业生供求TOP15城市2.4、一季度景气指数较高和较低的行业排名2.5、一季度景气指数较高和较低的职业排名2.6、开发人员类型划分的薪水三、大数据相关的职位3.1、
大数据开发
工程师
逆境清醒
·
2023-08-28 08:41
大数据
大数据
大数据学习之路
学生、在职、零基础)五、推荐书单六、Q&A一、开篇致辞我今年大四,大二的时候先后在厦门的两家小公司实习Java,大三的时候在ApcheKylin的贡献团队Kyligence实习,现在在一家西班牙集团就职
大数据开发
程序员峰哥
·
2023-08-26 17:28
大数据开发
要学习什么?学完又能做什么
学习大数据需要掌握什么语言基础?1、Java基础大数据框架90%以上都是使用Java开发语言,所以如果要学习大数据技术,首先要掌握Java基础语法以及JavaEE方向的相关知识。2、MySQL数据库这是学习大数据必须掌握的知识之一。数据的操作语言是SQL,因此很多工具的开发目标就是能够在Hadoop上使用SQL。3、Linux系统大数据的框架都是安装在Linux操作系统上,因此熟练掌握Linux相
我想去吃ya
·
2023-08-26 12:07
大数据
学习
人工智能
开发语言
python
大数据领域都有什么发展方向
大数据开发
做什么?
大数据开发
分两类,编写Hadoop、Spark的应用程序和对大数据处理系统本身进行开发。
大数据开发
工程师主要负责公司大数据平台的开发和维护、
我想去吃ya
·
2023-08-26 12:36
大数据
Flink集成Iceberg在同程艺龙的实践
简介:本文由同城艺龙
大数据开发
工程师张军分享,主要介绍同城艺龙Flink集成Iceberg的生产实践。本文由同城艺龙
大数据开发
工程师张军分享,主要介绍同城艺龙Flink集成Iiceberg的生产实践。
阿里开发者
·
2023-08-25 07:37
SQL
存储
分布式计算
大数据
关系型数据库
BI
Apache
HIVE
流计算
Spark
分布式可视化 DAG 任务调度系统 Taier 的整体流程分析
旨在降低ETL开发成本,提高大数据平台稳定性,让
大数据开发
人员可以在Taier直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。
袋鼠云数栈
·
2023-08-23 17:10
大数据
程序员:大数据培训分享Spark基础都有哪些
作为大数据主流框架之一的Spark,也是
大数据开发
人员必须要掌握的重要技术框架,在企业招聘当中,掌握Spark框架的大数据人才,也更加具备竞争优势。那么Spark需要什么基础?
程序猿分享
·
2023-08-23 05:49
大数据
java
编程语言
hadoop
python
GIS
大数据开发
框架一张图
文章目录1前言2一张图3参考资料1前言由于自己经验并不丰富,理解也不深刻,但是被hadoop、spark、flink、geospark、sedona之间的关系搞得头晕,于是搜集了网络资料。因为并非亲自体验,不对之处,欢迎指正!!!HadoopEcosystem2一张图所有的资料汇集成一张图如下3参考资料各自辨别吧https://baike.baidu.com/item/Hadoop/3526507
leemraz
·
2023-08-23 05:45
BigData
spark
hadoop
big
data
哪些人适合参加大数据培训班?
大数据培训班有大数据分析培训班、
大数据开发
培训班,JAVA培训班大数据班适学人群:大三大四应届学生、零基础的社会人员、有基础的在职人员、有计划转行的人员大数据培训班特色:1、完成全真项目案例学习,相当于
泰迪智能科技
·
2023-08-22 21:04
大数据
大数据
全链路数据湖开发治理解决方案2.0重磅升级,全面增强数据入湖、调度和治理能力
支持EMR新版数据湖DataLake集群(onECS)、自定义集群(onECS)、Spark集群(onACK)三种形态,对接阿里云一站式
大数据开发
治理平台DataWorks,沉淀
·
2023-08-22 10:13
数据湖
大数据背景和概念
一、背景1.岗位现状大数据在一线互联网已经爆发了好多年,2015年-2020年(国内互联网爆发期)那时候的
大数据开发
,刚毕业能写HiveSQL配置个离线任务、整个帆软报表都20K+起步。
2301_77342543
·
2023-08-22 00:29
大数据
Hive的计算引擎,你知道哪几种?
作为
大数据开发
工程师来说,Hive数据库的开发还是比较重要的,所以我们需要知道hive数据库的计算引擎有哪些,这样在做hive调优的时候,也是有一定的辅助作用。
晓之以理的喵~~
·
2023-08-21 21:45
Hadoop
大数据
hive
hive
hadoop
大数据
揭开神秘面纱,会stream流就会大数据
如果你会任意一门语言的stream流,没道理不会
大数据开发
。俗话说男追女隔座山,女追男隔层纱。
2301_76429513
·
2023-08-20 15:44
大数据
这个时代,毕业生将很难找Java程序员的工作
因为目前信息化时代,计算机专业不仅是挣钱最多的专业,而且还是接触科技最前沿技术的专业,无论是现在的AI人工智能,还是
大数据开发
以及云计算等等热门的岗位,都跟计算机有着千丝万缕的直接关系。
半圆学社
·
2023-08-19 13:31
大数据开发
之Hive篇6-Hive函数详解
备注:Hive版本2.1.1一.Hive函数概述1.1Hive函数分类函数/UDF输入一行记录,输出一行记录示例:upper/lower/length聚集函数/UDAF输入多行记录,输出一行记录示例:sum/count/avg表生成函数/UDTF输入一行记录,输出多行记录示例:explode1.2查看Hive函数1.2.1showfunctions命令showfunctions命令是查询当前hiv
只是甲
·
2023-08-19 08:10
饿了么
大数据开发
凉经
1一个mapreduce进程会启动多少map进程多少reduce进程*1)map数量由处理的数据分成的block数量决定default_num=total_size/split_size;2)reduce数量为job.setNumReduceTasks(x)中x的大小。不设置的话默认为1。2讲下shuffle的过程shuffle分为map端和reduce端的工作。MapTask工作机制(1)Rea
TIM33470348
·
2023-08-18 20:39
大数据
java
数据库
❤️
大数据开发
必备:推荐7款
大数据开发
神器工作效率提升1000%【推荐收藏】
在这里插入图片描述manor学习
大数据开发
满打满算也有一年了,其中也发现不少好用的
大数据开发
提升效率的软件,推荐给刚入门/入行的你:适用windows系统,mac用户可根据名称自行查找~~在这里插入图片描述文末可一键获取
咸鱼在简书
·
2023-08-18 19:15
零基础学习大数据分析难吗?
在这里列一下:(来源是《2021年互联网人才招聘白皮书》)无论是DBA还是大数据分析师,和java前端后端相比,都不算是最卷的,甚至还算是挺好的,你看下面这张图,一年以下的Java工程师139竞争1个岗位,
大数据开发
工程师只有
我想去吃ya
·
2023-08-18 18:02
学习
数据分析
大数据
数据库
hadoop
大数据开发
:数仓建模常见数据模型
今天的
大数据开发
分享,我们来聊聊数仓建模常见的几种数据模型。目前来说,市场上主流的数据建模,主要是四种类型:维度模型、范式模型、DataVault模型,以及Anchor模型。
加米谷大数据张老师
·
2023-08-17 12:22
大数据
数据仓库
大数据
数据建模
携程应用系统整体架构学习
5.hive只能说是一个数据仓库工具,反而归类到数据源层这样的架构水平,要么携程不想透露太多真实实力,要么就是携程派了一个
大数据开发
工程
warrah
·
2023-08-17 10:03
岁月云——Web系统最佳实践
应用系统架构
【hadoop】windows上hadoop环境的搭建步骤
文章目录前言基础环境下载hadoop安装包下载hadoop在windows中的依赖配置环境变量Hadoophdfs搭建创建hadfs数据目录修改JAVA依赖修改配置文件初始化hdfsnamenode启动hdfs前言在
大数据开发
领域中
小沈同学呀
·
2023-08-17 03:01
hadoop
大数据
hadoop
windows
大数据
想在DataGrip里写SQL般丝滑的写FlinkSQL?安装它就完事儿了
版本日期备注1.02023.8.8文章首发本文首发于泊浮目的掘金:https://juejin.cn/user/1468603264665335“FlinkSQL对于
大数据开发
者们来说是一个很常见的API
·
2023-08-15 16:08
字节电商
大数据开发
一面,已过,面试题已配答案
面试题答案参考大数据面试题V3.0,523道题,679页,46w字1、实习经历这点不多说了,根据自己的来就行2、工作中最难的点一般都会提前回顾之前自己遇到的问题,根据自己的来3、如何保证数据质量这里主要是阿里对数仓的一些数据质量保证原则1、数据质量保障原则阿里对数据仓库主要从四个方面评估数据质量1)完整性确保数据不存在缺失2)准确性确保数据不存在异常或错误3)一致性体现在从业务仓库加工到数据仓库,
蓦然_
·
2023-08-15 01:36
大数据面试题
数据仓库
大数据
面试
大数据开发
基础-环境配置篇-Hadoop集群安装
鼠鼠接下来将更新一系列自己在学习
大数据开发
过程中收集的资源、和自己的总结、以及面经答案、LeetCode刷题分析题解。
葡萄成熟时_
·
2023-08-14 01:19
大数据工程师Java
hadoop
大数据
hdfs
大数据开发学习基础篇
Kettle构建Hadoop ETL实践(一):ETL与Kettle
点击上方蓝色字体,选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注,
大数据开发
领域最强公众号!大数据真好玩点击右侧关注,大数据真好玩!
王知无(import_bigdata)
·
2023-08-12 13:51
数据库
数据仓库
scipy
relativelayout
sharepoint
如何学习大数据
前言大数据依然是当下热门的技术之一,就犹如之前的移动开发刚开始火的时候一样,之前写了一系列的
大数据开发
所需的组件安装,但还从来没想
想你依然心痛
·
2023-08-12 12:19
大数据
学习
大数据
Spark2.x精通:Master端循环消息处理源码剖析(二)
微信公众号:
大数据开发
运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构
·
2023-08-11 02:05
滴滴数据服务体系建设实践
什么是数据服务化
大数据开发
的主要流程分为数据集成、数据开发、数据生产和数据回流四个阶段。
滴滴技术
·
2023-08-10 20:45
大数据开发
:Hive列式存储ORC、Parquet的优点
今天的
大数据开发
学习分享,我们就主要来讲讲,Hive列式存储ORC、Parquet的优点。
成都加米谷大数据
·
2023-08-10 10:12
大数据开发
:Flink如何设计容错
前面我们讲了Hadoop和spark的容错设计,今天的
大数据开发
学习分享,我们继续来讲Flink又是如何设计容错的?
成都加米谷大数据
·
2023-08-10 07:57
一站式Flink&Spark平台解决方案——StreamX
随着Flink&Spark生态的不断完善,越来越多的企业选择这两款组件,或者其中之一作为离线&实时的
大数据开发
工具,但是在使用他们进行大数据的开发中我们会遇到一些问题,比如:任务运行监控怎么处理?
产品经理自我修养
·
2023-08-10 06:00
大数据
大数据开发
教程——Apache Hive实战
Hive建表高阶语句CTASandCTE(重点)CTAS–CreateTableAsSelectCREATETABLEctas_employeeasSELECT*FROMemployee(基于select查询的结果生成表)CTASCANNOTcreateapartition,external,orbuckettable(不能生成分区表,外部表,桶表)Createtablelikeothertabl
比屋大数据
·
2023-08-09 23:26
大数据架构师源码零基础教程
hive
big
data
apache
案例 | 看某国有大行如何构建内部数据安全风险管控核心能力
某国有大行省分行近年来不断加大信息化业务发展力度,提高
大数据开发
利用程度,随着数据使用部门的扩大化,以及
数据库安全
·
2023-08-09 21:41
数据安全
数据库安全
数据管理
美创科技
数据安全
美创数据库防水坝
美创数据防泄露系统
大数据开发
:Oozie调度框架简介
今天的
大数据开发
分享,我们就先来讲讲这个Oozie调度框架的一些基础知识。ApacheOozie是一个用来管理Hadoop任务的工作流调度系统,基于有向无环图的模型(DAG)。
成都加米谷大数据
·
2023-08-06 19:26
[最新安全稳定,自带haddop生态]Hadoop伪分布式ubuntu虚拟镜像
网上现有的教学用的
大数据开发
环境镜像主要有林子雨老
yasuo626
·
2023-08-05 01:34
资源
hadoop
大数据
spark
ubuntu
linux
大数据开发
的前景怎么样?该怎么学习?
猎聘大数据研究院发布了《2022未来人才就业趋势报告》从排名来看,2022年1-4月各行业中高端人才平均年薪来看,人工智能行业中高端人才平均年薪最高,为31.04万元;金融行业中高端人才以27.69万元的平均年薪位居第二;通信、大数据行业中高端人才平均年薪分别为27.51万元、25.23万元,位列第三、第四;IT/互联网行业中高端人才平均年薪23.02万元,位列第七。图表来源:《2022未来人才就
我想去吃ya
·
2023-08-04 17:17
大数据
学习
开发语言
python
人工智能
大数据开发
的学习路线是什么样的
大数据技术的体系庞大且复杂,每年都会涌现出大量新的技术,目前大数据行业所涉及到的核心技术主要就是:数据采集、数据存储、数据清洗、数据查询分析和数据可视化。学习大数据需要掌握什么语言基础?1、Java基础大数据框架90%以上都是使用Java开发语言,所以如果要学习大数据技术,首先要掌握Java基础语法以及JavaEE方向的相关知识。2、MySQL数据库这是学习大数据必须掌握的知识之一。数据的操作语言
我想去吃ya
·
2023-08-04 17:47
大数据
学习
开发语言
python
人工智能
大数据开发
:数据仓库建模方法与模型
今天的
大数据开发
分享,我们主要来讲讲数据仓库建模方法与模型。数仓建模方法数据仓库中几种经典的数据模型,包括关系建模、维度建模、DataVault模型。
成都加米谷大数据
·
2023-08-04 13:24
什么是
大数据开发
?
♥️
大数据开发
是干什么的?大数据作为时下火热的IT行业的词汇,随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。
yoku酱
·
2023-08-04 13:19
3、大数据技术架构:核心原理与应用实践(下)
4、大数据的开发实践这一章节,主要是描述了
大数据开发
的几个场景和优化的技巧。
朗如行玉山_5b30
·
2023-08-04 06:27
Spark2.x精通:Master端循环消息处理源码剖析(一)
微信公众号:
大数据开发
运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构
·
2023-08-03 12:57
IT行业发展新趋势,
大数据开发
应该如何从“零”学起?
大数据大数据可能是目前IT行业中被炒的最热的一个词了,尤其是国家在前几年提出大力发展大数据产业的时候,更是一层激起千层浪。不管是小白还是有开发经验的都想从中分得一杯羹。那么相对于有开发经验的,小白应该如何学习大数据呢?第一、小白在学习大数据的时候一定要搞清楚什么是大数据、并且了解大数据在我们的生活中和工作中可以应用到哪些方面。搞清楚这个,就可以培养学习的兴趣。俗话说的好“兴趣是最好的老师”。第二、
尚学先生
·
2023-08-02 11:35
大数据开发
:Flink API编程初级入门
Flink编程,一个重要的思想就是API编程,今天的
大数据开发
学习分享,我们就来讲讲FlinkAPI编程初级入门。
成都加米谷大数据
·
2023-08-02 00:49
大数据培训毕业的学生,到底能拿多少薪资?
大数据开发
岗位的工资,能拿到多少?
码农星球
·
2023-08-01 20:03
《
大数据开发
》Hive
Hive是基于Hadoop的一个数据仓库工具;提供Sql(hiveSql)查询功能;数据是存储在hdfs上,hive本身不存储数据,构建表的逻辑存在指定数据库(mysql)。本质是将SQL语句转换为MapReduce任务执行。离线大数据计算。可以将结构化的数据文件映射成为一张数据库表。官方文档流程图HiveSql与Sql相比Hive字段类型1.建表三种方式直接建表法:createtablemovi
Steve_Abelieve
·
2023-08-01 12:40
大数据
hadoop
hive
《
大数据开发
》环境安装
Hadoop环境安装(HDFS-MapReduce)Storm环境安装(Storm)Zookeeper环境安装(Zookeeper)Hbase环境安装(HBase)Hive环境安装(Hive)Kafka环境安装(Kafka)Flume环境安装(Flume)Hadoop2.0环境安装(Yarn)Spark环境安装(Spark)
Steve_Abelieve
·
2023-08-01 12:10
大数据
hadoop
spark
hdfs
mapreduce
flink
《
大数据开发
》数据类型+常用数据处理
数据类型从结构划分常见数据操作均值操作:作用衡量这个系统的平均值,可以做两个系统的比较。缺点:对异常数据敏感标准差操作:衡量这个系统的波动程度,可以做两个系统的比较。缺点:对异常数据敏感变异系数操作:均值/方差,可以用于不同系统的比较。切尾均值操作:作用衡量这个系统的平均值,可以做两个系统的比较,一定程度上解决数据异常。异常检测什么是异常(离群点):异常就是显著不同于这个系统的值,不属于该系统的范
Steve_Abelieve
·
2023-08-01 12:09
大数据
机器学习
大数据
数据处理
大数据开发
学习笔记——HA简介
单点故障---解决hahadoop2.x之后,Cloudera提出了QJM/QuromJournalManager,这是一个基于Paxos算法实现的HDFSHA方案,它给出了一种较好的解决思路和方案,示意图如下:基本原理就是用2N+1台JN存储EditLog,每次写数据操作有大多数(>=N+1)返回成功时即认为该次写成功,数据不会丢失了。当然这个算法所能容忍的是最多有N台机器挂掉,如果多于N台挂掉
卿卿老祖
·
2023-08-01 02:11
Day01-作业(HTML&CSS)
文字素材如下:企业简介传智教育(股票代码003032),隶属江苏传智播客教育科技股份有限公司,注册资本4亿元,是第一个实现A股IPO的教育企业,公司致力于培养高精尖数字化人才,主要培养人工智能、python+
大数据开发
穿城大饼
·
2023-07-31 18:24
Web开发阶段-作业
web
阿里云
大数据开发
三面面经,已过,面试题已配答案
一面:阿里云
大数据开发
一面面经,已过,面试题已配答案_蓦然_的博客-CSDN博客二面:阿里云
大数据开发
二面面经,已过,面试题已配答案_蓦然_的博客-CSDN博客1、SQL题自由发挥2、实习经历根据自己的来就行
蓦然_
·
2023-07-31 11:11
大数据面试题
1024程序员节
大数据
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他