E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据工程师
大数据怎么学习,在学习大数据之前,需要具备什么基础?
罗马不是一天建成的,
大数据工程师
也不是短时间能锻造的。想要成为大数据开发工程师,也要看你是否骨骼惊奇,天赋过人!在学习大数据之前,你还需要有一定的基础
大数据开发交流
·
2018-10-06 12:53
大数据
大数据学习
大数据工程师
大数据开发
云计算
Hadoop
Spark
Linux
Spark作业运行架构原理解析
[TOC]1说明根据之前oldli(百度高级
大数据工程师
)给的一张草图重新整理,并用processon绘图一下,这样就更加清晰了。
xpleaf
·
2018-10-05 11:41
大数据
Spark
架构
Spark
大数据工程师
面试题(七)
转载自:https://blog.csdn.net/u011682879/article/details/574012159.面试问题:1.从前到后从你教育背景(学过哪些课)到各个项目你负责的模块,问的很细(本以为他是物理学博士,但是所有的技术都懂)2.hadoop的namenode宕机,怎么解决先分析宕机后的损失,宕机后直接导致client无法访问,内存中的元数据丢失,但是硬盘中的元数据应该还存
fct2001140269
·
2018-10-05 00:17
大数据技术
面试题
2018 大数据面试
大数据工程师
(开发)面试1.HBase和Hive都是基于Hadoop,为什么Hive查询起来非常慢,但HBase不是?
Simple_Zz
·
2018-10-02 16:37
面试集锦
大数据工程师
必备技能
版权声明:https://blog.csdn.net/laomo_bible/article/details/79582023引用几张图片:包括基本技能和高阶能力:基本技能:1、java、python、R等基本语言2、编程能力3、框架、平台的运用,如Hadoop、Spark等高阶能力:1、机器学习及各种算法2、架构设计能力3、云计算基本能力-----------------------------
找个借口安静
·
2018-10-02 12:08
大数据
大数据学习之旅
大数据工程师
必备技能
版权声明:https://blog.csdn.net/laomo_bible/article/details/79582023引用几张图片:包括基本技能和高阶能力:基本技能:1、java、python、R等基本语言2、编程能力3、框架、平台的运用,如Hadoop、Spark等高阶能力:1、机器学习及各种算法2、架构设计能力3、云计算基本能力-----------------------------
找个借口安静
·
2018-10-02 12:08
大数据
大数据学习之旅
小米
大数据工程师
一面凉凉
自己还是太水,周一面试了小米大数据开发,面试官人真的很好,上周我去德国开会了他还等了一周。微信语音面,7点发消息约了8点半面试。简单介绍了自己的项目,然后问是不是只想搞算法,愿不愿意做工程,我特么当然想做工程啊。1、mapreduce的流程2、map阶段和reduce阶段有什么区别3、为什么hadoop能提高效率4、除了Hadoop还用过哪些框架?比较?5、Hbase是个什么样的数据库?6、行存储
SKCSKAXLJ
·
2018-09-19 17:22
面试
大数据学习之路(跟着大神学习一波)
前言:一、背景介绍二、大数据介绍正文:一、大数据相关的工作介绍二、
大数据工程师
的技能要求三、大数据学习规划四、持续学习资源推荐(书籍,博客,网站)五、项目案例分析(批处理+实时处理)大数据学习群:119599574
大数据开发交流
·
2018-09-13 12:38
大数据
大数据学习
大数据工程师
云计算
Hadoop
hdfs
Spark
Linux
大数据-大数据学习过程
本文旨在为普通程序员(Java程序员最佳)提供一个入门级别的大数据技术学习路径,不适用于
大数据工程师
的进阶学习,也不适用于零编程基础的同学。
懒猫阿迪
·
2018-09-13 11:50
大数据
大数据工程师
值得一考的4个Hadoop认证
阅读更多1、CCAAdministratorExam(CCA131)管理员认证认证准备建议:Administrator管理员培训考试形式:120分钟;70%通过;基于一个预配置的Cloudera企业版集群,解决8~12个场景下的任务2、CCASparkandHadoopDeveloper(CCA175)开发者认证认证准备建议:SparkandHadoop开发者培训考试形式:120分钟;70%通过;
ClouderaHadoop
·
2018-08-30 13:00
hadoop
Windows
FreeBSD
OS
大数据工程师
值得一考的4个Hadoop认证
阅读更多1、CCAAdministratorExam(CCA131)管理员认证认证准备建议:Administrator管理员培训考试形式:120分钟;70%通过;基于一个预配置的Cloudera企业版集群,解决8~12个场景下的任务2、CCASparkandHadoopDeveloper(CCA175)开发者认证认证准备建议:SparkandHadoop开发者培训考试形式:120分钟;70%通过;
ClouderaHadoop
·
2018-08-30 13:00
hadoop
Windows
FreeBSD
OS
大数据最佳学习路线
二,大数据里面的角色角色一:大数据工程大数据工程需要解决数据的定义、收集、计算与保存的工作,因此
大数据工程师
们在设计和部署这样的系统时首要考虑的是数据高可用的问题,即大数据工程系统需要实时
qianfeng_dashuju
·
2018-08-28 15:01
个人技术分享
Linux大数据重要命令
真正的
大数据工程师
,linux命令是横着写很长,不是一句一句执行的,尤其是
大数据工程师
需要检测cpu,内存,网络IO等各种开销,就需要掌握各种命令,命令主要分为这几种,一是查看各种进程的相关信息,其中包括
student__software
·
2018-08-27 19:10
JUC
Linux高级
千亿级数量下日志分析系统的技术架构选型
所以对于很多
大数据工程师
,如何根据业务需求去选择合适的大数据组件,做合适的大数据架构工作就是日常工作中最常遇到的问题。
七仙女很忙
·
2018-08-22 15:21
大数据
pandora
日志管理
Java开发者想尝试转行大数据,学习方向建议?
本文分三大方面详细的讲如何学大数据:大数据方向工作介绍
大数据工程师
的技能要求大数据学习路径一.大数据方向
大数据客栈i
·
2018-08-20 16:53
产品经理与产品团队
我认为从大的来看需要包含:产品经理、市场人员(还可细分为销售人员、售前人员)、需求人员(还可细分为需求分析师、业务专家)、研发人员(按职能还可细分为前端设计师、研发工程师、
大数据工程师
等)、测试人员、运维人员
likelynn
·
2018-08-18 17:31
产品
深度解析数据分析、
大数据工程师
和数据科学家的区别
数据越来越多的影响并塑造着那些我们每天都要交互的系统。不管是你使用Siri,google搜索,还是浏览facebook的好友动态,你都在消费者数据分析的结果。我们赋予了数据如此大的转变的能力,也难怪近几年越来越多的数据相关的角色被创造出来。这些角色的职责范围,从预测未来,到发现你周围世界的模式,到建设操作着数百万记录的系统。在这篇文章中。我们将讨论不同的数据相关的角色,他们如何组合在一起,并且帮你
fenghuo9527
·
2018-08-18 11:20
大数据分析师
大数据工程师
大数据开发师
区别
解析
sh
互联网行业公司岗位与发展方向
php/python)6.DBA(mysql/oracle)7.运维(OP)8.测试(QA)9.算法(分类/聚类/关系抽取/实体识别)10.搜索(Lucene/Solr/elasticSearch)11.
大数据工程师
weixin_30650039
·
2018-08-17 17:00
后端
移动开发
前端
想做数据工程师?从零开始系统规划大数据学习之路
3.如何成为一名
大数据工程师
?你需要了解的系统和结构学习去设计解决方案并且学习相关技术对大数据感兴趣的,想转行大数据的,想学习项目经验的,欢
首席数据师
·
2018-08-16 21:26
大数据工程师
面试题
你曾经参与或主导过哪些大数据类型的项目?项目目标是什么?你具体担负的哪个角色?使用哪些算法?使用哪些统计方法?如果解决用户商品匹配的话,你会采用什么类型的模型?二部图模型有什么缺陷?对应有什么改进模型?标签系统有什么特征?有什么问题?用户行为分析有什么模型?说说你曾经项目中的模型迭代过程?成功的大数据项目具有哪些特征?你认为大数据技术包括哪些组成部分?你认为大数据项目成功的关键是什么?大数据和企业
郭首志
·
2018-08-14 20:52
大数据分析师和
大数据工程师
职位,孰轻孰重(个人角度)
在互联网盛行的今天,能够预测未来需要依靠更多数据支持,从数据的趋势和分析中,就可以把未来的发展动向掌握得淋漓尽致。在大数据背景之下,精通大数据的专业人才将成为企业最重要的业务角色,大数据从业人员薪酬持续增长,人才缺口巨大。最近在回答粉丝问题中,我发现一个问题:很多人对于大数据的职位体系不了解,一些对于想入门与大数据的人一直处于迷茫阶段,不知道自己该不该转行学习大数据,不知道自己是否要转大数据专业,
风火9527
·
2018-08-11 11:08
大数据数据工程师数据分析师
(转载)大数据学习路线大数据学习路线
一、背景介绍本人目前是一名
大数据工程师
,项目数据50T,日均数据增长20G左右,个人是从Java后端开发,经过3个月的业余自学成功转型
大数据工程师
。
南波湾凌晨4点的太阳
·
2018-07-22 09:46
大数据学习路线
申明:本文旨在为普通程序员(Java程序员最佳)提供一个入门级别的大数据技术学习路径,不适用于
大数据工程师
的进阶学习,也不适用于零编程基础的同学。
陈明一
·
2018-07-20 14:46
java转大数据的学习路线
blog.csdn.net/gitchat/article/details/78341484【不要错过文末彩蛋】申明:本文旨在为普通程序员(Java程序员最佳)提供一个入门级别的大数据技术学习路径,不适用于
大数据工程师
的进阶学习
程序媛小雪
·
2018-07-19 15:43
big
data
大数据生态系统
一、大数据相关工作介绍大数据方向的工作目前主要分为三个主要方向:
大数据工程师
数据分析师大数据科学家其他(数据挖掘等)二、
大数据工程师
的技能要求附上
大数据工程师
技能图:必须掌握的技能11条Java高级(虚拟机
随心所欲qbh
·
2018-07-13 16:42
大数据工程师
技能图谱【整理-转】
大数据通用处理平台Spark/Flink/Hadoop分布式存储HDFS资源调度Yarn/Mesos数据分析/数据仓库(SQL类)Pig/Hive/kylin/SparkSQL/SparkDataFrame/Impala/Phoenix/ELK/ElasticSearch/Logstash/Kibana消息队列Kafka(纯日志类,大吞吐量)/RocketMQ/ZeroMQ/ActiveMQ/Ra
ReeseIMK
·
2018-07-10 15:01
Data
Analyse
阿里云 E-MapReduce--基础
课程目标掌握E-MapReduce的用法适合人群
大数据工程师
课时列表课时1:E-Mapreduce基本介绍课时2:E-Mapreduce基本介绍(PPT)
且听_风吟
·
2018-07-09 10:10
E-Mapreduce
E-Mapreduce
大数据工程师
和数据分析师有什么区别
不少朋友都很困惑,
大数据工程师
和数据分析师有什么区别,哪一个的就业好薪资高?
程序子白
·
2018-07-05 12:19
美的集团
大数据工程师
告诉你这些研发机密
点击上方“程序人生”,选择“置顶公众号”第一时间关注程序猿(媛)身边的故事数据,让一切有迹可循,让一切有源可溯。我们每天都在产生数据,创造大数据和使用大数据,只是你仍然浑然不知。从2013年“大数据元年”到现在,几乎所有世界级的互联网企业,都将业务触角延伸到了大数据产业,精准大数据已成为国际大型公司强大科技的实力证明。美的工程师们每天与大数据亲密接触,他们的使命就是“依托新技术下的大数据,为全球用
CSDN 程序人生
·
2018-06-28 12:50
阿里,腾讯内部十二个大数据项目,你都有做过吗?
而
大数据工程师
能得到高薪、高待遇的能力在哪?自然是项目经验。
琳达老师
·
2018-06-13 16:06
大数据
阿里
阿里、腾讯内部十二个大数据项目实战,你都做过吗?
而
大数据工程师
能得到高薪、高待遇的能力在哪?自然是项目经验。
Java架构没有996
·
2018-06-13 15:14
分享心得
大数据
大数据
项目实战
阿里
京东
hadoop
大数据工程师
、数据开发工程师、数据仓库工程师 面试题目分享
仅限于工作年限1-3年一、HIVE岗1.orderby,distributeby,sortby的区别点击打开链接2.内部表、外部表的区别及使用场景点击打开链接3.讲一下hadoop生态圈的组件,说一下你对hadoop的认识程度(需要理解并背下来)点击打开链接4.join需要注意的地方(hive查询中需要注意的地方及优化方法)点击打开链接5.视图和表的区别点击打开链接zhangyue:1.说一下ja
SunWuKong_Hadoop
·
2018-06-08 11:07
大数据
Hadoop
要想月薪达到5万,要必备以下9项技能,阿里前
大数据工程师
说的
现在已经进入了大数据时代,哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”目前很火,数据源头,各种炫酷新技术,搭建hadoop、Hive、Spark、Kylin、Druid、Beam~,前提是你要懂Java,很多平台都是用Java开发的.这里面要解决的是实时、近实时和离线的大数据框架如何搭建,各数据流之间
鲸落大叔
·
2018-06-03 20:36
大数据
工资
如何自学大数据,成为年薪50万大咖路线分享
大数据方向的工作目前分为三个主要方向:01.
大数据工程师
02.数据分析师03.大数据科学家04.其他(数据挖掘本质算是机器学习,不过和数据相关,也可以理解为大数据的一个方向吧)由于本人曾是
大数据工程师
的角色
arry86
·
2018-05-29 16:14
Java开发者想尝试转行大数据,学习方向建议?
本文分三大方面详细的讲如何学大数据:大数据方向工作介绍
大数据工程师
的技能要求大数据学习路径一.大数据
假的鱼
·
2018-05-26 15:29
大数据
数据挖掘
java
程序员
1年开发经验,25万年薪的1个捷径,98%Python程序员都不知道
目前,普通的Hadoop
大数据工程师
起薪也在20K/月,稍有经验薪资还要多几千,数据挖掘、机器学习、人工智能相关人才薪资更高。麦肯锡公司报告指出,大数据、人工智能方面人才紧缺,需求量激增。
机器学习算法与Python学习
·
2018-05-24 07:00
如何成为
大数据工程师
?
这几年来大数据非常的热门,到处都有大数据分析的演讲。演讲内容通常是宣传各种大数据分析成功的案例。但实际上大数据该怎么做呢?大部份的讨论似乎都仅止于怎么搜集大量的数据,然后用个工具(hadoop/spark)后就会马上变出商机和钱来。笔者是工程师而非技术或平台传教者,我想用务实一点的方式来看待大数据。大数据技术最重要的核心在于如何设计可以高性能处理大量数据的程式(highlyscalableprog
MC_Kitty
·
2018-05-23 19:10
大数据
数据分析
数据挖掘
数据编程
大数据最佳学习路线
二,大数据里面的角色角色一:大数据工程大数据工程需要解决数据的定义、收集、计算与保存的工作,因此
大数据工程师
们在设计和部署这样的系统时首要
架构师小秘圈
·
2018-05-16 21:45
做
大数据工程师
需要掌握哪些技能呢?
大数据是眼下非常时髦的技术名词,与此同时自然也催生出了一些与大数据处理相关的职业,通过对数据的挖掘分析来影响企业的商业决策。Hadoop工程师用人企业普遍要求掌握以下技术:1、熟悉Linux开发环境,熟悉Shell命令2、熟悉Java、python、scala语言(至少一种)3、具备较丰富的基于Hadoop、MapReduce、Yarn、Storm、Spark、Hive、Hbase、kafka、F
deng707273
·
2018-05-16 14:19
关于大数据相关的问答汇总,持续更新中~
答:1,Java编程技术Java编程技术是大数据学习的基础,Java是一种强类型语言,拥有极高的跨平台能力,可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等,是
大数据工程师
最喜欢的编程工具
琳达老师
·
2018-05-11 17:49
大数据
问题
持续更新
学Java的,想尝试转行大数据和数据挖掘,该怎么规划学习?
请输入图片描述前言本文分三大方面详细的讲如何学大数据:大数据方向工作介绍
大数据工程师
的技能要求大数据学习路径一.大数据方向工作介绍大数据方向的工作目前分为三个主要方向:
大数据工程师
数据分析师大数据科学家其他
浪漫程序员
·
2018-05-05 20:28
java
大数据
你想快速成为
大数据工程师
?
学习大数据没有零基础入门,首先你要成爲一名工程师在技术论坛中或知乎上,看到近几万的冤家都在疑惑,学习Java应该选择什麼展开方向,这个我们在之前的文章中有提到过,Java展开在范围上有三个选择方向:分享之前我还是要举荐下我自己创建的大数据学习资料分享群710219868备注风火这是全国最大的大数据学习交流的地方,2000人聚集,不管你是小白还是大牛,小编我都挺欢迎,今天的已经资讯上传到群文件,不活
fenghuo9527
·
2018-05-04 00:00
sh
大数据就业岗位有哪些?
你将有可能成为
大数据工程师
,走向人生巅峰。目前国内
大数据工程师
工作领域大致可分为四类:1、数据开发工程师:负责数据接入、数据清洗、底层重构,业务主题建模等工作;大数据整体的计算平台开
lmseo5hy
·
2018-05-03 15:51
30个常见的大数据面试题,让你的薪资提升一个等级,大家快来看看吧!
经历了水深火热的大数据学习,终于拨开云雾见天明了,但你离成功总是还差了一步,那就是拿到
大数据工程师
的Offer。
琳达老师
·
2018-05-02 16:06
大数据
面试题
等级
Hadoop架构中各个集群在开发中的作用
大数据工程师
应该从哪里收集用户的访问数据呢?一般可以从两个地方可以取,一个是客户端,一个是服务端。如果从服务器取数据,比如服务器每天在晚上8点到9点之间用户访问量非常多,而如果我们也从服
SunnyRivers
·
2018-04-30 09:42
大数据
c和python哪个工资高? python开发学习
平均薪资为18860元,Python不同岗位薪资范围为:Python全栈开发工程师(10k-20K)、Python运维开发工程师(15k-20K)、Python高级开发工程师(15k-30K)、Python
大数据工程师
lmseo5hy
·
2018-04-28 15:33
大数据:小白升级版
大数据工程师
-VIP就业班全球最顶尖管理咨询公司麦肯锡(McKinsey)出具的一份详细分析报告显示,预计到2018年,大数据或者数据工作者的岗位需求将激增,其中大数据科学家的缺口在14万到19万之间,
CSDN学院
·
2018-04-25 14:17
CSDN【企业招聘】
大数据类工程师面试题集锦附指南:互联网公司篇!
大数据工程师
是近几年异常火爆的职位,市场需求旺盛,众多互联网公司都打出了高薪招聘的广告,本文整理了网络上部分技术人员分享的各大互联网公司大数据类(Hadoop、Spark等)面试题以及面试时需要注意的一些问题
weixin_34396902
·
2018-04-14 15:39
数据分析需要的技能
从事大数据工作的职位可称之为
大数据工程师
,“
大数据工程师
”往往不是一个人,而是一个团队,它意味着从数据的收集、整理展现、分析和商业洞察、以至于市场转化的全过程。
lmseo5hy
·
2018-04-10 15:24
关于学习大数据最受关注的五大问题
在美国,
大数据工程师
平均年薪达17.5万美元,在中国顶尖的互联网公司里,
大数据工程师
的薪酬比同级别的其他职位高出30%以上。DT时代来得太突
飞鱼德蒙
·
2018-04-09 17:00
大数据学习
大数据
大数据从业
上一页
11
12
13
14
15
16
17
18
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他