大数据工程师

基于Spark的公安大数据实时运维技术实践

作者：秦海龙，杭州以数科技有限公司大数据工程师。Java及Scala语言，Hadoop生态、Spark大数据处理技术爱好者。
bysjlwdx·2017-01-05 10:30

【我拼搏的2016】51cto学习年终终结

今年在51cto报了两门课程，一门是马哥的Linux+Python运维培训班第3期，一门是徐培成老师的大数据工程师高薪实战培训班第4期。还有公司给我的RHCA的培训。
demonzk0516·2016-12-21 14:40

大数据工程师、数据分析师利器：hive2.1.0新特性介绍及升级实战！

大数据工程师、数据分析师利器：hive2.1.0新特性介绍及升级实战！
PMP4561705·2016-11-22 21:12

《大数据工程师(运维)面试系列（4）》

1.MapReduce解决缺值问题？一张非常宽，且数据量大的表，被分割成若干个hdfs上的小文件，其中有一个字段，是自增的（但分布的文件中的这个字段值是乱序的），举个栗子，比如:1,2,3。现在并不知道究竟是哪几个值缺失，请你用MapReduce的方式将那些缺失的值找到？其实这是MapReduce的典型应用场景之一——缺值查找。整体的一个思路是，先将这些乱序的值排好序，然后又因为表非常宽，可以单独
司小幽·2016-11-16 19:24

parameter server是什么？

最近PMP学友会举办了个活动，就是阿里巴巴集团的大数据工程师介绍parameterserver。只是攒3个PDU，但是一直想往大数据方向发展，这个不能不知。
moviebat·2016-11-14 19:53

【CSDN学院视频】以性别预测为例，谈谈数据挖掘中常见的分类算法

一、数据挖掘概念1.数据挖掘工程师数据挖掘工程师=大数据工程师+算法工程师2.数据挖掘主要任务1)PredictionTasks预测性任务Usesomevariablestopredictunknownorfuturevaluesofothervariables2
yangxuejunwinner·2016-11-14 16:05

《大数据工程师(开发)面试系列（2）》

1.HBase和Hive都是基于Hadoop，为什么Hive查询起来非常慢，但HBase不是？Hive是类SQL引擎，其查询都需要遍历整张表，跑MapReduce自然很慢，但HBase是一种NoSQL的列式数据库，基于Key/Value的存储格式，不需要像Hive一样遍历，自然在速度上，乃至写的性能上是相当之快的。相关参考文献HIVE和HBASE区别2.通过Java，判断一个数是否是2的n次方？我
BlackEnn·2016-11-14 10:00

《大数据工程师(开发)面试系列（1）》

1.LVS和HAProxy相比，它的缺点是什么？之前，的确是用LVS进行过MySQL集群的负载均衡，对HAProxy也有过了解，但是将这两者放在眼前进行比较，还真没试着了解过。面试中出现了这么一题，面试官给予的答案是LVS的配置相当繁琐，后来查找了相关资料，对这两种负载均衡方案有了更进一步的了解。LVS的负载均衡性能之强悍已经达到硬件负载均衡的F5的百分之60了，而HAproxy的负载均衡和Ngi
司小幽·2016-11-13 15:07

《大数据工程师(开发)面试系列（1）》

1.LVS和HAProxy相比，它的缺点是什么？之前，的确是用LVS进行过MySQL集群的负载均衡，对HAProxy也有过了解，但是将这两者放在眼前进行比较，还真没试着了解过。面试中出现了这么一题，面试官给予的答案是LVS的配置相当繁琐，后来查找了相关资料，对这两种负载均衡方案有了更进一步的了解。LVS的负载均衡性能之强悍已经达到硬件负载均衡的F5的百分之60了，而HAproxy的负载均衡和Ngi
BlackEnn·2016-11-13 15:00

《大数据工程师(开发)面试系列（1）》

1.LVS和HAProxy相比，它的缺点是什么？之前，的确是用LVS进行过MySQL集群的负载均衡，对HAProxy也有过了解，但是将这两者放在眼前进行比较，还真没试着了解过。面试中出现了这么一题，面试官给予的答案是LVS的配置相当繁琐，后来查找了相关资料，对这两种负载均衡方案有了更进一步的了解。LVS的负载均衡性能之强悍已经达到硬件负载均衡的F5的百分之60了，而HAproxy的负载均衡和Ngi
BlackEnn·2016-11-13 15:00

2017年大数据从业者又要涨薪了！

国外大数据相关职位薪酬范围：1.数据科学家2017年薪资范围：$116,000-$163,500上涨：6.4%2.大数据工程师2017年薪资范围：$135,000-$196,000上涨：5.8%3.数
大圣众包·2016-11-11 10:33

2017年大数据从业者又要涨工资了！

国外大数据相关职位薪酬范围：1.数据科学家2017年薪资范围：$116,000-$163,500上涨：6.4%2.大数据工程师2017年薪资范围：$135,000-$196,000上涨：5.8%3.数据库开发者
大圣众包平台·2016-11-11 10:44

大数据工程师修炼笔记

想要成为大数据工程师？
u011596455·2016-11-05 13:00

程序员到大数据人才 只需这几步

首先大数据工程师是需要有计算机编码能力的，因为面对海量的非结构化数据，你要从中挖掘出有价值的东西，需要设计算法与编写程序去实现，而程序员最牛
爱吃海螺的蛏子·2016-11-01 17:00

程序员到大数据人才 只需这几步

首先大数据工程师是需要有计算机编码能力的，因为面对海量的非结构化数据，你要从中挖掘出有价值的东西，需要设计算法与编写程序去实现，而程序员最牛
爱吃海螺的蛏子·2016-11-01 17:00

关于携程网大数据平台的那点事！

携程作为一个大规模的在线票务服务公司，它的大数据工程师是怎样助其把繁杂大量的数据整理得有条不紊，保持公司的高效正常运作的呢？携程的做法，对其他需要构建实时大数据平台的公司，有没有借鉴作用呢？
大圣众包·2016-10-26 10:32

《Linux相关文章索引（1）》

Linux线程浅析九项实例技巧帮您保障Linux服务器安全作为大数据工程师，你必须熟练运用的性能优化技术干货8张Linux思维导图
BlackEnn·2016-10-16 19:00

大数据工程师必备之蓄水池抽样算法

做大数据的同学经常会有这样的需求：给出一个数据流，这个数据流的长度很大或者未知。并且对该数据流中数据只能访问一次。请写出一个随机选择算法，使得数据流中所有数据被选中的概率相等。或者也可以这么说：要求从N个元素中随机的抽取k个元素，其中N的大小未知。很多同学说，擦，这还不简单么，将所有元素保存在一个列表中，然后再随机取k个不就完了么。好吧，如果你不是专门搞大大大数据的同学，这么说我觉得情有可原。如果
bitcarmanlee·2016-10-01 22:05

一个月冲刺美团大数据工程师offer

今天是9月11日，美团的第二批次的笔试时间是在10月11日之后。这期间整整一个月，我要完成两件事：一是：刷题，准备美团的笔试；二是有选择的参加校招，除了外企其它都不参加。目前存在的问题：1.基础知识没有准备。如：计算机网络，操作系统，数据结构，机器学习2.Java基础知识的笔试题正确率不高。3.算法是硬伤，普通的字符串比较，数组遍历，排序，各种树结构；复杂的动态规划问题，随机搜索优化4.项目说不清
Sammion·2016-09-11 14:07

作为大数据工程师，你必须熟练运用的性能优化技术

from:http://chuansong.me/n/474670251169作者介绍吴朱华：国内资深云计算和大数据专家，之前曾在IBM中国研究院和上海云人信息科技有限公司参与过多款云计算产和大数据产品的开发工作，同济本科，并曾在北京大学读过硕士。2011年中，发表业界最好的两本云计算书之一《云计算核心技术剖析》。2016年和上海华东理工大学的阮彤教授等合著了《大数据技术前沿》一书。最近几年一直参
xiaomage234·2016-09-08 15:00

《关于大数据的一些基本常识整理》

可视化分析利器之HueFlume百度百科Sqoop百度百科Spark百度百科Storm百度百科Impala百度百科Cloudera百度百科Oozie百度百科2.大数据基本常识关于大数据最常见的10个问题作为大数据工程师
司小幽·2016-08-18 13:43

《关于大数据的一些基本常识整理》

可视化分析利器之HueFlume百度百科Sqoop百度百科Spark百度百科Storm百度百科Impala百度百科Cloudera百度百科Oozie百度百科2.大数据基本常识关于大数据最常见的10个问题作为大数据工程师
BlackEnn·2016-08-18 13:00

新书《Linux集群和自动化运维》目录

对“互联网＋”最有力的支撑就是Linux运维架构师、云计算和大数据工程师，以及自动化开发工程师等！
抚琴煮酒·2016-08-17 15:53

IT职业技能图谱：IT工程师学习路线

程序开发语言综述前端工程师IOS开发工程师嵌入式开发大数据工程师微服务架构安全工程师云计算工程师移动无线测试工程师运维工程师Container技能图谱Hadoop家族技能图谱OpenResty技能图谱曾经有人说过
Jurbo·2016-07-27 10:09

工信部大数据工程师认证考试顺利举行

7月24日上午10：00整，工信部大数据工程师认证考试在成都天府软件园开考，科多大数据组织了本次考试。
keduodashuju·2016-07-26 11:34

工信部认证的大数据工程师证书你有多了解？

大数据工程师证书可登录：www.ceiaec.org（工信部教育与考试中心官网）
你知道原因·2016-07-18 15:42

实战录 | Kafka-0.10 Consumer源码解析

请注意本期攻城狮幽默细胞爆表，坐地铁的拉好把手，喝水的就建议暂时先别喝了：）本期分享人为云端卫士大数据工程师韩宝君，将带来Kafka-0.10Consumer源码解析。
cloudguarder·2016-07-18 10:56

大数据处理的关键架构

大数据如火如荼的火热着，互联网上资源又让人眼花缭乱不知如何下手，对于新手和准备成为大数据工程师的童鞋更是如此，此博文总结了网上一些知识，希望对大家有帮助。
RYP_S·2016-06-08 11:24

大数据工程师技能图谱（转）

大数据工程师技能图谱大数据通用处理平台  Spark  Flink  Hadoop分布式存储  HDFS资源调度  Yarn  Mesos数据分析/数据仓库(SQL类)  Pig  Hive  kylin
zhuyuping·2016-05-09 19:00

成都大数据Hadoop与Spark技术培训班

成都大数据Hadoop与Spark技术培训班中国信息化培训中心特推出了大数据技术架构及应用实战课程培训班，通过专业的大数据Hadoop与Spark技术架构体系与业界真实案例来全面提升大数据工程师、开发设计人员的工作水平
weixin_34129145·2016-04-11 21:00

大数据工程师技能图谱

原文链接：http://toutiao.com/a6267290210372747522/一、大数据通用处理平台1、Spark2、Flink3、Hadoop二、流式计算1、Storm/JStorm2、SparkStreaming3、Flink三、分布式存储1、HDFS四、资源调度1、Yarn2、Mesos五、数据分析/数据仓库(SQL类)1、Pig2、Hive3、kylin4、SparkSQL5、
tterminator·2016-03-31 13:00

Storm over Gearpump & StreamingSQL on Spark解析

原文地址：http://geek.csdn.net/news/detail/54405在第二次上海大数据流处理聚会上，来自Intel，大众点评与Cloudera的大数据工程师与大家分享时下大数据流处理最火热的话题
liyongke89·2016-02-03 13:00

4个小例子告诉你：如何成为一名数据极客

对于数据岗位的员工，互联网公司颇有些不同的称谓，像统计工程师、大数据工程师、数据分析师、算法工程师、数据科学家等，每一种之间的技能差距简直是风马牛不相及。
gavingzzhang·2016-02-03 00:01

大数据工程师技能图

大数据（BigData），或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点1、Volume（大量）据统计，互联网一天产生的全部内容可以制作1.68亿张DVD，一天发出2940亿邮件以及200万个帖子……这些数据都表明，互联网时代，社交网络、电子商务与移动通信把人类带入了一个以“PB”
csdn风清扬·2016-01-15 11:12

大数据工程师技能图

大数据（BigData），或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点1、Volume（大量）据统计，互联网一天产生的全部内容可以制作1.68亿张DVD，一天发出2940亿邮件以及200万个帖子……这些数据都表明，互联网时代，社交网络、电子商务与移动通信把人类带入了一个以“PB”
hexieshangwang·2016-01-15 11:00

地理数据可视化：Simple，Not Easy

在信息技术飞速发展的今天，“大数据”作为一种潮流铺天盖地的席卷了各行各业，从央视的春运迁徙图到旅游热点预测，从大数据工程师奇货可居到马云布道“DT”时代，“大数据”被推到了一个前所未有的高度，连国家领导人出访演讲都言必称大数据
老俞·2015-12-31 22:00

你们是不是很缺大数据工程师？

00缘起 之所以有这个话题，是因为周末加班中午吃饭与一个同行朋友聊起了这个话题，之后再细细地结合一些其他接触的东西，确实是有些感触的。并且对于行业的一些现状，也的确有些自己的看法，对不对先不论，这玩意儿也没有对错之分，每个人都有自己想法，当然也包括我博客虫了。所以，有些东西、有些想法我还是愿意分享出来的，畅所欲言吧~~BigData01我眼中的大数据现状!其实个人在大数据在大数据这个坑中，细细算来
youzhouliu·2015-12-22 20:00

4个小例子告诉你：如何成为一名数据极客

对于数据岗位的员工，互联网公司颇有些不同的称谓，像统计工程师、大数据工程师、数据分析师、算法工程师、数据科学家等，每一种之间的技能差距简直是风马牛不相及。
2shou·2015-12-12 00:00

移动开发工程师和大数据工程师对比

可能很多人都还很困惑，什么是大数据，其实可以简单的这么理解：大数据就是对大量数据进行有效处理的一种解决方案；因为随着数据量的不断增加，传统的框架及计算模型已经无法满足数据增加的需求，所以出现了一种新型的框架，hadoop框架，用这种框架可以弥补传统框架的不足，能对大数据量进行有效的分析提取等，就可以当成是学一个新的框架一样。对于Android和iOS开发就不在这做过多废话了。从目前黑马的毕业情况来
Frimish·2015-10-27 14:23

移动开发工程师和大数据工程师对比

 可能很多人都还很困惑，什么是大数据，其实可以简单的这么理解：大数据就是对大量数据进行有效处理的一种解决方案；因为随着数据量的不断增加，传统的框架及计算模型已经无法满足数据增加的需求，所以出现了一种新型的框架，hadoop框架，用这种框架可以弥补传统框架的不足，能对大数据量进行有效的分析提取等，就可以当成是学一个新的框架一样。对于Android和iOS开发就不在这做过多废话了。    从目前黑马的
Frimish·2015-10-27 14:00

Hadoop全链路监控解决方案

前言我在最近的几篇文章中都或多或少的提到了一个很重要的词-"监控".为什么要提到这个词呢,因为如果你和我一样是一名大数据工程师,你手下管理着批量的集群机器,并且同时这个集群的规模还会不定时的扩大,机器一旦变多
Android路上的人·2015-10-18 23:32

Hadoop全链路监控解决方案

前言我在最近的几篇文章中都或多或少的提到了一个很重要的词-"监控".为什么要提到这个词呢,因为如果你和我一样是一名大数据工程师,你手下管理着批量的集群机器,并且同时这个集群的规模还会不定时的扩大,机器一旦变多
Androidlushangderen·2015-10-18 23:00

【大数据工程师之路】Hadoop——MapReduce概述

一、概述。    MapReduce是一种可用于数据处理的编程模型。Hadoop可以运行由各种语言编写的MapReuce程序。MapReduce分为Map部分和Reduce部分。二、MapReduce的机制    MapReduce分为几大过程input、Mapper、shufle、reduce、output1、input阶段是指将原始文件拷贝到HDFS中。2、通过Mapper来处理成目标所需要的
gwblue·2015-08-13 20:00

程序员的另一出路：大数据工程师

很多年前我很郁闷地写了一篇博客《程序员的出路在哪里？》，之所以郁闷，我记得是看了中国男足的比赛，情不自禁对比自已苦逼的程序员生涯，曾经对中国软件的感情有如对中国男足，绝望到没有任何一丁点希望，但又无路可走，于是埋头苦干默默奋斗无数年，时过境迁，我依然在这条路上奋力拼搏，正如当年我所推荐的第一个出路一样，软件创业，想说爱你不容易，但除了爱你，我还能爱谁？重新阅读了一下当年的文章，我推荐的程序员出路依
阿蒙·2015-07-09 06:10

程序员的另一出路：大数据工程师

 很多年前我很郁闷地写了一篇博客《程序员的出路在哪里？》，之所以郁闷，我记得是看了中国男足的比赛，情不自禁对比自已苦逼的程序员生涯，曾经对中国软件的感情有如对中国男足，绝望到没有任何一丁点希望，但又无路可走，于是埋头苦干默默奋斗无数年，时过境迁，我依然在这条路上奋力拼搏，正如当年我所推荐的第一个出路一样，软件创业，想说爱你不容易，但除了爱你，我还能爱谁？ 重新阅读了一下当年的文章，我推荐的程序员出
harrymeng·2015-07-09 06:00

决胜Hadoop&Spark大数据时代：Hadoop&Yarn&Spark企业级最佳实践

com电话：18610086859QQ:1740415547微信号：18610086859Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课
Rocky_wangjialin·2015-04-23 00:41

【大数据工程师之路】Hadoop——概述

一、Hadoop来历    Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到，由于这个问题Google发明了倒排索引算法，通过加入了Map-reduce的思想来计算PageRank，通过不断的演变Google带给我们了GFS、Map-Reduce、Bigtable这三大的关键技术和思想。由于Google的这些技术没有开源代码。有个
gwblue·2015-02-23 16:00

Coursera数据工程师董飞：硅谷大数据的过去与未来

他在知乎上分享过多个引起强烈反响的问答，其中包括《哪些硅谷创业公司能给拜访者留下深刻印象》、《美国大数据工程师面试攻略》、《Coursera上有哪些课程值得推荐》等。问：
·2015-01-27 06:00

Hadoop大数据时代：Hadoop&YarnSpark企业级最佳实践 (4天)

Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。 
wangruoze·2014-12-26 09:00

决胜大数据时代：Hadoop&Yarn&Spark企业级最佳实践（8天完整版脱产式培训版本）

Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。 
wangruoze·2014-12-24 16:00
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他