2019大数据工程师必备技能_0基础学大数据开发

摘要：我们在学习大数据开发前需要先找到适合自己的方式方法，首先需要审视一下自身的情况，是否是以兴趣为出发点，对大数据是不是自己是真的感兴趣吗，目前对大数据的了解有多少，自己的学习能力和理解能力是否适合学习。如果是跨行业转岗是否做好了心理准备。
 

　　我们在学习大数据开发前需要先找到适合自己的方式方法，首先需要审视一下自身的情况，是否是以兴趣为出发点，对大数据是不是自己是真的感兴趣吗，目前对大数据的了解有多少，自己的学习能力和理解能力是否适合学习。如果是跨行业转岗是否做好了心理准备。根据不同基础水平可以分为三类：

　　第一类：零基础学员，对大数据行业和技术一无所知;

　　第二类：有一定的编程基础，对大数据行业略知一二，无发真正应该用;

　　第三类：有工作经验的工程师，对大数据行业了解，想转行大数据开发。

 

很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：1994++27210，有大量干货（零基础以及进阶的经典实战）分享给大家，并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系

　　在搞清楚了自身的状况之外，我们要针对不同阶段、不同基础的同学制定不同的学习方案。

　　对于零基础想要自学大数据，不是说不可能，但是很多以失败告终，客观原因：学习环境不好;主观原因：基础不好，看不懂，学不会，枯燥无味直接放弃。

　　对于零基础想要学习的大数据的同学，最好的方案是：先关注一些大数据领域的动态，让自己融入大数据这样一个大的环境中。然后找一些编程语言的资料(大数据的基础必备技能)和大数据入门的视频和书籍，基本的技术知识还是要了解的。

　　在学习了一段时间之后，如果觉得自己还能应付的来，就继续寻找大数据基础视频和书籍，一步一个脚印的来;如果觉得觉得自己入门都很难，要么放弃，要么舍得为自己投资一把，去选择一家靠谱的培训机构。

　　数据科学特点与大数据学习误区解析

　　1、大数据学习要业务驱动，不要技术驱动：数据科学的核心能力是解决问题。

　　大数据的核心目标是数据驱动的智能化，要解决具体的问题，不管是科学研究问题，还是商业决策问题，抑或是政府管理问题。

　　所以学习之前要明确问题，理解问题，所谓问题导向、目标导向，这个明确之后再研究和选择合适的技术加以应用，这样才有针对性，言必hadoop,spark的大数据分析是不严谨的。

　　不同的业务领域需要不同方向理论、技术和工具的支持。如文本、网页要自然语言建模，随时间变化数据流需要序列建模，图像音频和视频多是时空混合建模;

　　大数据处理如采集需要爬虫、倒入导出和预处理等支持，存储需要分布式云存储、云计算资源管理等支持，计算需要分类、预测、描述等模型支持，应用需要可视化、知识库、决策评价等支持。

　　所以是业务决定技术，而不是根据技术来考虑业务，这是大数据学习要避免的第一个误区。

　　2、大数据学习要善用开源，不要重复造轮子：数据科学的技术基因在于开源。

　　IT前沿领域的开源化已成不可逆转的趋势，Android开源让智能手机平民化，让我们跨入了移动互联网时代，智能硬件开源将带领跨入物联网时代，以Hadoop和Spark为代表的大数据开源生态加速了去IOE(IBM、ORACLE、EMC)进程，倒逼传统IT巨头拥抱开源，谷歌和OpenAI联盟的深度学习开源(以Tensorflow,Torch,Caffe等为代表)正在加速人工智能技术的发展。

　　数据科学的标配语言R和Python更是因开源而生，因开源而繁荣，诺基亚因没把握开源大势而衰落。

　　为什么要开源，这得益于IT发展的工业化和构件化，各大领域的基础技术栈和工具库已经很成熟，下一阶段就是怎么快速组合、快速搭积木、快速产出的问题，不管是linux,anroid还是tensorflow，其基础构件库基本就是利用已有开源库，结合新的技术方法实现，组合构建而成，很少在重复造轮子。

　　另外，开源这种众包开发模式，是一种集体智慧编程的体现，一个公司无法积聚全球工程师的开发智力，而一个GitHub上的明星开源项目可以，所以要善用开源和集体智慧编程，而不要重复造轮子，这是大数据学习要避免的第二个误区。

　　3、大数据学习要以点带面，不贪大求全：数据科学要把握好碎片化与系统性。根据前文的大数据技术体系分析，我们可以看到大数据技术的深度和广度都是传统信息技术难以比拟的。

　　大数据只有和特定领域的应用结合起来才能产生价值，数据科学还是数据工程是大数据学习要明确的关键问题。

　　大数据学习一定要清楚我是在做数据科学还是数据工程，各需要哪些方面的技术能力，现在处于哪一个阶段等，不然为了技术而技术，是难以学好和用好大数据的。

 

大数据路线：

大数据基础——java语言基础方面

（1）Java语言基础

Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多线程、Swing程序与集合类

（2）HTML、CSS与Java

PC端网站布局、HTML5+CSS3基础、WebApp页面布局、原生Java交互功能开发、Ajax异步交互、jQuery应用

（3）JavaWeb和数据库

数据库、JavaWeb开发核心、JavaWeb开发内幕

Linux&Hadoop生态体系

Linux体系、Hadoop离线计算大纲、分布式数据库Hbase、数据仓库Hive、数据迁移工具Sqoop、Flume分布式日志框架

分布式计算框架和Spark&Strom生态体系

（1）分布式计算框架

Python编程语言、Scala编程语言、Spark大数据处理、Spark—Streaming大数据处理、Spark—Mlib机器学习、Spark—GraphX 图计算、实战一：基于Spark的推荐系统（某一线公司真实项目）、实战二：新浪网

（2）storm技术架构体系

Storm原理与基础、消息队列kafka、Redis工具、zookeeper详解、实战一：日志告警系统项目、实战二：猜你喜欢推荐系统实战

大数据项目实战数据获取、数据处理、数据分析、数据展现、数据应用

大数据分析—AI（人工智能）Data Analyze工作环境准备&数据分析基础、数据可视化、Python机器学习

Python机器学习2、图像识别&神经网络、自然语言处理&社交网络处理、实战项目：户外设备识别分析

大数据是互联网发展的方向，大数据人才是未来的高薪贵族。随着大数据人才的供不应求，大数据人才的薪资待遇也在不断提升。