大数据开发和软件开发哪个前景好？

大数据开发学习有难度，零基础入门要先学习Java语言打基础，然后进入大数据技术体系的学习，Hadoop、Spark、Storm等知识。软件开发工程师根据不同的学科从事的岗位也千差万别。

​

先说说大数据开发岗位和就业的前景，大数据开发岗位对于code能力、工程能力有要求，编程能力、语言表达能力、解决问题的能力。大数据开发会涉及到大量的开源的东西，而开源坑比较多，需要能够快速的定位问题解决问题，如果是零基础适合有一定的开发基础，然后对于新东西能够快速掌握。

大数据分析类的职位，在业务上，需要对业务能够快速的了解、理解、掌握，通过数据感知业务的变化，通过对数据的分析来做业务的决策，在技术上需要有一定的数据处理能力，比如一些脚本的使用、sql数据库的查询，execl、sas、R等工具的使用等等。在工具层面上，变动的范围比较少，主要还是业务的理解能力。

非理工科出身编程能力较差，但是对业务的理解能力还可以的话，其实是可以选择数据分析类的；从薪酬上看，开发类的薪酬会略大与数据分析类，由于岗位成本造成的，当然这只是一般情况下，任何领域的高端人才都是值钱。

数据开发是基础，数据分析师生化是对于开发的数据进行一定的研究和分析，然后得出数据背后的整体的现象和潜在的商业机遇，对于我们的整体的生活也是各有利弊。

大数据开发是IT职业中的软件开发工程师是“大熊猫”，大数据工程师的收入可超过同类型的岗位。在一二线城市，大数据开发的薪资基本上是10K+；拥有3-5年技术经验的人才可达到40K+。拥有3-5年技术经验的人才薪资可达到30K，从薪酬上看，一般情况下，开发类的薪酬会略高于与数据分析类的，这是由于岗位成本造成的。其实，任何领域的实战经验丰富的人才都是值钱。

学大数据基础包含涵盖大数据体系中的技术点，包括但不限于Linux、Zookeeper、Hadoop、Yam、Redis、HDFS、MapReduce、Hive、lmpala、Hue、Oozie、Storm、Kafka、Spark、Soark RDD、Spark SQL、Soark Streaming、Sqoop、Flume、CDH、Scala、Hbase、Flink、机器学习等，将离线数据分析、实时数据分析和内存数据计算中的技术点全面覆盖。

学大数据需要具备的基础：

1、Linux
大数据相关软件都在Linux上运行，学好Linux快速掌握大数据相关技术会有很大的帮助，更好理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，少踩坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。

2、Hadoop
大数据代名词，Hadoop包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，有个特点就是不管多大的数据只要给时间就能把数据跑完，但时间可能不是很快所以叫数据的批处理。

3、Zookeeper
安装Hadoop的HA的时候就会用，Hbase也会用到。用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用的软件对有依赖，对于我们个人来讲只需要把安装正确，让正常的run起来就可以了。

4、Mysql
学习完大数据的处理，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那？你能在Linux上把安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。

5、Sqoop
把Mysql里的数据导入到Hadoop里。直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

6、Hive
这个东西对于会SQL语法的来说就是神器，能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那？和Pig差不多掌握一个就可以了。

7、Oozie
管理Hive或者MapReduce、Spark脚本，还能检查程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。

2022新版黑马程序员MySQL知识精讲+mysql实战案例_零基础mysql数据库入门到高级全套教程_哔哩哔哩_bilibili

黑马程序员大数据项目实战教程_大数据企业级离线数据仓库，在线教育项目实战（Hive数仓项目完整流程）_哔哩哔哩_bilibili

2022新版黑马程序员python教程，8天python从入门到精通，学python看这套就够了_哔哩哔哩_bilibili

黑马程序员Python高级语法进阶教程_python多任务及网络编程，从零搭建网站全套教程_哔哩哔哩_bilibili

黑马程序员Spark全套视频教程，4天spark3.2快速入门到精通，基于Python语言的spark教程_哔哩哔哩_bilibili

2022新版黑马程序员大数据Hadoop入门视频教程，适合零基础自学的大数据Hadoop教程_哔哩哔哩_bilibili