机器学习/数据挖掘岗位准备

机器学习：西瓜书？

2. 熟练掌握C++、Java、Python等语言中的一种或几种，熟悉Spark、Tensorflow等平台；
   Hadoop，HIVE
3. 熟练掌握基础机器学习知识，对2-3种模型有较深的认识。

Linux因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。好说完基础了，再说说还需要学习哪些大数据技术，可以按我写的顺序学下去。

Hadoop这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。
Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。YARN是体现Hadoop平台概念的重要组件有了它大数据生态体系的其它软件就能在hadoop上运行了，这样就能更好的利用HDFS大存储的优势和节省更多的资源比如我们就不用再单独建一个spark的集群了，让它直接跑在现有的hadoop yarn上面就可以了。其实把Hadoop的这些组件学明白你就能做大数据的处理了，
记住学到这里可以作为你学大数据的一个节点。

Mysql我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那？你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Hive

这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那？它和Pig差不多掌握一个就可以了。

Spark它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

最后再学习下推荐、分类等算法的原理这样你能更好的与算法工程师打交道。

作者：青牛
链接：https://www.zhihu.com/question/35942305/answer/296719142
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

BAT机器学习面试1000题系列（第1~325题）

    /* 其他 */
    什么是boosting tree
    GBDT
    L1和L2正则为何可以减弱over-fitting?
    L1和L2正则有什么区别
    KNN和LR有什么本质区别
    怎么理解Dropout
    为什么random forest具有特征选择的功能
    random forest有哪些重要的参数？
    DNN为什么功能强大，说说你的理解
    SVM的损失函数是什么？怎么理解
    介绍下Maxout
    项目中over-fitting了，你怎么办
    详细说一个你知道的优化算法(Adam等)
    项目(比赛）怎么做的模型的ensemble
    stacking是什么？需要注意哪些问题
    了解哪些online learning的算法
    如何解决样本不均衡的问题
    fasterRCNN中的ROIPooling是如何实现的
    如何进行特征的选择
    如何进行模型的选择
    什么是梯度消失？怎么解决
    常用的有哪些损失函数
    XX用户画像挖掘怎么做的feature engineering?
    假设一个5*5的filter与图像卷积，如何降低计算量？
    做过模型压缩吗？介绍下
    什么是residual learning？说说你的理解
    residual learning所说的residual和GBDT中的residual有什么区别？
    FFM和FTRL有过了解吗？
    你对现在Deep Learning的发展和遇到的问题有什么看法？