ML&DL-大数据学习

零基础大数据学习路线

1.了解大数据理论要学习大数据你至少应该知道什么是大数据，大数据一般运用在什么领域。对大数据有一个大概的了解，你才能清楚自己对大数据究竟是否有兴趣，如果对大数据一无所知就开始学习，有可能学着学着发现自己其实不喜欢，这样浪费了时间精力，可能还浪费了金钱。所以如果想要学习大数据，需要先对大数据有一个大概的了解。2.计算机编程语言的学习。对于零基础的朋友，一开始入门可能不会太简单。因为需要掌握一门计算机
嘿嘿海海·2020-06-23 12:31

Hadoop 大数据学习笔记

Hadoop大数据学习笔记1大数据部门组织架构HadoopHadoop是什么Hadoop的优势Hadoop的组成HDFS架构YARN架构MapReduce大数据技术生态体系!
fuyiar·2020-06-23 09:36

大数据学习路线

原文：https://blog.csdn.net/zys_1997/article/details/78358992转大数据学习路线看到一个博主写的大数据学习路线，看了比较心动，想着自己可以先在Java
meihuiziaaaaaa·2020-06-23 04:00

大数据学习笔记之Spark（六）：Spark内核解析

文章目录小笔记spark通信架构spark脚本sparkStandalone启动流程spark应用提交流程sparkshuffle过程Spark内存管理与分配第1章Spark整体概述如何查看spark源码1.1整体概念1.2RDD抽象1.3计算抽象（重点看下，也算是任务运行吧）1.4集群模式1.5RPC网络通信抽象1.6启动Standalone集群1.7核心组件1.8核心组件交互流程（重点看，面试
Leesin Dong·2020-06-23 03:14

大数据学习笔记之Spark（八）：Spark机器学习解析（一）

文章目录第1章机器学习概述第2章机器学习的相关概念2.1数据集2.2泛化能力2.3过拟合和欠拟合2.4维度、特征2.5模型2.6学习第3章算法常用指标3.1精确率和召回率3.2TPR、FPR&TNR3.3综合评价指标F-measure3.4ROC曲线、AUC3.4.1为什么引入ROC曲线？3.4.2什么是ROC曲线？3.4.3什么是AUC？3.4.4怎样计算AUC？4.1梯度下降4.2牛顿法4.3
Leesin Dong·2020-06-23 03:29

大数据学习笔记之Spark（七）：Spark优化解析

文章目录小笔记spark的监控工具Spark的数据倾斜第1章Spark性能优化1.1调优基本原则1.1.1基本概念和原则1.1.2性能监控方式1.1.2.1SparkWebUI1.1.2.2Ganglianmon1.1.2.2其他监控工具Jprofiler（很重要）1.1.3调优要点1.1.3.1内存调整要点1.1.3.2集群并行度调整要点1.1.3.3序列化和传输1.1.3.4文件读写1.1.3
Leesin Dong·2020-06-23 03:54

大数据学习笔记之Spark（二）：SparkCore应用解析

文章目录小笔记第1章RDD概念番外篇RDD基础RDD的创建RDD的操作1.1RDD为什么会产生1.2RDD概述1.2.1什么是RDD1.2.2RDD的属性1.3RDD弹性1.4RDD特点1.4.1分区1.4.2只读1.4.3依赖1.4.4缓存1.4.5checkpoint第2章RDD编程2.1编程模型2.2创建RDD2.3RDD编程2.3.1TransformationmapfilterflatM
Leesin Dong·2020-06-23 03:46

大数据学习笔记之Spark（四）：Spark Streaming概述

文章目录小笔记第1章SparkStreaming概述1.1什么是SparkStreaming1.2为什么要学习SparkStreaming1.3Spark与Storm的对比第2章运行SparkStreaming2.1IDEA编写程序第3章架构与抽象第4章SparkStreaming解析4.1初始化StreamingContext4.2什么是DStreams4.3DStreams输入4.3.1基本数
Leesin Dong·2020-06-23 03:15

大数据学习笔记之Spark（五）：SparkGraphX 应用解析

文章目录小笔记第1章SparkGraphX概述1.1什么是SparkGraphX1.2弹性分布式属性图1.3运行图计算程序第2章SparkGraphX解析2.1存储模式2.1.1图存储模式2.1.2GraphX存储模式2.1.2.1RandomVertexCut2.1.2.2CanonicalRandomVertexCut2.1.2.3EdgePartition1D2.1.2.4EdgeParti
Leesin Dong·2020-06-23 03:15

大数据学习笔记之Spark（八）：Spark机器学习解析（二）

文章目录@[toc]第23章协同过滤推荐算法（重点看下，推荐系统）23.1算法思想23.2推荐数据准备23.3相似性度量23.3.1皮尔逊相关系数23.3.2欧式距离23.3.3同现相似度23.4邻域大小23.5基于用户的CF23.6基于物品的CF23.7SparkMLlib算法实现第24章ALS交替最小二乘算法24.1算法思想24.1.1矩阵分解模型24.1.2交替最小二乘法（ALS）24.2S
Leesin Dong·2020-06-23 03:42

大数据学习笔记之HBase（七）：案例设计（新浪微博）

文章目录四十一、设计案例41.0、牵扯知识点41.1、牵扯概念：命名空间41.1.1、命名空间结构图41.1.2、组成部分41.1.3、命名空间命令41.1.4、观察HDFS中的目录结构的变化41.2、微博项目41.2.1、需求分析41.2.2、步骤拆解41.2.3、代码实现四十一、设计案例41.0、牵扯知识点版本上下界、命名空间、rowkey的设计技巧，除了命名空间，剩下的知识点在前面几篇有讲到
Leesin Dong·2020-06-23 03:39

大数据学习笔记之Oozie（一）：Oozie入门

文章目录1、Oozie英文翻译2、Oozie简介3、Oozie在集群中扮演的角色4、Oozie的功能模块5、Oozie的节点6、Oozie的安装与部署7、案例7.1、案例一：使用Oozie调度Shell脚本7.2、案例二：执行多个Job调度7.3、案例三：调度MapReduce任务7.4、案例四：Coordinator周期性调度任务（这个最后是没有成功的，start和stop配置的格式的问题，不要
Leesin Dong·2020-06-23 03:38

大数据学习笔记之HBase（五）：一些优化技巧（通用技巧、linux、HDFS、MapReduce、HBase、内存、JVM、zookeeper）

文章目录三十七、一些优化技巧37.1、通用优化37.1.1、NameNode的元数据备份使用SSD37.1.2、定时备份NameNode上的元数据，每小时或者每天备份，如果数据极其重要，可以5~10分钟备份一次。备份可以通过定时任务复制元数据目录即可。37.1.3、为NameNode指定多个元数据目录，使用dfs.name.dir或者dfs.namenode.name.dir指定。一个指定本地磁盘
Leesin Dong·2020-06-23 03:38

Java和Java大数据有什么区别？

那java和java大数据学习的内容是一样的吗？两者有什么区别呢？今天就从java和java大数据的以下方面谈谈两者的区别。
李旭me·2020-06-23 03:31

大数据学习之小白快速了解flume

科多大数据带你来快速了解flume。flume的整体基础架构包括三个，分别是source,chanel,sink.下面是官网的截图：因此，优化要从三个组件的角度去分别优化。1、sourcesources是flume日志采集的起点，监控日志文件系统目录。其中最常用的是SpoolingDirectorySource，ExecSource和AvroSource。关键参数讲解：（1）batchSize：这
大数据在说话·2020-06-23 01:10

大数据学习3——分布式文件系统HDFS

一、HDFS简介HDFS的全称是HadoopDistributedFileSystem，分布式文件系统。1.HDFS的文件系统结构：2.HDFS实现目标：兼容廉价的硬件设备、实现流数据的读写、支持大数据集、支持简单的文件模型、强大的跨平台兼容性3.HDFS的局限性：不适合低延时数据访问、无法高效储存大量小文件、不支持多用户写入及任意修改文件。二、HDFS相关概念1.块：HDFS中最核心的概念。与普
csdn950212·2020-06-23 00:29

大数据学习如何从入门到精通？这些系统路线你看了吗？

老师在跟学生的聊天中，了解到，很多小伙伴都想要学习大数据技术，但真的不知道该如何学习，从哪个方向开始，又如何一步一步将大数据技术归为自己技能的呢？大数据开发，真实商业数源授课，致力于大数据系统集能及区块链为辅，全程企业真实项目深度实操，带领学生一站式搞定匪夷所思的大数据开发技术。自2017年底推出大数据+人工智能课程，至今大纲标准化迭代5次，近期课程再度升级，新增87个核心技术点，课时增加6周。课
数据工程师大牛·2020-06-23 00:30

大数据开发需要学哪些项目 从哪里入手比较好

在这里我还是要推荐下我自己建的大数据学习交流qq裙：957205962，裙里都是学大数据开发的，如果你正在学习大
数据工程师大牛·2020-06-23 00:29

大数据技术与人工智能殊途同归

在这里我还是要推荐下我自己建的大数据学习交流qq裙：957205962，裙里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入，大家都是软件开
数据工程师大牛·2020-06-23 00:29

转行大数据需要会些什么？月薪50000的大数据开发工程师告诉你！

大数据学习并不简单，但它不是一项深奥而困难的技术。只要你愿意努力工作，基础也能能掌握大数据，成功进入工作场所。
数据工程师大牛·2020-06-23 00:29

大数据未来七大发展方向

在这里我还是要推荐下我自己建的大数据学习交流qq裙
数据工程师大牛·2020-06-23 00:28

BATJ大牛的大数据学习之路！

在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙：957205962，即可免费领取套系统的大数
数据工程师金牛·2020-06-23 00:41

大数据 比你更懂你

在这里我还是要推荐下我自己建的大数据学习交流qq裙：957205962，裙里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有
数据工程师金牛·2020-06-23 00:40

离线分析的大数据技术集锦

在这里我还是要推荐下我自己建的大数据学习交流qq裙：957205962，裙里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相关的），包括我自己整理的一份
数据工程师金牛·2020-06-23 00:40

业界 | 每个数据科学家都该读的五本无关技术的书

很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习扣群：805127855，有大量干货（零基础以及进阶的经典实战
数据工程师金牛·2020-06-23 00:40

收藏 | 大数据应用及其解决方案（完整版）

1.1.概述1.2.大数据定义1.3.大数据技术发展2.大数据应用2.1.大数据应用阐述2.2.大数据应用架构2.3.大数据行业应用3.大数据解决方案3.1.大数据技术组成在这里我还是要推荐下我自己建的大数据学习交流
数据工程师陈晨·2020-06-23 00:39

大数据技术之Hive(一

在这里我还是要推荐下我自己建的大数据学习交流qq裙：957205962，裙里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入，大家都是软件开发党
数据工程师陈晨·2020-06-23 00:39

大数据到底怎么学：数据科学概论与大数据学习误区

“数据科学家走在通往无所不知的路上，走到尽头才发现，自己一无所知。”-WillCukierski，HeadofCompetitions&DataScientistatKaggle最近不少网友向我咨询如何学习大数据技术？大数据怎么入门？怎么做大数据分析？数据科学需要学习那些技术？大数据的应用前景等等问题。由于大数据技术涉及内容太庞杂，大数据应用领域广泛，而且各领域和方向采用的关键技术差异性也会较大，
chuange6363·2020-06-22 23:36

Android App开发之埋点大数据收集、收藏吧~

推荐一个大数据学习群119599574晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享，你愿意来学习吗项目需求是大数据的收集
chongliang6973·2020-06-22 22:23

大数据学习 HBase

hbase列式分布式数据库：结构化数据和非结构化数据支持实时数据处理列存储水平扩展优秀HBASE接口：javaapi，shell，hiveHBASE数据模型：列式存储在数据分析中效率很高，同一列数据类型相同可以达到更高的压缩率；事务性操作比较多使用传统行式存储；分析型应用为主列式储存；master服务器：分区信息维护和管理、维护region服务器列表、监控region、负责对region进行分配、
chenzhai7583·2020-06-22 22:43

大数据学习 hive

继续之前MapReduce之后的大数据学习################################hive的安装：tar-zxcfhive.gz-C/app安装hive；改配置hive-defualt.xml
chenzhai7583·2020-06-22 22:43

大数据学习 azkaban，sqoop

azkaban工作流调度器1.解压azkaban,server,executor2.导入脚本，创建数据库表3.创建秘钥，将秘钥放入server根目录4，统一时区5.配置azkaban.properties,配置user.xml6.配置executor的azkaban.properties7.启动web服务器，启动执行服务器8.https://主机名:84439.上传zip文件，执行可以进行bash
chenzhai7583·2020-06-22 22:43

收藏 | 100+篇大数据学习资讯，带你玩转大数据分析！

深度解析如何挑选适合自己的Hadoop平台什么是Hadoop，怎样学习Hadoop分布式文件系统HDFS解析Hadoop开发人员基础课程之初识MapReduceHBase基础知识，面向列的实时分布式数据库完全分布式HBase集群安装配置示例什么是Spark，如何使用Spark进行数据分析2分钟读懂大数据框架Hadoop和Spark的异同IBM专家亲自解读Spark2.0操作指南浅谈【数据地图】在数
数控小J·2020-06-22 22:08

大数据学习资源下载

这里还是要推荐下小编的大数据学习群:532218147，不管你是小白还是大牛，小编我都欢迎，不定期分享干货，包括小编自己整理的一份2017最新的大数据资料和0基础入门教程，欢迎初学和进阶中的小伙伴。
大数据学习01·2020-06-22 21:59

搭建Zookeeper集群

出于对大数据处理流程和需要部署的相关组件的了解，决定跳出一般大数据学习思维，先将集群资源管理组件搭建起来，然后以资源管理组件为基础慢慢填充集群内容，所以搭建Zookeeper作为大数据学习的第一步。
小e工作室·2020-06-22 18:13

大数据学习之nginx——01安装及相关知识

1.前提准备需要安装gcc的环境。yuminstallgcc-c++安装第三方的开发包PCREyuminstall-ypcrepcre-develzlibyuminstall-yzlibzlib-developensslyuminstall-yopensslopenssl-devel可以执行以下命令,一次性安装yuminstallgccopenssl-develpcre-develzlib-dev
Jiang锋时刻·2020-06-22 18:39

大数据学习之Hive——08Hive SQL练习之影评案例

转载至:https://www.cnblogs.com/qingyunzong/p/8727264.html#_label2_11.案例说明1.现有如此三份数据：users.dat数据格式为：2::M::56::16::70072，共有6040条数据对应字段为：UserIDBigInt,GenderString,AgeInt,OccupationString,ZipcodeString对应字段中文
Jiang锋时刻·2020-06-22 18:39

大数据学习之HBase——03Hbase shell操作

1.进入Hbase命令行hbaseshell2.Hbase命名空间操作列出所有命名空间list_namespace创建namespacecreate_namespace'ns1'查询指定namespace下的表list_namespace_tables'ns1'删除指定namespace#前提是该namespace是空的drop_namespace'ns1'3.Hbase表的操作关于表的操作包括（
Jiang锋时刻·2020-06-22 18:39

大数据学习之Zookeeper——01Zookeeper简单介绍

转载:https://www.cnblogs.com/sunddenly/p/4033574.html一.分布式协调技术在给大家介绍ZooKeeper之前先来给大家介绍一种技术——分布式协调技术。那么什么是分布式协调技术？那么我来告诉大家，其实分布式协调技术主要用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种临界资源，防止造成"脏数据"的后果。这时，有人可能会说这个简单，写一个
Jiang锋时刻·2020-06-22 18:09

大数据学习之Hadoop——05MapReduce概念(感觉没写什么, 后面再补充)

一.基本概念1.为什么需要MapReduce海量数据在单机上处理因为硬件资源限制，无法胜任而一旦将单机版程序扩展到集群来分布式运行，将极大增加程序的复杂度和开发难度MapReduce把大量分布式程序涉及到的内容都封装进了该运算框架引入MapReduce框架后，开发人员可以将绝大部分工作集中在业务逻辑的开发上，而将分布式计算中的复杂性交由框架来处理2.MapReduce的思想就是“分而治之”Mapp
Jiang锋时刻·2020-06-22 18:08

大数据学习之Hadoop——10MapReduce实现Reduce Join(多个文件联合查询)

一.MapReduceJoin对两份数据data1和data2进行关键词连接是一个很通用的问题，如果数据量比较小，可以在内存中完成连接。如果数据量比较大，在内存进行连接操会发生OOM。mapreducejoin可以用来解决大数据的连接。1.思路1.reducejoin在map阶段,把关键字作为key输出，并在value中标记出数据是来自data1还是data2。因为在shuffle阶段已经自然按k
Jiang锋时刻·2020-06-22 18:08

大数据面试知识图谱

大纲本系列主题是大数据开发面试指南，旨在为大家提供一个大数据学习的基本路线，完善数据开发的技术栈，以及我们面试一个大数据开发岗位的时候，哪些东西是重点考察的，这些公司更希望面试者具备哪
Hadoop技术博文·2020-06-22 16:37

原创干货 | 史上最全的大数据学习资源(Awesome Big Data)

很多人在学习大数据的时候比较迷茫，不知从何学起，也不能够比较系统、全面的了解大数据框架。为此，过往记忆花了一个周末的时间把AwesomeBigData（https://github.com/onurakpolat/awesome-bigdata）里近600个大数据相关的调度、存储、计算、数据库以及可视化等介绍全部翻译了一遍，供大家查漏补缺，全面学习，强烈建议收藏。更多大数据技术知识学习，请持续关注
Hadoop技术博文·2020-06-22 16:37

做了五年大数据开发工程师总结的的大数据学习路线

大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。其实这就是想告诉你的大数据的三个发展方向，平台搭
大数据Arry·2020-06-22 15:55

大数据学习笔记之初识Hadoop

1、Hadoop概述1.1Hadoop名字的由来Hadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名Hadoop的官网：http://hadoop.apache.org。1.2Hadoop介绍Hadoop是Apache的一个顶级项目、是开源的、分布式存储+分布式计算平台；它由以下几个模块构成：HadoopCommon:这是支持hadoop其他模块的通用工具模块HadoopDistrib
ako881010·2020-06-22 13:00

大数据学习之路02——第一个MapReduce程序

2019-05-17|大数据学习之路系列02目标单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为MapReduce版“HelloWorld”。单词计
aijcjo·2020-06-22 13:06

2020年大数据学习路线指南（最全知识点总结）零基础入门大数据学习必备系统教程和学习目录

系统的学习知识点我大数据入门，需要学习以下这些知识点：先附上一张自己总结的学习线路图1、Java编程技术Java编程技术是大数据学习的基础，
IT资讯科技·2020-06-22 11:07

大数据学习之路

万字长文，纯干货，建议收藏阅读。大纲：一、开篇致辞二、为什么要学大数据三、学习大数据门槛四、学习路线&独家干货（学生、在职、零基础）五、推荐书单六、Q&A一、开篇致辞我今年大四，大二的时候先后在厦门的两家小公司实习Java，大三的时候在ApcheKylin的贡献团队Kyligence实习，现在在一家西班牙集团就职大数据开发。首先感谢我大二的第一份实习，它是我职场上的启蒙之旅，以致我后面的一个技术视
无精疯·2020-06-22 11:11

从安卓主管转型大数据开发，我经历了什么？

当然，我也不会让他们白忙活，我支付赞赏2的稿费(50起步)，所以欢迎大家多多赞赏~*人物介绍许则则(化名)，一位五年安卓经验的开发主管，从去年就在我大数据学习群里，看着我和其他群友慢慢转型大数据，所以于
无精疯·2020-06-22 11:11

Hive数据倾斜及解决方法

Hive学习之路（十九）Hive的数据倾斜2个人光环大数据学习Hive面试常问：hq语句优化sortbyorderbydistributeby分区表分桶表的区别内部表外部表的区别数据倾斜：数据分布不均匀
张之海·2020-06-22 09:20
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他