ML&DL-大数据学习

2019全新版最新大数据学习路线+教你从零做起

很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：199427210，有大量干货（零基础以及进阶的经典实战
安靜@忧伤·2020-09-15 03:15

零基础学习大数据：零基础学习大数据最完整的学习路线

下面分十个章节来说明大数据开发要学习的内容：以上就是一个大数据新手，想要学会大数据开发，需要学习的内容，大数据学习是一个持续的过程，只要用心学，没有学不会的东西哦！
大数据开发交流·2020-09-15 03:32

新手小白大数据学习路线规划

上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。语言基础1.Java大数据框架大多采用Java语言进行开发，并且几乎全部的框架都会提供JavaAPI。Java是目前比较主流的后台开发语言，所以网上免费的学习资源也比较多。如果你习惯通过书本进行学习，这里推荐以下入门书籍：《Java编程的逻辑》：这里一本国人编写的系统入门Java的书籍，深入
juan333·2020-09-15 02:33

行状元素和块状元素

块状元素：address-地址blockquote-块引用center-举中对齐块dir-目录列表div-常用块级容易，也是CSSlayout的主要标签dl-定义列表fieldset-form控制组form
pang_sanbai·2020-09-14 19:34

大数据学习之十——MapReduce代码实例：数据去重和数据排序

***数据去重***目标：原始数据中出现次数超过一次的数据在输出文件中只出现一次。算法思想：根据reduce的过程特性,会自动根据key来计算输入的value集合，把数据作为key输出给reduce,无论这个数据出现多少次，reduce最终结果中key只能输出一次。1.实例中每个数据代表输入文件中的一行内容，map阶段采用Hadoop默认的作业输入方式。将value设置为key，并直接输出。map
weixin_30802273·2020-09-14 16:25

大数据学习——scala集合练习

packagecom/***CreatedbyZXon2016/4/5.*/objectListTest{defmain(args:Array[String]){//创建一个Listvallst0=List(1,7,9,8,0,3,5,4,6,2)//将lst0中每个元素乘以10后生成一个新的集合vallst01=lst0.map(_*10)println("lst01"+lst01)vallst
weixin_30567471·2020-09-14 16:42

大数据学习——java调用spark常用接口函数

一、准备：1.1引入依赖包：org.apache.sparkspark-core_2.101.2.0spark版本在不断迭代更新，也许这个版本已经过时，不同的版本之间java接口并不是完全兼容的，如果为了快速了解学习，请在maven中配置和我一样的spark依赖版本，这样下面的java接口调用代码是可以直接使用的，否则要自行处理版本更新导致的接口标准变化。比如你可能立即发现Iterator和Ite
祁峰sunny·2020-09-14 09:58

大数据学习——win环境下spark安装教程

spark是性能远超过hadoop的MapReduce的计算框架，它依赖于hadoop和分布式硬件环境。但是学习spark和测试一些简单的功能函数时，分布式环境是一个较高的门槛，对hadoop的依赖也使得习惯于windows开发环境的程序员十分苦恼。以下博文将在windows环境下安装spark。一、环境准备安装jdk：https://blog.csdn.net/qq_15903671/artic
祁峰sunny·2020-09-14 09:57

大数据学习——java调用spark学习测试

spark是一种计算框架，如果只是想学习，完全可以脱离hadoop而独立运行，当然这样就没法使用hdfs进行数据存储。windows环境下，使用java语言添加spark依赖包就可以直接使用spark了。一、maven添加spark依赖：这个jar包还是挺大的，下载需要点时间。二、随便写个map操作importorg.apache.commons.lang3.StringUtils;importo
祁峰sunny·2020-09-14 09:57

大数据学习——dataX工具部署和源码编译

为了做大数据项目数据抽取工作，开始学习dataX，尝试比较dataX（版本3.0）与sqoop的功能与性能差异。以下教程包括：下载dataX工具及简要使用、下载dataX源码尝试编译及遇到的问题、尝试改造开源项目dataX一、下载dataX工具及简要使用gitHub下载（在下面的README里，QuickStart栏中）：https://github.com/alibaba/DataX阿里云下载：
祁峰sunny·2020-09-14 08:11

大数据学习篇：hadoop深入浅出系列之HDFS（一）——HDFS简介和优缺点

上一篇，我们说了hadoop的伪分布式安装，今天我们来说说著名的HDFS，一：HDFS简单介绍HDFS，顾名思义HadoopDistributedFileSystem，翻译过来就是hadoop分布式文件系统，至于它的来历我就不说了，网上比比皆是。随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的
你所有承诺·2020-09-14 01:45

【大数据】大数据学习填坑之路

大数据学习填坑之路1.20/09/1122:18:26ERRORboot.SpringApplication:Applicationstartupfailed问题log分析：2.20/09/1122:30
游骑小兵·2020-09-14 00:23

大数据学习之路----Scala语言学习（安装、常量、变量、类型）

一、scala语言Scala是一门多范式的编程语言，一种类似java的编程语言，设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性，这种语言与java类似，有很多java的影子存在，而且还有一些自己的特点，我们可以使用这门语言去操作spark计算引擎，scala在计算和执行效率上要高于java所以我们在使用spark进行在线计算时，采用的是scala语言。多范式：既包含java的
十五亿程序员的希望·2020-09-13 22:32

大数据学习之路----HDFS与Eclipse的搭建----集群外提交

使用Eclipse来充当client来对集群中的文件进行上传下载一、环境搭建就像搭建java环境变量一样，在我的电脑>>>属性>>>高级系统设置>>>环境变量中可以看到有之前我们配置的系统变量JAVA_HOME,同样我们首先配置HADOOP_HOME第二我们要配置HADOOP_USER_NAME这里的名字一定要和虚拟机管理员的名字一致第三就是要修改Path在下面加入%HADOOP_HOME%\bi
十五亿程序员的希望·2020-09-13 22:32

大数据学习之路----Scala语言学习（类、方法、对象、继承、特质）

类、方法、对象、继承、特质Scala的类与Java、C++的类比起来更简洁，学完之后你会更爱Scala！！！1.1.类1.1.1.类的定义packagecn.bw.class_demo/**在Scala中，类并不用声明为public类型的。Scala源文件中可以包含多个类，所有这些类都具有共有可见性。*/classPerson{//用val修饰的变量是可读属性，有getter但没有setter（相
十五亿程序员的希望·2020-09-13 22:01

大数据学习之路-----JSch

JSch是JavaSecureChannel的缩写。JSch是一个SSH2的纯Java实现。它允许你连接到一个SSH服务器，并且可以使用端口转发，X11转发，文件传输等，当然你也可以集成它的功能到你自己的应用程序。本文只介绍如何使用JSch实现的SFTP功能。SFTP是SecureFileTransferProtocol的缩写，安全文件传送协议。可以为传输文件提供一种安全的加密方法。SFTP为SS
十五亿程序员的希望·2020-09-13 22:01

大数据学习之路----Scala语言学习（类型转换、判断、循环、元组、数组、集合）

一、类型转换Scala的类型转换分为三种:隐式转换、强制类型转换、值类型和字符串类型的转换1.隐式转换隐式转换又称为自动类型转换，当Scala程序在进行赋值或者运算的时候，精度小的类型自动转换为精度大的类型，这个就是自动类型转换例：vara:Int=‘a’、vard:Double=100注意：1)有多种类型进行混合运算时,系统首先将所有的类型,转换成精度最大的那种数据类型,然后再进行计算例：4.5
十五亿程序员的希望·2020-09-13 22:00

大数据学习第三课之hdfs的java客户端IO流和简单Util的文件操作（以idea展示，eclipse为辅）

方法一：第一种（在eclipse中，主要讲解环境）先进行依赖包引入，代码操作看方法二。导包（在java中的jar包）流程如此下：导入这两个包,这里就演示的包，common相同。先导入这第三个还有它lib第三方依赖包的全部：点击打开就导入了，下面也是。这里就是导入成功了（hdfs和hdfsbao包一样的，举个例子，我这里是hdfs，名字随便取）：方法二（一）：IO流的操作（idea中）首先就是建一个
一片程序的天空·2020-09-13 22:47

大数据学习笔记之Storm（一）：Storm

一Storm概述1.1离线计算是什么？离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据1.2流式计算是什么流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka实时数据存储、Storm/JStorm实时数据计算、Redis实
Leesin Dong·2020-09-13 18:38

大数据学习笔记1

Hadoop学习笔记本文是关于在环境搭建过程中我个人遇到的问题的记录，所以并没有具体过程，过程大家可以自行在网上找，我也是在网上找的，并没有太大的区别。1.版本问题本人用的环境是：jdk1.8hadoop2.7.1zookeeper3.4.6hbase1.1.2其中，hadoop1.x和2.x差别非常大，并不通用，因此1.x的教程对于2.x来说基本上完全没有参考价值，当然如果深入到框架和原理，那肯
ruirui610·2020-09-13 12:37

大数据学习笔记1

一、大数据定义IBM用4V（Volume、Variety、Velocity、Value）来描述大数据所拥有的特点。（1）大容量（Volume），指数据体量巨大；（2）多形式（Variety），指数据类型多样；（3）高速率（Velocity），指数据以非常高的速率产生实时数据；（4）价值密度（Value），指价值密度低的数据为大数据（大数据伴随着从低价值的原始数据中进行深度挖掘和计算，从海量且形式各
q123_xi·2020-09-13 08:08

蓝桥杯练习系统习题-算法提高1

文章推荐精选java等全套学习资源精选java电子图书资源精选大数据学习资源java项目练习精选蓝桥杯练习系统习题-算法提高1题目搜索方式：Ctrl+F—->输入题目名称—>定位到解答.入门训练（详见算法
欧阳思海·2020-09-13 06:55

阿里云服务器（ECS）实战--CentOS 7安装Chrome浏览器

google-chromebaseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearchenabled=1gpgcheck=1gpgkey=https://dl
雾里看花_lhh·2020-09-13 05:15

大数据学习笔记之Hadoop环境配置(完全分布式搭建)

先搭一台伪分布式的服务，然后直接克隆2台，一共3台克隆完成后需要更改主机名hostnamectlset-hostname名称在/etc/sysconfig/network-scripts/ifcfg-ens33修改ip映射关系把这个地址改成你设置的地址在/etc/hosts文件中添加服务器地址用上面的操作我们可以搭好3台独立大队伪分布式服务接下来把3台连到一起在hadoop-2.7.3/etc/h
Java璐到底·2020-09-13 00:59

Spark MLlib 之 大规模数据集的相似度计算原理探索

更多内容参考——我的大数据学习之路——xingoo在spark中RowMatrix提供了一种并行计算相似度的思路，下面就来看看其中的奥妙吧！相似度相似度有很多种，每一种适合的场景都不太
weixin_33736048·2020-09-12 20:04

尚硅谷直播课:（韩顺平）2020大数据学习路线图、大数据开发课程笔记

尚硅谷直播课:2020大数据学习路线图,大数据开发链接：https://pan.baidu.com/s/18Feqa_63640xPB0fYJ8Ttg提取码：9bnr(此链接放这只为方便自己查阅，无恶意分享他人劳动成果之意
ningmengshuxiawo·2020-09-12 19:13

2019最新大数据学习路线

在中国，大数据也正迅速成为行业和市场的热点。专注与亚太及中国市场的市场调查机构泛亚咨询发布的调研数据显示，目前出现在各类招聘平台上与数据分析相关的招聘需求比去年同期相比，增长率高达67%；大数据相关高级职位的薪酬与其他同类技术职位相比平均高出43%以上。无论是世界范围内还是在中国，大数据浪潮正在深刻改变着各行各业，而各行各业对大数据人才的需求，以及技术从业者希望跻身大数据高级人才的需求也变得越来越
dfywlme7915·2020-09-12 18:32

2020尚硅谷大数据学习路线【最新版】

文章所有内容转自www.atguigu.com文章内容以尚硅谷官方(http://www.atguigu.com/download.shtml)为准！视频内容来自官网、B站，相关资料可在视频评论区领取。一、Java基础1.Java基础视频教程715集：https://www.bilibili.com/video/BV1Kb411W75N2.MySQL核心技术：https://www.bilibil
思唯李·2020-09-12 18:37

作为一个Android开发者，你迷茫了吗？

在这里我还是要推荐下我自己建的大数据学习交流qq裙：957205962，裙里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相关的），包括我自
数据工程师大牛·2020-09-12 15:09

什么条件下 零基础转行学大数据容易成功

大数据学习资料分享群：119599574谈起零基础学习大数据
大数据开发交流·2020-09-12 15:13

大数据学习 ------- Hbase 与hadoop区别 Hbase 与关系型数据库的区别 Hbase特点

Hbase与hadoop的区别？1、HDFS是一个分布式文件系统，存储大量的数据。Hbase是数据库是建立在HDFS之上的2、HDFS不支持单条记录的快速检索，而Hbase检索是最基本的功能3、HDFS提供是一个高延迟的处理,hbase提供了单行记录低延迟的随机访问Hbase与关系型数据库的区别？1Hbase没有事务的支持，hbase存储的数据都是非结构化或者半结构化的数据，而关系型数据库存储的都
Z_Data·2020-09-12 10:46

大数据学习笔记27：MR案例——多输入源处理成绩

文章目录一、提出任务原始成绩数据任务1、整合两个文件的成绩数据任务2、统计每个学生各科平均分二、准备工作1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目MultiInScore4、修改pom.xml文件，添加依赖5、创建log4j.properties文件三、完成任务1、创建ScoreRecordReader12、创建ScoreInputFormat13、创建ScoreRe
howard2005·2020-09-12 06:28

Zookeeper知识点总结

本文是大数据学习总结系列第二篇之ZooKeeper，上一篇是hadoopHadoop知识点整理本文是根据《从Paxos到Zookeeper分布式一致性原理与实践》的知识点进行整理总结。
大数据DL·2020-09-12 04:04

利用虚拟机快速搭建大数据学习平台

一.环境准备win7、vmware、centos镜像、crt远程登录软件1.1下载安装Vmware链接：https://pan.baidu.com/s/1_bwt383Y57n-OCrVJ59L8A提取码：7dpo下载完成后出现如下文件：点击VMware-workstation-full-14.1.3-9474260.exe文件进行安装，选择安装目录，输入文件中激活密钥。1.2下载虚拟机镜像下载地
坚持，再坚持一下·2020-09-12 03:59

大数据学习（一）：Hue Server简单介绍

一Hue架构图二Hue支持组件（Huewebserver）Hue支持展示多种组件，目前支持HDFS、Hive、YARN/MapReduce、Oozie、Solr、ZooKeeper以及Spark。Hue是建立在DjangoPython的Web框架上的Web应用程序，采用了MTV(模型M-模板T-视图V)的软件设计模式。（DjangoPython是开放源代码的Web应用框架。）Hue由“Superv
猪笨是念来过倒·2020-09-12 02:02

大数据学习40：Flume metric 注解

启动flume监控的一种方式：flume-ngagent\--namea1\--conf$FLUME_HOME/conf\--conf-file$FLUME_HOME/conf/exec-memory-hdfs-partition.conf\-Dflume.root.logger=INFO,console\-Dflume.monitoring.type=http\-Dflume.monitorin
月魂_123123·2020-09-12 02:15

大数据学习39：ElasticSearch 常用查询2

ES常用查询21、子条件查询：特定字段查询所指特定值Querycontext在查询中，除了判断文档是否满足查询条件外，ES还会计算一个_score来标识匹配程度。旨在判断目标文档和查询条件匹配的有多好。常用查询：(1)、全文本查询：针对文本类型数据#模糊匹配1POST127.0.0.1:9200/book/_search{"query":{"match":{"author":"wxk"}}}#模糊
月魂_123123·2020-09-12 02:15

大数据学习38：ElasticSearch 基础和常用命令-增删改查

基础概念集群和节点索引：含有相同属性的文档集合，索引通过名字识别，小写英文字母命名，不能中划线数字等类似database分片：每个索引都有多个分片，每个分片是一个Lucene索引好处：提高io读写效率分片只能在创建索引的时候指定，后期不能修改备份：拷贝一份分片就完成了分片的备份好处：当主分片不可用，备份即可顶替备份可以查询，可以分摊压力备份可以动态修改类型：索引可以定义一个或多个类型，文档必须属于
月魂_123123·2020-09-12 02:15

大数据学习11：Maven编译报错以及解决方法，配置aliyun库

一、场景在用maven对hadoop，spark等进行源码编译的时候，经常会遇到编译报错。以下为一些解决办法。二、报错与分析排查：[ERROR]Failedtoexecutegoalorg.apache.maven.plugins:maven-remote-resources-plugin:1.5:process(default)onprojectspark-yarn_2.11:Failedtor
月魂_123123·2020-09-12 02:14

大数据学习之路97-kafka直连方式（spark streaming 整合kafka 0.10版本）

我们之前SparkStreaming整合Kafka的时候用的是傻瓜式的方式-----createStream,但是这种方式的效率很低。而且在kafka0.10版本之后就不再提供了。接下来我们使用Kafka直连的方式，这种方式其实是调用Kafka底层的消费数据的API,我们知道，越底层的东西效率也就越高。使用之前的方式是要连接到zookeeper的，而现在的方式则不需要。代码如下：packageco
爱米酱·2020-09-11 22:27

Flink从入门到放弃(入门篇1)-Flink是什么

图片显示不了，戳这里：github.com/wangzhiwubi…插个广告全网唯一一个从0开始帮助Java开发者转做大数据领域的公众号~公众号大数据技术与架构或者搜索import_bigdata关注，大数据学习路线最新更新
weixin_33770878·2020-09-11 17:21

在大数据学习中Hadoop和Spark哪个更好就业？

一提到大数据，人们就会想到Hadoop，然而，最近又有个Spark似乎成了后起之秀，也变得很火，似乎比Hadoop更具优势，更有前景，那么，想要学习大数据的学员就要问了，在大数据学习中Hadoop和Spark
大数据开发交流·2020-09-11 16:32

大数据学习之Flink——11侧输出流 Side Output

1.为什么需要SideStream在处理一个数据源时，往往需要将该源中的不同类型的数据做分割处理，如果使用filter算子对数据源进行筛选分割的话，势必会造成数据流的多次复制，造成不必要的性能浪费；flink中的侧输出就是将数据流进行分割，而不对流进行复制的一种分流机制。flink的侧输出的另一个作用就是对延时迟到的数据进行处理，这样就可以不必丢弃迟到的数据2.如何使用SideStream要使用S
Jiang锋时刻·2020-09-11 14:33

大数据处理框架的类型、比较和选择

在这里我还是要推荐下我自己建的大数据学习交流qq裙：522189307，裙里都是学大数据开发的，如果你正在学习大数据
深夜女的程序员敲代码·2020-09-11 12:45

数据科学研究院第四届“院长接待日”成功举办

数据院院长俞士纶出席了这场别开生面的院长接待日，并聆听来自不同学校、院系的十余名同学对于大数据学习、未来技术发展、职业规划等方面的问题，也针对目前学生所处的情境和遇到的问题给出了悉心的指导和答疑。
数据派THU·2020-09-11 10:32

大数据学习笔记—Hadoop概述

Hadoop概述一、Hadoop是什么二、Hadoop的特点（4高）三、Hadoop的版本演变四、Hadoop的发行版本五、Hadoop生态圈六、Hadoop典型应用架构一、Hadoop是什么Hadoop是一个有Apache基金会所开发的分布式系统基础架构。二、Hadoop的特点（4高）高可靠性:.Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢
小才鄕·2020-09-11 10:26

大数据学习笔记—Hadoop运行环境搭建

Hadoop运行环境搭建一、安装前准备二、Hadoop的安装1.单机模式2.伪分布式3.完全分布式一、安装前准备1.在Windows系统下装有VMwareworkstationpro的PC[具体操作略]2.在VMwareworkstationpro中安装并开启Linux虚拟机（Ubuntu16）[具体操作略]3.关闭防火墙如果不关闭Ubuntu操作系统防火墙，可能会出现以下几种情况：（1）无法正常
小才鄕·2020-09-11 10:54

大数据学习笔记—大数据概论

大数据概论一、大数据的概念二、大数据的特点（4V）三、大数据的应用场景四、大数据的发展前景五、大数据部门的业务流程/组织结构一、大数据的概念大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决：海量数据的存储和海量数据的分析计算问题。二、大数据的特点（
小才鄕·2020-09-11 07:59

想入坑大数据？必须要规划学习路线

干货走起，闲话不多说，以下就是小编整理的大数据学习思路第一阶段：linux系统本阶段为大数据学习入门基础课程，帮大家进入大数据领取打好Linux基础，以便更好的学习Hadoop、habse、NoSQL、
次世代群901739356·2020-09-10 23:28

大数据学习笔记（六）

一、Azkaban介绍1.1Azkaban是什么Azkaban是由Linkedin开源的一个批量工作流任务调度工具，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种k/v(properties)格式文件来建立任务之间的依赖关系，并提供一个易于使用的web用户界面来维护和跟踪工作流。1.2为什么要使用Azkaban一个完整的数据分析系统通常都是由大量任务单元组成，比如s
伤心程序员·2020-09-10 22:42
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他