ML&DL-大数据学习

15.大数据学习之旅——Storm

Storm介绍介绍官方网址：http://storm.apache.org/官方对于Storm的介绍：ApacheStormisafreeandopensourcedistributedrealtimecomputationsystem.Stormmakesiteasytoreliablyprocessunboundedstreamsofdata,doingforrealtimeprocessin
零零天·2020-08-18 10:08

23.大数据学习之旅——scala进阶

函数式编程的概念编程范式函数式编程是一种编程范式，我们常见的编程范式有：1）命令式编程（Imperativeprogramming），常见的面向对象编程是也是一种命令式编程。比如java，c等。命令式编程是完全依托于冯诺依曼体系机来实现的，即代码最后会转变为一条条的指令去执行，所以指令式编程的时间复杂度是和指令数相关的。根据摩尔定律，冯诺依曼体系机的性能可能本世纪30年代就不再提高，即当冯诺依曼体
零零天·2020-08-18 10:08

24.大数据学习之旅——spark手把手带你入门

Spark介绍ApacheSpark™isafastandgeneralengineforlarge-scaledataprocessing.SparkIntroduceRunprogramsupto100xfasterthanHadoopMapReduceinmemory,or10xfasterondisk.ApacheSparkhasanadvancedDAGexecutionengineth
零零天·2020-08-18 10:08

大数据学习之Spark——04RDD概述及创建

一.RDD概述1.什么是RDDRDD（ResilientDistributedDataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。2.RDD的五大特性RDD是由一系列partition组成算子(函数)是作用在RDD的partition上的RDD之间有依赖关系分区器是作用在k,v格式的RDD上partitio
Jiang锋时刻·2020-08-18 10:11

大数据学习之Spark——01Spark概述

一.Spark初始1.什么是SparkSpark是一种基于内存的快速,通用,可扩展的大数据分析引擎ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法
Jiang锋时刻·2020-08-18 10:50

4.大数据学习之旅——Avro

一、概述Avro是一种远程过程调用和数据序列化框架，是在Apache的Hadoop项目之内开发的。它使用JSON来定义数据类型和通讯协议，使用压缩二进制格式来序列化数据。它主要用于Hadoop，它可以为持久化数据提供一种序列化格式，并为Hadoop节点间及从客户端程序到Hadoop服务的通讯提供一种电报格式。二、序列化和反序列化概述数据序列化就是将对象或者数据结构转化成特定的格式，使其可在网络中传
零零天·2020-08-18 01:16

NIO和Concurrent

大数据学习历程NIOIO分类BIO的缺点NIO的特点NIO的缺点BIO和NIO的比较3大组件ConcurrentBlockingQueue阻塞队列ArrayBlockingQueue-阻塞式顺序队列LinkedBlockingQueue
孤狼逐月·2020-08-18 01:52

从入门到入土 大数据学习(4) 最简单windows下idea运行调试spark程序

从入门到入土大数据学习(4)windows下idea运行spark程序继环境搭建和windows环境搭建之后，不可避免的需要在windows上进行开发，但是这种跨平台的开发本身就给开发者带来一定的难度。
Lejeune·2020-08-17 09:19

spark算子实践

在这里，十分感谢作者，作者写了大数据一系列文章，对我帮助很大，如果有读者对大数据学习的需求，可以去大神的网站学习。
DeepRLearner·2020-08-16 22:03

大数据学习初级入门教程（十二） —— Hadoop 2.x 集群和 Zookeeper 3.x 集群做集成

在以前一篇《大数据学习初级入门教程（一）——Hadoop2.x完全分布式集群的安装、启动和测试》中，详细写了Hadoop完全分布式集群的安装步骤，在上一篇《大数据学习初级入门教程（十一）——Zookeeper3.4.6
孟郎郎·2020-08-16 15:04

尝试大数据和数据挖掘，该怎么规划学习？

目前大数据炒的一直非常火爆，可如何进入大数据行业呢，怎么进行学习呢，推荐一个大数据学习群119599574晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例
weixin_41780944·2020-08-16 09:39

20200710大数据学习笔记hadoop总结

HadoopHadoop的优势(4高)1)高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失2)高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。3)高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度4)高容错性:能够自动将失败的任务重新分配1.x跟2.x区别1.x中MapReduce同时处理业
see you in September·2020-08-15 17:39

大数据学习之课堂《零碎知识点》整理一

零碎知识点补充一、机器之间文件传输：1、windows7--------linux方法一、在windows上安装xftp工具1、安装xftp工具2、配置连接linux3、传输文件此种方法比较简单，不在演示：方法二、在linux上使用rz,sz1、在Linux机器上安装lirzsz包yuminstalllrzsz2、在windows上使用crt连接linux机器3、执行rz命令4、弹出浏览对话框，选
追风邵·2020-08-15 15:05

大数据告诉你，中国女人的勤奋碾压全世界！

如果说中国的男人把中国拉到了世界优秀行列那么让中国变得卓越而以超速度发展的则是中国的女人01中国女人的勤奋，甚至碾压全世界在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙：957205962
金豆数据工程师·2020-08-15 09:12

大数据学习——dataX源码重新打包+测试

dataX工具（可执行的资源包），源码的下载和部署请参考上一篇博文：https://blog.csdn.net/qq_15903671/article/details/88862619dataX工具包从官网下载之后可以发现他加压后有将近1G的大小。显然我们不希望一个ETL工具太大。以下的博文我将从dataX源码中保留oraclereader插件和hdfswrtier插件，重新对dataX进行打包使
祁峰sunny·2020-08-14 18:23

推荐一份完整的大数据教学视频

一份完整的大数据学习路线是这样的，可以看
李泽辰·2020-08-14 05:53

带你详细了解《什么是大数据及大数据的场景应用》

在这里还是要推荐下我自己建的大数据学习交流群:199427210，群里都是学
金罗老师·2020-08-13 18:09

8.大数据学习之旅——hadoop-Hadoop完全分布式配置

Hadoop完全分布式配置关闭防火墙修改主机名配置hosts文件。将需要搭建集群的主机全部配置到hosts文件中192.168.32.138hadoop01192.168.32.139hadoop02192.168.32.140hadoop03配置免密登录安装jdk安装zk配置Hadoop编辑hadoop-env.sh，并且重新生效编辑core-site.xmlfs.defaultFShdfs:/
零零天·2020-08-13 17:28

大数据学习必须掌握的五大核心技术有哪些？

导读大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。一、数据采集与预处理对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是
bobo79888·2020-08-13 13:32

9.大数据学习之旅——hive

Hive介绍Hadoop开发存在的问题只能用java语言开发，如果是c语言或其他语言的程序员用Hadoop，存在语言门槛。需要对Hadoop底层原理，api比较了解才能做开发。Hive概述Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现
零零天·2020-08-13 10:59

大数据学习：Scala 语言特点，Scala与Java的区别？

Scala是一种有趣的语言。它一方面吸收继承了多种语言中的优秀特性，一方面又没有抛弃Java这个强大的平台，它运行在Java虚拟机(JavaVirtualMachine)之上，轻松实现和丰富的Java类库互联互通。它既支持面向对象的编程方式，又支持函数式编程。它写出的程序像动态语言一样简洁，但事实上它确是严格意义上的静态语言。Scala六大特征：（1）java和scala可以混编。（2）类型推测（
wujixian123456·2020-08-12 14:00

大数据学习（3）- 分布式文件系统HDFS

文章目录目录1.分布式文件系统1.1计算机集群概念1.2分布式文件系统结构2.HDFS简介2.1HDFS设计的目标2.2HDFS的局限性2.3块的概念2.4HDFS主要组件及其功能2.4.1名称节点2.4.2第二名称节点2.4.3数据节点3.HDFS体系结构3.1HDFS体系结构介绍3.2HDFS体系结构的局限性4.HDFS存储原理4.1冗余数据保存4.2数据存取策略4.3数据错误和恢复4.3.1
Zero-One-0101·2020-08-12 13:36

大数据学习笔记之HBase（二）：HBase安装与部署相关

文章目录十一、HBase的安装与部署10.1、Zookeeper集群的正常部署并启动10.2、Hadoop集群的正常部署并启动10.3、解压HBase10.4、修改HBase配置文件10.4.1、hbase-env.sh（HBase的conf目录下）10.4.2、hbase-site.xml10.4.3、regionservers（conf目录下）10.5、替换HBase根目录下的lib目录下的j
Leesin Dong·2020-08-12 11:54

怎样进行大数据入门级学习

推荐一个大数据学习群119599574晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享，一、整体了解数据分析——5
weixin_41780944·2020-08-12 00:54

大数据学习必须掌握的五大核心技术有哪些？

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。一、数据采集与预处理对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散
小迪和夫人·2020-08-11 21:51

大数据学习之路

万字长文，纯干货，建议收藏阅读。大纲：一、开篇致辞二、为什么要学大数据三、学习大数据门槛四、学习路线&独家干货（学生、在职、零基础）五、推荐书单六、Q&A一、开篇致辞我今年大四，大二的时候先后在厦门的两家小公司实习Java，大三的时候在ApcheKylin的贡献团队Kyligence实习，现在在一家西班牙集团就职大数据开发。首先感谢我大二的第一份实习，它是我职场上的启蒙之旅，以致我后面的一个技术视
大数据肌肉猿·2020-08-11 20:35

大数据学习之Scala中main函数的分析以及基本规则（2）

一、main函数的分析首先来看我们在上一节最后看到的这个程序，我们先来简单的分析一下，有助于后面的学习objectHelloScala{defmain(args:Array[String]):Unit={println("ILoveYouScala");}}如图所示，在Scala中可以使用object和class分别定义一个类。两者还是存在一些差别。以后我会在专门的博客中给予介绍。在Scala中定
Poison_H·2020-08-11 16:50

大数据学习之路84-SparkSQL基本使用与RDD对比（涉及自定义排序）

我们使用spark-sql，会加快我们的开发效率，在spark底层会把我们所写的sql转换成RDD去执行。得到我们想要的结果。接下来我们会用RDD和spark-sql两种方式来分析数据，感受一下两者的差异。首先我们先造数据并上传到hdfs中：我们想要做的是，将这些数据按照年龄升序，颜值倒序排列。首先我们用RDD的方式来做（这里会涉及到自定义排序）：这里的自定义排序的思想是，定义一个caseclas
爱米酱·2020-08-11 05:48

大数据学习之Hive框架整理

有用麻烦点个赞哦文章目录1、基本概念1.1定义1.2优缺点1.4Hive和数据库比较2、Hive安装配置3、数据类型3.1基本数据类型3.2集合类型3.3使用事例3.4类型类型转化4.DDL数据定义4.1创建数据库4.2修改数据库4.3查询数据库4.4删除数据库4.5创建表4.6分区表4.7修改表5、DML数据操作5.1数据导入5.2数据导出5.3清除表中数据（Truncate）6、查询（记得善用
Long.JK·2020-08-11 04:55

【大数据学习】之 用spark-sql和spark-shell操作hive里面的表数据

SparkSQL与Hive的交互有两种方式，一种是spark-sql,另一种是spark-shell。要注意，访问hive前要把$HIVE_HOME/conf/hive-site.xml拷贝到$SPARK_HOME/conf，还有必须要启动hdfs，因为hive的数据是存放在hdfs上的，既然要访问hive所以需要启动hdfs。一、启动spark-sql连hive1、首先要配置spark-defa
奔走觅衣粮·2020-08-11 03:11

大数据学习——数据处理工具Pig入门使用

简介Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-LIKE语言叫PigLatin，该语言的编译器会把类SQL的数据分析请求转为一系列经过优化处理的MapReduce运算。特点专注于大量数据集分析运行在集群的计算架构上，YahooPig提供了多层抽象，简化并行计算让普通用户使用，这些抽象完成自动把用户请求queries翻译成有效的并行评估计划，然后在物理集群上执行这些计划；提供类
谢厂节_编程圈·2020-08-11 01:55

Linux 用户管理命令(大数据学习第四天)

Linux用户管理命令w显示当前在线用户，并显示他正在作什么who显示在线用户whoami查看当前shell用户useradd创建新帐号passwd[username]修改密码userdel删除帐号usermod修改帐号（禁用、启用）su[username]切换操作帐号su[anotheruser]相关文件用户文件用户信息文件：/etc/passwd用户密码文件：/etc/shadow分组信息文件
YuBingbai·2020-08-10 22:11

大数据学习——Mahout入门

实验环境：shiyanlouCentOS6.664JDK:1.7.0_5564Hadoop:1.1.2简介Mahout是Apache旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的宾实现，帮助开发人员快捷地创建智能应用程序。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。环境搭建下载http://archive.apache.org/dist/mahout/0.6/vi
谢厂节_编程圈·2020-08-10 08:42

大数据学习【第一天】Linux命令基础

对于0基础学习大数据来说，首先你得对linux命令熟悉，下面就是linux的一些基础命令。linux命令作用pwd查看当前光标所在的路径cd切换目录cd~切换到家目录cd-切换到上一层目录clear清空屏幕mkdir创建目录mkdir-p1/2/3创建连续目录mkdir123创建并行目录（也就是在同一路径下创建3个目录）mv/1/2移动原路径文件或文件夹到目标端路径下文件或文件夹cp/1/2复制原
Star_Wang_·2020-08-10 07:15

Spark:统一分布式大数据分析引擎

从2020年8月3号每天早上5:30读LearningSpark这本书，如果你想学习大数据学习Spark想早起就可以一起来直播间，如果你错过了直播也可以看
FusionZhu·2020-08-09 17:26

视频教程-大数据电信客服案例教程-大数据

缪传海¥199.00立即订阅订阅后：请点击此处观看视频课程视频教程-大数据电信客服案例教程-大数据学习有效期：永久
weixin_32311287·2020-08-09 14:29

大数据学习（1）-大数据概述

文章目录目录大数据产生背景大数据概念大数据影响大数据应用大数据关键技术大数据产业大数据，云计算，物联网关系云计算物联网大数据，物联网，云计算三者之间联系目录大数据产生背景三次信息化浪潮根据IBM前首席执行官郭士纳福观点，每15年IT领域就会迎来一次重大的变革。2.大数据产生的技术支撑数据存储+数据处理+数据传输存储设备容量的不断增大和价格的不断降低CPU处理能力的大幅度提升网络带宽的不断增加3.数
Zero-One-0101·2020-08-09 13:31

大数据学习之路(一)-环境准备

使用vmVirtualBox按照若干虚拟机来进行大数据学习。
ycg01·2020-08-09 03:42

虚拟机中安装CentOS，搭建大数据学习环境（一）

虚拟机中安装CentOS0、首先下载CentOS镜像文件，下载地址：https://www.centos.org/download/1、在VMWareWorkstation的创建虚拟机中，选择CentOSISO镜像文件2、不选择最小安装、选择带界面的服务器安装。3、安装完毕后重启，鼠标在关机按钮旁打开网络进行连接。4、安装gcc，启动终端执行以下命令：yuminstallgccgcc-c++gcc
CodingPioneer·2020-08-08 03:33

node 爬虫 实战 - 爬取拉勾网职位数据

node爬虫实战-爬取拉勾网职位数据，主要想把数据用于大数据学习，到时候大数据分析可以自己分析一下职位的情况，和比较一些我现在的职位在深圳乃至全国的开发人员水平。
_Draven·2020-08-07 10:35

大数据学习笔记1

1....hadoop安装下载VirtualBoxhttp://download.virtualbox.org/virtualbox/5.1.18/VirtualBox-5.1.18-114002-Win.exe下载CentOShttp://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso下载XShel
nihao_pcm·2020-08-06 12:03

Hive 史上最全面的大数据学习第九篇（四） Hive Sql 操作 今天的你也要加油啊

Hive概述&安装方式详解Hive表操作Hive表分类HiveSql操作Hive自定义函数HiveOnHBase五、HiveSQL操作5.1Select语句使用正则表达式指定列createtablelogs(uuidstring,useridstring,fromUrlstring,dateStringstring,timeStringstring,ipAddressstring,browserN
热忱 ㅤ ㅤ·2020-08-05 10:36

大数据学习之Linux——05grep命令用法

一.常用选项-E：开启扩展（Extend）的正则表达式。-i：忽略大小写（ignorecase）。grep-i"AB"test02.txt-v：取反(invert)，打印没有匹配的行grep"a"test02.txt-n-v-n：显示匹配的行号grep"a"test02.txt-n-w：被匹配的文本只能是单词，而不能是单词中的某一部分grep-w"bc"-ntest02.txt-c：显示有多少行被
Jiang锋时刻·2020-08-05 08:39

【大数据学习02】Hadoop集群安装前准备

一、实现虚拟机连接外网虚拟机ping网卡不通，此时需要进行以下设置vi/etc/sysconfig/network-scripts/ifcfg-eth0//修改网卡配置文件-----------------------------//做以下修改ONBOOT=yes-----------------------------servicenetworkrestart//重启网卡二、虚拟机固定IP配置v
fairy_yao·2020-08-05 01:28

大数据学习环境搭建系列（十三）WinSCP安装及使用方法

作者|CDA数据分析师除了终端的统一管理外，实际应用中还需要解决另一个问题，就是文件在本地与服务器端（无论是否进行虚拟化）之间的相互传输问题。此处推荐使用图形化的SFTP（安全文件传输协议）客户端软件WinSCP进行本机与虚拟机以及日后可能涉及的本地与服务器的文件互传，尽管VMware提供了基于VMware虚拟化后的虚拟机和本地文件传输方法，但和模拟终端相同，我们仍然需要一个能够实现与企业级服务器
CDA·数据分析师·2020-08-04 22:34

大数据学习需要哪些课程？

推荐一个大数据学习群119599574晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享，1、学科知识：从数据分析涉及到的专业知识点上看
weixin_41780944·2020-08-04 20:47

2018大数据学习路线图

纯零基础的学习者可以先按照如下顺序学习大数据，真正进入企业以后，编程语言不是最重要的，之所以要懂编程语言在于进入企业的门槛再不断的提高。1.javase+mysql+jdbc2.linux3.Hadoop（hadoop的学习过程熟练掌握懂原理，目前很多主流的公司都开始大力在spark上面）4.Avro5.ProtoBuf6.Hive7.HBase8.flume9.Kafka10.Sqoop11.p
topzyk·2020-08-04 18:32

26.大数据学习之旅——Spark调优&源码解读&SparkSQL入门

Spark调优—上篇更好的序列化实现Spark用到序列化的地方1）Shuffle时需要将对象写入到外部的临时文件。2）每个Partition中的数据要发送到worker上，spark先把RDD包装成task对象，将task通过网络发给worker。3）RDD如果支持内存+硬盘，只要往硬盘中写数据也会涉及序列化。默认使用的是java的序列化。但java的序列化有两个问题，一个是性能相对比较低，另外它
零零天·2020-08-04 17:20

有道云大数据学习笔记整理

(1)linux:http://note.youdao.com/noteshare?id=d1774b479933095c8c5f03b9b3ceb491(2)linux2：http://note.youdao.com/noteshare?id=a95a6b16bf1f1e6fd63aa1eb5ea0d757(3)zookeeper:http://note.youdao.com/noteshare
LUK流·2020-08-04 16:10

大数据学习线路，希望能给你一些帮助

很多零基础学习大数据的朋友可能会有很多迷茫的地方，本来对大数据的了解并不是很多，或者没有朋友的建议可以听取，更不敢随意听信培训机构的说法。这里是一点我选择大数据培训机构的经验，你们看看能否得到帮助。本人是一名刚毕业的学生，专业是金融类的，在学校时未曾了解到任何关于大数据的信息。毕业后发现工作实在难寻，对于IT越来越感兴趣，在了解IT行业的信息时，渐渐了解到了大数据，决定学习大数据，这是我的大数据学
你知道原因·2020-08-04 16:04
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他