HPE大数据学习

大数据学习——dataX源码重新打包+测试

dataX工具（可执行的资源包），源码的下载和部署请参考上一篇博文：https://blog.csdn.net/qq_15903671/article/details/88862619dataX工具包从官网下载之后可以发现他加压后有将近1G的大小。显然我们不希望一个ETL工具太大。以下的博文我将从dataX源码中保留oraclereader插件和hdfswrtier插件，重新对dataX进行打包使
祁峰sunny·2020-08-14 18:23

推荐一份完整的大数据教学视频

一份完整的大数据学习路线是这样的，可以看
李泽辰·2020-08-14 05:53

带你详细了解《什么是大数据及大数据的场景应用》

在这里还是要推荐下我自己建的大数据学习交流群:199427210，群里都是学
金罗老师·2020-08-13 18:09

8.大数据学习之旅——hadoop-Hadoop完全分布式配置

Hadoop完全分布式配置关闭防火墙修改主机名配置hosts文件。将需要搭建集群的主机全部配置到hosts文件中192.168.32.138hadoop01192.168.32.139hadoop02192.168.32.140hadoop03配置免密登录安装jdk安装zk配置Hadoop编辑hadoop-env.sh，并且重新生效编辑core-site.xmlfs.defaultFShdfs:/
零零天·2020-08-13 17:28

大数据学习必须掌握的五大核心技术有哪些？

导读大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。一、数据采集与预处理对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是
bobo79888·2020-08-13 13:32

9.大数据学习之旅——hive

Hive介绍Hadoop开发存在的问题只能用java语言开发，如果是c语言或其他语言的程序员用Hadoop，存在语言门槛。需要对Hadoop底层原理，api比较了解才能做开发。Hive概述Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现
零零天·2020-08-13 10:59

大数据学习：Scala 语言特点，Scala与Java的区别？

Scala是一种有趣的语言。它一方面吸收继承了多种语言中的优秀特性，一方面又没有抛弃Java这个强大的平台，它运行在Java虚拟机(JavaVirtualMachine)之上，轻松实现和丰富的Java类库互联互通。它既支持面向对象的编程方式，又支持函数式编程。它写出的程序像动态语言一样简洁，但事实上它确是严格意义上的静态语言。Scala六大特征：（1）java和scala可以混编。（2）类型推测（
wujixian123456·2020-08-12 14:00

大数据学习（3）- 分布式文件系统HDFS

文章目录目录1.分布式文件系统1.1计算机集群概念1.2分布式文件系统结构2.HDFS简介2.1HDFS设计的目标2.2HDFS的局限性2.3块的概念2.4HDFS主要组件及其功能2.4.1名称节点2.4.2第二名称节点2.4.3数据节点3.HDFS体系结构3.1HDFS体系结构介绍3.2HDFS体系结构的局限性4.HDFS存储原理4.1冗余数据保存4.2数据存取策略4.3数据错误和恢复4.3.1
Zero-One-0101·2020-08-12 13:36

大数据学习笔记之HBase（二）：HBase安装与部署相关

文章目录十一、HBase的安装与部署10.1、Zookeeper集群的正常部署并启动10.2、Hadoop集群的正常部署并启动10.3、解压HBase10.4、修改HBase配置文件10.4.1、hbase-env.sh（HBase的conf目录下）10.4.2、hbase-site.xml10.4.3、regionservers（conf目录下）10.5、替换HBase根目录下的lib目录下的j
Leesin Dong·2020-08-12 11:54

怎样进行大数据入门级学习

推荐一个大数据学习群119599574晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享，一、整体了解数据分析——5
weixin_41780944·2020-08-12 00:54

大数据学习必须掌握的五大核心技术有哪些？

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。一、数据采集与预处理对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散
小迪和夫人·2020-08-11 21:51

大数据学习之路

万字长文，纯干货，建议收藏阅读。大纲：一、开篇致辞二、为什么要学大数据三、学习大数据门槛四、学习路线&独家干货（学生、在职、零基础）五、推荐书单六、Q&A一、开篇致辞我今年大四，大二的时候先后在厦门的两家小公司实习Java，大三的时候在ApcheKylin的贡献团队Kyligence实习，现在在一家西班牙集团就职大数据开发。首先感谢我大二的第一份实习，它是我职场上的启蒙之旅，以致我后面的一个技术视
大数据肌肉猿·2020-08-11 20:35

大数据学习之Scala中main函数的分析以及基本规则（2）

一、main函数的分析首先来看我们在上一节最后看到的这个程序，我们先来简单的分析一下，有助于后面的学习objectHelloScala{defmain(args:Array[String]):Unit={println("ILoveYouScala");}}如图所示，在Scala中可以使用object和class分别定义一个类。两者还是存在一些差别。以后我会在专门的博客中给予介绍。在Scala中定
Poison_H·2020-08-11 16:50

大数据学习之路84-SparkSQL基本使用与RDD对比（涉及自定义排序）

我们使用spark-sql，会加快我们的开发效率，在spark底层会把我们所写的sql转换成RDD去执行。得到我们想要的结果。接下来我们会用RDD和spark-sql两种方式来分析数据，感受一下两者的差异。首先我们先造数据并上传到hdfs中：我们想要做的是，将这些数据按照年龄升序，颜值倒序排列。首先我们用RDD的方式来做（这里会涉及到自定义排序）：这里的自定义排序的思想是，定义一个caseclas
爱米酱·2020-08-11 05:48

大数据学习之Hive框架整理

有用麻烦点个赞哦文章目录1、基本概念1.1定义1.2优缺点1.4Hive和数据库比较2、Hive安装配置3、数据类型3.1基本数据类型3.2集合类型3.3使用事例3.4类型类型转化4.DDL数据定义4.1创建数据库4.2修改数据库4.3查询数据库4.4删除数据库4.5创建表4.6分区表4.7修改表5、DML数据操作5.1数据导入5.2数据导出5.3清除表中数据（Truncate）6、查询（记得善用
Long.JK·2020-08-11 04:55

【大数据学习】之 用spark-sql和spark-shell操作hive里面的表数据

SparkSQL与Hive的交互有两种方式，一种是spark-sql,另一种是spark-shell。要注意，访问hive前要把$HIVE_HOME/conf/hive-site.xml拷贝到$SPARK_HOME/conf，还有必须要启动hdfs，因为hive的数据是存放在hdfs上的，既然要访问hive所以需要启动hdfs。一、启动spark-sql连hive1、首先要配置spark-defa
奔走觅衣粮·2020-08-11 03:11

大数据学习——数据处理工具Pig入门使用

简介Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-LIKE语言叫PigLatin，该语言的编译器会把类SQL的数据分析请求转为一系列经过优化处理的MapReduce运算。特点专注于大量数据集分析运行在集群的计算架构上，YahooPig提供了多层抽象，简化并行计算让普通用户使用，这些抽象完成自动把用户请求queries翻译成有效的并行评估计划，然后在物理集群上执行这些计划；提供类
谢厂节_编程圈·2020-08-11 01:55

Linux 用户管理命令(大数据学习第四天)

Linux用户管理命令w显示当前在线用户，并显示他正在作什么who显示在线用户whoami查看当前shell用户useradd创建新帐号passwd[username]修改密码userdel删除帐号usermod修改帐号（禁用、启用）su[username]切换操作帐号su[anotheruser]相关文件用户文件用户信息文件：/etc/passwd用户密码文件：/etc/shadow分组信息文件
YuBingbai·2020-08-10 22:11

大数据学习——Mahout入门

实验环境：shiyanlouCentOS6.664JDK:1.7.0_5564Hadoop:1.1.2简介Mahout是Apache旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的宾实现，帮助开发人员快捷地创建智能应用程序。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。环境搭建下载http://archive.apache.org/dist/mahout/0.6/vi
谢厂节_编程圈·2020-08-10 08:42

大数据学习【第一天】Linux命令基础

对于0基础学习大数据来说，首先你得对linux命令熟悉，下面就是linux的一些基础命令。linux命令作用pwd查看当前光标所在的路径cd切换目录cd~切换到家目录cd-切换到上一层目录clear清空屏幕mkdir创建目录mkdir-p1/2/3创建连续目录mkdir123创建并行目录（也就是在同一路径下创建3个目录）mv/1/2移动原路径文件或文件夹到目标端路径下文件或文件夹cp/1/2复制原
Star_Wang_·2020-08-10 07:15

Spark:统一分布式大数据分析引擎

从2020年8月3号每天早上5:30读LearningSpark这本书，如果你想学习大数据学习Spark想早起就可以一起来直播间，如果你错过了直播也可以看
FusionZhu·2020-08-09 17:26

视频教程-大数据电信客服案例教程-大数据

缪传海¥199.00立即订阅订阅后：请点击此处观看视频课程视频教程-大数据电信客服案例教程-大数据学习有效期：永久
weixin_32311287·2020-08-09 14:29

大数据学习（1）-大数据概述

文章目录目录大数据产生背景大数据概念大数据影响大数据应用大数据关键技术大数据产业大数据，云计算，物联网关系云计算物联网大数据，物联网，云计算三者之间联系目录大数据产生背景三次信息化浪潮根据IBM前首席执行官郭士纳福观点，每15年IT领域就会迎来一次重大的变革。2.大数据产生的技术支撑数据存储+数据处理+数据传输存储设备容量的不断增大和价格的不断降低CPU处理能力的大幅度提升网络带宽的不断增加3.数
Zero-One-0101·2020-08-09 13:31

大数据学习之路(一)-环境准备

使用vmVirtualBox按照若干虚拟机来进行大数据学习。
ycg01·2020-08-09 03:42

使用esxcli升级ESXi版本

imageprofile:~#esxclisoftwaresourcesprofilelist-d/vmfs/volumes/datastore1/VMware-ESXi-5.5.0-Update3-3248547-HPE
Bob Liu·2020-08-08 22:52

虚拟机中安装CentOS，搭建大数据学习环境（一）

虚拟机中安装CentOS0、首先下载CentOS镜像文件，下载地址：https://www.centos.org/download/1、在VMWareWorkstation的创建虚拟机中，选择CentOSISO镜像文件2、不选择最小安装、选择带界面的服务器安装。3、安装完毕后重启，鼠标在关机按钮旁打开网络进行连接。4、安装gcc，启动终端执行以下命令：yuminstallgccgcc-c++gcc
CodingPioneer·2020-08-08 03:33

node 爬虫 实战 - 爬取拉勾网职位数据

node爬虫实战-爬取拉勾网职位数据，主要想把数据用于大数据学习，到时候大数据分析可以自己分析一下职位的情况，和比较一些我现在的职位在深圳乃至全国的开发人员水平。
_Draven·2020-08-07 10:35

大数据学习笔记1

1....hadoop安装下载VirtualBoxhttp://download.virtualbox.org/virtualbox/5.1.18/VirtualBox-5.1.18-114002-Win.exe下载CentOShttp://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso下载XShel
nihao_pcm·2020-08-06 12:03

Hive 史上最全面的大数据学习第九篇（四） Hive Sql 操作 今天的你也要加油啊

Hive概述&安装方式详解Hive表操作Hive表分类HiveSql操作Hive自定义函数HiveOnHBase五、HiveSQL操作5.1Select语句使用正则表达式指定列createtablelogs(uuidstring,useridstring,fromUrlstring,dateStringstring,timeStringstring,ipAddressstring,browserN
热忱 ㅤ ㅤ·2020-08-05 10:36

大数据学习之Linux——05grep命令用法

一.常用选项-E：开启扩展（Extend）的正则表达式。-i：忽略大小写（ignorecase）。grep-i"AB"test02.txt-v：取反(invert)，打印没有匹配的行grep"a"test02.txt-n-v-n：显示匹配的行号grep"a"test02.txt-n-w：被匹配的文本只能是单词，而不能是单词中的某一部分grep-w"bc"-ntest02.txt-c：显示有多少行被
Jiang锋时刻·2020-08-05 08:39

【大数据学习02】Hadoop集群安装前准备

一、实现虚拟机连接外网虚拟机ping网卡不通，此时需要进行以下设置vi/etc/sysconfig/network-scripts/ifcfg-eth0//修改网卡配置文件-----------------------------//做以下修改ONBOOT=yes-----------------------------servicenetworkrestart//重启网卡二、虚拟机固定IP配置v
fairy_yao·2020-08-05 01:28

大数据学习环境搭建系列（十三）WinSCP安装及使用方法

作者|CDA数据分析师除了终端的统一管理外，实际应用中还需要解决另一个问题，就是文件在本地与服务器端（无论是否进行虚拟化）之间的相互传输问题。此处推荐使用图形化的SFTP（安全文件传输协议）客户端软件WinSCP进行本机与虚拟机以及日后可能涉及的本地与服务器的文件互传，尽管VMware提供了基于VMware虚拟化后的虚拟机和本地文件传输方法，但和模拟终端相同，我们仍然需要一个能够实现与企业级服务器
CDA·数据分析师·2020-08-04 22:34

大数据学习需要哪些课程？

推荐一个大数据学习群119599574晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享，1、学科知识：从数据分析涉及到的专业知识点上看
weixin_41780944·2020-08-04 20:47

2018大数据学习路线图

纯零基础的学习者可以先按照如下顺序学习大数据，真正进入企业以后，编程语言不是最重要的，之所以要懂编程语言在于进入企业的门槛再不断的提高。1.javase+mysql+jdbc2.linux3.Hadoop（hadoop的学习过程熟练掌握懂原理，目前很多主流的公司都开始大力在spark上面）4.Avro5.ProtoBuf6.Hive7.HBase8.flume9.Kafka10.Sqoop11.p
topzyk·2020-08-04 18:32

26.大数据学习之旅——Spark调优&源码解读&SparkSQL入门

Spark调优—上篇更好的序列化实现Spark用到序列化的地方1）Shuffle时需要将对象写入到外部的临时文件。2）每个Partition中的数据要发送到worker上，spark先把RDD包装成task对象，将task通过网络发给worker。3）RDD如果支持内存+硬盘，只要往硬盘中写数据也会涉及序列化。默认使用的是java的序列化。但java的序列化有两个问题，一个是性能相对比较低，另外它
零零天·2020-08-04 17:20

有道云大数据学习笔记整理

(1)linux:http://note.youdao.com/noteshare?id=d1774b479933095c8c5f03b9b3ceb491(2)linux2：http://note.youdao.com/noteshare?id=a95a6b16bf1f1e6fd63aa1eb5ea0d757(3)zookeeper:http://note.youdao.com/noteshare
LUK流·2020-08-04 16:10

大数据学习线路，希望能给你一些帮助

很多零基础学习大数据的朋友可能会有很多迷茫的地方，本来对大数据的了解并不是很多，或者没有朋友的建议可以听取，更不敢随意听信培训机构的说法。这里是一点我选择大数据培训机构的经验，你们看看能否得到帮助。本人是一名刚毕业的学生，专业是金融类的，在学校时未曾了解到任何关于大数据的信息。毕业后发现工作实在难寻，对于IT越来越感兴趣，在了解IT行业的信息时，渐渐了解到了大数据，决定学习大数据，这是我的大数据学
你知道原因·2020-08-04 16:04

大数据前景如何，G20告诉你答案

不相信，看看这些，或许你就会迫不及待的想要开始大数据学习了。国家发改委2~3年内建成一批大数据创新平台：8月30日，国家发改委发布通知，要求组织申报大数据领域创新能力建设专项。
你知道原因·2020-08-04 16:04

大数据学习路线图，大数据需要学什么

大数据开发学习路线：第一阶段：Hadoop生态架构技术1、语言基础Java：多理解和实践在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化就可以，不需要深入掌握。Linux：系统安装、基本命令、网络配置、Vim编辑器、进程管理、Shell脚本、虚拟机的菜单熟悉等等。Python：基础语法，数据结构，函数，条件判断，循环等基础知识。2、环境准备这里介绍在windows电脑搭建完全分布式
大数据基础入门教程·2020-08-04 15:02

大数据学习整理篇（五）Davinci-0.3.0-beta.9 release最新版安装，并支持HBase 2.0以上

使用Davinci的理由很简单，因为他支持通过phoenix来操作和展示HBase数据，提供海量数据的查询Davinci是一个DVaaS（DataVisualizationasaService）平台解决方案，面向业务人员/数据工程师/数据分析师/数据科学家，致力于提供一站式数据可视化解决方案。既可作为公有云/私有云独立部署使用，也可作为可视化插件集成到三方系统。用户只需在可视化UI上简单配置即可服
我还要去追逐我的梦·2020-08-04 14:16

2018最新大数据学习路线分享

千锋大数据学习路线图是由众多知名讲师和百度阿里等技术官的参与定制而成，适合很多初学大数据的同学学习。
weixin_34015336·2020-08-04 11:10

大数据学习资料下载，新手攻略，数据分析工具、软件使用教程

大数据被认为是“未来的新石油”，在社会生产、流通、分配、消费活动以及经济运行机制等方面发挥着重要的作用。作为IT类职业中的“大熊猫”，大数据工程师的收入待遇可以说达到了同类的顶级。国内IT、通讯、行业招聘中，有10％都是和大数据相关的，且比例还在上升。“大数据时代的到来很突然，在国内发展势头激进，而人才却非常有限，现在完全是供不应求的状况。所有从底层数据工作者往上发展的基本路径：1.第一阶段(一般
FMI飞马网·2020-08-04 11:16

大数据学习与分享

今天这篇文章不讲具体的技术，主要解答一下如下几个问题，通过这几个问题的解答，希望小伙伴们能够对【大数据学习与分享】有一个深度的了解。1.【大数据学习与分享】主要是做什么的？
BAO7988·2020-08-04 10:24

大数据学习资料分享

前面给大家分享了很多学习资料，但是比较零散，直到12月份开始才有了上面链接里列出来的计划，截至目前已经分享了Java系列、人工智能系列、微信小程序完整教程，发现后台消息有人回复我分享过了的学习资料，所以今天说说，如有需要以上学习资料的同学，请看看公众号底部的「历史文章」。大数据基础教程了解过大数据的同学都知道，在学大数据之前，Java是必备的，所以学大数据的基础就是先掌握好JavaEE的内容，分享
PRIMEZPY·2020-08-04 10:15

新型分布式架构的特点---大数据学习笔记之一

1，去中心化在一个分布式系统中，每个节点都具有高度自治的特征，节点之间彼此可以自由连接，形成新的连接单元。任何一个节点都可能成为阶段性的中心，但不具备强制性的中心控制功能。节点与节点之间的影响，会通过网络而形成非线性英国关系，这种开放式、扁平化、平等性的系统现象或结构，我们称之为去中心化。2，MPP架构（MassiveParallelProcessing，大规模并行计算）首先需要介绍一下SMP(S
一个X号的QB·2020-08-04 08:59

大数据学习笔记（三）——大数据处理框架Hadoop

第三章大数据处理框架Hadoop3.1概述3.1.1Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中。Hadoop的核心是分布式文件系统HDFS（HadoopDistributedFileSystem）和MapReduce：①H
stepondust·2020-08-03 23:17

大数据学习hadoop3.1.3——kylin即席查询——Presto server安装

Presto是一个开源的分布式SQL查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景，不能处理OLTP。Presto架构Presto优缺点PrestoServer安装1、将presto-server-0.196.tar.gz导入hadoop102的/opt/software目录下，并解压到/opt/module目录tar-zxvfpresto-server-0.196.tar.gz-
Caron_xcb·2020-08-03 23:24

大数据学习hadoop3.1.3——Presto-client安装

Presto命令行Client安装1）下载Presto的客户端https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.196/presto-cli-0.196-executable.jar2）将presto-cli-0.196-executable.jar上传到hadoop101的/opt/module/presto文件夹下3
Caron_xcb·2020-08-03 23:24

大数据学习hadoop3.1.3——Sqoop安装

1下载并解压1）下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/2）上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到hadoop102的/opt/software路径中3）解压sqoop安装包到指定目录，如：tar-zxfsqoop-1.4.6.bin__hadoop-2.0.4-alpha.ta
Caron_xcb·2020-08-03 23:53

大数据学习hadoop3.1.3——kafka安装与集群搭建（入门）

一、安装部署1、jar包下载http://kafka.apache.org/downloads2、解压安装包tar-zxvfkafka_2.11-2.4.1.tgz-C/opt/module/3、修改解压后的文件名称mvkafka_2.11-2.4.1/kafka4、在/opt/module/kafka目录下创建logs文件夹mkdirlogs5、修改配置文件cdconfig/viserver.p
Caron_xcb·2020-08-03 23:53
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他