HPE大数据学习

大数据学习之旅2——从零开始搭hadoop完全分布式集群

前言本文从零开始搭hadoop完全分布式集群，大概花费了一天的时间边搭边写博客，一步一步完成完成集群配置，相信大家按照本文一步一步来完全可以搭建成功。需要注意的是本文限于篇幅和时间的限制，也是为了突出重点，一些很基础的操作就不再详细介绍，如果是完全不懂linux，建议先看一下Linux的基础教程，再进行hadoop配置。同时建议，hadoop安装版本不宜很高。第一次写这么长的博客，希望对大家有所帮
萌新瑟瑟发抖·2019-08-15 13:00

大数据学习笔记之Spark（三）：SparkSQL应用解析

文章目录第1章SparkSQL概述1.1什么是SparkSQL1.2RDDvsDataFramesvsDataSet1.2.1RDD1.2.2Dataframe1.2.3Dataset1.2.4三者的共性1.2.5三者的区别第2章执行SparkSQL查询小试牛刀2.1命令行查询流程2.2IDEA创建SparkSQL程序第3章SparkSQL解析3.1新的起始点SparkSession3.2创建Da
Leesin Dong·2019-08-15 08:46

好程序员大数据学习路线分享SparkSQl

好程序员大数据学习路线分享SparkSQl，SparkSQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。
好程序员IT·2019-08-14 17:51

好程序员大数据学习路线之Logstach与flume对比

原文链接：https://my.oschina.net/u/4177969/blog/3089710好程序员大数据学习路线之Logstach与flume对比，没有集群的概念,logstach与flume
chuochengjiao5054·2019-08-13 16:00

大数据学习笔记之Spark（一）：Spark基础解析

文章目录第1章Spark概述spark的产生背景1.1什么是Spark1.2Spark特点1.3Spark的用户和用途第2章Spark集群安装2.1集群角色2.2机器准备2.3下载Spark安装包2.4配置Spark2.5配置JobHistoryServer2.6配置SparkHA第3章执行Spark程序3.1执行第一个spark程序3.2Spark应用提交3.3启动SparkShell3.3.1
Leesin Dong·2019-08-13 08:06

好程序员大数据学习路线分享ELK技术

好程序员大数据学习路线分享ELK技术，bin存放elasticSearch运行命令config存放配置文件lib存放elasticSearch运行依赖jar包modules存放elasticSearch
wx5d42865f47214·2019-08-12 17:54

好程序员大数据学习路线分享ELK技术

好程序员大数据学习路线分享ELK技术，bin存放elasticSearch运行命令config存放配置文件lib存放elasticSearch运行依赖jar包modules存放elasticSearch
wx5d42865f47214·2019-08-12 17:37

大数据平台最常用的30款开源工具

本文整理出了大数据平台常见的一些开源工具，并且依据其主要功能进行分类，以便大数据学习者及应用
GE12·2019-08-12 17:28

好程序员大数据学习路线hive内部函数

好程序员大数据学习路线hive内部函数，持续为大家更新了大数据学习路线，希望对正在学习大数据的小伙伴有所帮助。
wx5d42865f47214·2019-08-12 16:56

好程序员大数据学习路线分享hive的运行方式

好程序员大数据学习路线分享hive的运行方式，hive的属性设置：1、在cli端设置(只针对当前的session)3、在java代码中设置(当前连接)2、在配置文件中设置(所有session有效)设置属性的优先级依次降低
wx5d42865f47214·2019-08-07 16:48

大数据课程适合那些基础的人学习呢？适合学习大数据课程的四类人

大数据到底适合哪类人学习，大数据学习究竟如何，下面和加米谷学院一起来了解。大数据课程适合哪些人学习呢？1、即将或现已毕业的计算机专业学生现在许多大学毕业生毕业求职时空有一纸文凭
加米谷谷·2019-08-05 16:44

好程序员大数据学习路线之hive表的查询

原文链接：https://my.oschina.net/u/4177969/blog/30836991.join查询1、永远是小结果集驱动大结果集(小表驱动大表，小表放在左表)。2、尽量不要使用join，但是join是难以避免的。leftjoin、leftouterjoin、leftsemijoin(左半开连接，只显示左表信息)hive在0.8版本以后开始支持leftjoinleftjoin和le
chuochengjiao5054·2019-08-05 16:00

好程序员大数据学习路线之hive表的查询

好程序员大数据学习路线之hive表的查询1.join查询1、永远是小结果集驱动大结果集(小表驱动大表，小表放在左表)。2、尽量不要使用join，但是join是难以避免的。
wx5d42865f47214·2019-08-05 16:41

一次服务器远程管理卡故障

dell和惠普服务器远程管理卡重启HP服务器固件查询下载网页【附带其他技术资料】：https://support.hpe.com/hpesc/public/km/product/5194969/HPE-ProLiant-DL380p-Gen8
知识边界·2019-08-02 18:32

后台程序员如何进阶大数据学习？

一、大数据处理流程上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解：1.1数据收集大数据处理的第一步是数据的收集。现在的中大型项目通常采用微服务架构进行分布式部署，所以数据的采集需要在多台服务器上进行，且采集过程不能影响正常业务的开展。基于这种需求，就衍生了多种日志收集工具，如Flume、Log
黑白影·2019-08-02 11:00

大数据学习笔记之MyBatis（三）：MyBatis

文章目录一、缓存机制二、逆向工程三、分页插件四、SSM整合步骤:一、缓存机制1.一级缓存一级缓存（本地缓存）SqlSession级别的缓存,本质上就是SqlSession级别的一个map。每一个SqlSession对象都自己的一级缓存.互不共享.一级缓存是默认开启的工作机制:与数据库的一次会话期间（通过一个SqlSession,查询到的数据会放在一级缓存中.以后如果需要获取相同的数据,直接从缓存中
Leesin Dong·2019-08-01 08:08

大数据学习笔记之MyBatis（二）：MyBatis

文章目录一、select查询返回List/Map二、resultMap自定义映射三、动态sql四、内置参数五、抽取可重用的sql一、select查询返回List/Map1.查询多条数据返回List如果使用的是自动映射，resultType指定的是集合中元素的类型。或者说理解为想让Mybatis将一条数据封装成哪种类型的java对象。就指定哪种类型2.查询返回Mapa.查询一条数据返回Map,MyB
Leesin Dong·2019-08-01 08:48

大数据学习笔记之MyBatis（一）：MyBatis

文章目录一、MyBatis的HelloWorld二、全局配置文件三、sql映射文件一、MyBatis的HelloWorld使用底层的selectOne()方法/***helloWorld的小结:**1.导入Mybatis的jar包*2.创建一个全局配置文件mybatis-config.xml,根据全局配置文件，创建了一个SqlSessionFactory对象.*3.创建一个sql映射文件,Empl
Leesin Dong·2019-08-01 08:09

大数据学习笔记之Spring（二）：Spring

文章目录一、基于注解的方式配置bean/bean的装配二、AOP三、SpringJdbc一、基于注解的方式配置bean/bean的装配1.常用的注解@Component:标识为一个组件@Repository:标识为一个持久层的组件@Service:标识为一个业务层的组件@Controller:标识为一个表现层的组件@AutoWired:自动装配@Qualifier:具体的指定要装配的bean的id
Leesin Dong·2019-08-01 08:17

大数据学习路线2019版（附全套视频教程及网盘下载）

大数据学习路线2019版学习资源整理合集——（附全套视频教程及网盘下载）！！！！什么是大数据？
千锋教育官方博客·2019-07-31 16:15

大数据学习路线2019版（附全套视频教程及网盘下载）

什么是大数据？大数据（BIGDATA）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点：VOLUME（大量）、VELOCITY（高速）、VARIETY（多样）、VALUE（低价值密度）、VERACITY（真实性）。为什么要学习大数据？目前，全球数据呈现爆发增长、海
千锋程序员日记·2019-07-31 16:00

大数据学习笔记【一】：Hadoop-3.1.2完全分布式环境搭建（Windows 10）

一、前言Hadoop原理架构本人就不在此赘述了，可以自行百度，本文仅介绍Hadoop-3.1.2完全分布式环境搭建（本人使用三个虚拟机搭建）。首先，步骤：①准备安装包和工具：hadoop-3.1.2.tar.gzjdk-8u221-linux-x64.tar.gz（Linux环境下的JDK）CertOS-7-x86_64-DVD-1810.iso（CentOS镜像）工具：WinSCP（用于上传文件
weixin_30267785·2019-07-30 15:00

在大数据学习中Hadoop和Spark哪个更好就业？大数据就业前景展望

一提到大数据，人们就会想到Hadoop，然而，最近又有个Spark似乎成了后起之秀，也变得很火，似乎比Hadoop更具优势，更有前景，那么，想要学习大数据的学员就要问了，在大数据学习中Hadoop和Spark
web前端开发交流·2019-07-30 14:42

大数据学习笔记之项目（三）：离线项目拓展youtube

文章目录一、需求描述二、知识储备梳理2.1、orderby，sortby，distributeby，clusterby背景表结构2.1.1、orderby2.1.2、sortby2.1.3、distributeby2.1.4、clusterby2.2、行转列、列转行（UDAF与UDTF）2.2.1、行转列2.2.2、列转行在这里插入图片描述2.3、数组操作2.4、orc存储2.5、Hive分桶2.
Leesin Dong·2019-07-30 08:48

大数据学习笔记之项目（一）：离线平台项目测试

1、将项目软件工具包导入2、项目思路：2.1、读取HDFS数据进行ETL清洗操作，并将最终结果写入到HBase中2.2、从HBase中读取数据，进行新增用户统计分析操作，并将结果写入到Mysql3、细节实现数据清洗：如果把数据清洗全部都写到Maper的map方法里，那这个map方法太冗余了，所以把比较公共的清洗放在LoggerUtil里面3.1、LoggerUtil.java3.1.1、主要作用：
Leesin Dong·2019-07-28 23:50

大数据学习笔记之azkaban（一）：azkaban

文章目录一概述1.1为什么需要工作流调度系统1.2常见工作流调度系统1.3各种调度工具特性对比1.4Azkaban与Oozie对比二Azkaban介绍三Azkaban安装部署3.1安装前准备3.2安装azkaban3.2创建SSL配置3.3时间同步配置3.4配置文件3.4.1Web服务器配置3.4.2执行服务器配置3.4启动web服务器3.5启动执行服务器四Azkaban实战4.1Command类
Leesin Dong·2019-07-28 23:22

大数据平台最常用的30款开源工具

本文整理出了大数据平台常见的一些开源工具，并且依据其主要功能进行分类，以便大数据学习者及应用
a大数据·2019-07-25 11:22

大数据平台最常用的30款开源工具

本文整理出了大数据平台常见的一些开源工具，并且依据其主要功能进行分类，以便大数据学习者及应用
一起学习大数据·2019-07-25 11:47

大数据学习之 Linux安装Mysql

一环境搭建//本地上传mysql安装包到虚拟机中//解压安装包到/usr/local/目录下，并构建软连接tar-xzvfmysql-5.6.23-linux-glibc2.5-x86.tar.gz-C/usr/local///构建软链接ln-smysql-5.6.23-linux-glibc2.5-x86_64mysql创建用户和用户组//指定组的gid为101gruopadd-g101dba/
「已注销」·2019-07-24 04:36

学习大数据需要具备四种条件？你具备几种？

1、学习大数据首先要学习Java根底怎样进行大数据学习的快速入门？学大数据课程之前要先学习一种核算机编程言语。Java是大数据学
a大数据·2019-07-22 16:33

大数据学习零基础能够学会不？

零基础学习大数据课程能学懂嘛？零基础学习大数据课程现实吗？这是不少从未接触过编程，想要进入IT行业相关人员必问的问题，今天加米谷大数据就来和大家分析下。零基础大数据培训班课程大纲内容学什么？零基础大数据培训课程分为十个阶段主要的学习内容：Java基础、JavaWeb、主流框架、流行框架、大数据基础增强、大数据Hadoop离线分布式系统、大数据Storm实时计算系统、大数据Spark内存计算系统、大
加米谷谷·2019-07-22 15:06

大数据学习之旅1——HDFS版本演化

最近开始学习大数据，发现大数据有很多很多组件，我现在负责的是HDFS（Hadoop分布式储存系统）的学习，整理了一下HDFS的版本情况。因为HDFS是Hadoop的重要组成部分，所以有关HDFS的版本信息我也是通过查看Hadoop官网的每一个版本的Hadoop中HDFS的变化情况得到的，我尽可能的翻看了所有的信息，但是也可能有所疏漏，大家如果发现有不恰当的地方，可以在评论区留言，我有空的时候会做出
萌新瑟瑟发抖·2019-07-22 11:00

大数据学习之Linux day1

大数据学习之Linuxday1Linux基本语法Linux基本语法//返回root命令cdcd~//返回上一级cd..
「已注销」·2019-07-21 17:06

大数据学习——win环境下hadoop安装教程

程序开发往往在win环境下完成，对于需要linux环境的技术栈学习往往借助于虚拟机。但是在学习和测试hadoop生态技术组件时，这东西是真的很吃内存，本地安装的虚拟机很难提供足够的资源让hadoop平稳运行。以下记录在windows下安装hadoop的过程。hadoop在windows下运行需要对bin和etc路径下的可执行文件和配置文件进行调整，来兼容win运行环境。下载一个合适的兼容win的h
祁峰sunny·2019-07-19 14:11

0基础大数据学习路线及各阶段学习书籍推荐

要学习大数据，你至少应该知道大数据是什么，大数据将被用在什么领域。通过对大数据的一般理解，你可以了解你是否对大数据感兴趣。![```在这里插入代码片01大数据的零基础学习有以下步骤：1、理解大数据理论2、计算机程序设计语言学习3、主要数据相关课程4、实战项目02阶段学习推荐书籍：阶段一、0基础学习打基础：java语言、Linuxjava可以说是大数据最基础的编程语言，我接触的很大一部分的大数据开发
大数据学习中·2019-07-17 12:34

Java Spark 简单示例（七） RDD分区 分区划分器

大数据学习交流微信群更多RDD的信息参考：https://www.cnblogs.com/qingyunzong/p/8899715.html分区在Spark程序中，RDD是由SparkContext上下文生成的
憨人Zoe·2019-07-12 18:48

大数据学习方法，学习大数据需要的基础和路线

大数据基础学习大数据基础入门为什么要学习大数据1、目的：要份很好工作（钱）2、对比：Java开发和大数据开发什么是大数据？举例：1、商品推荐：问题：（1）大量的订单如何存储？（2）大量的订单如何计算？2、天气预报：问题：（1）大量的天气数据如何存储？（2）大量的天气数据如何计算？如果你想要学好大数据最好加入一个好的学习环境，可以来这个Q群251956502这样大家学习的话就比较方便，还能够共同交流
大数据学习中·2019-07-11 12:50

【基础篇】大数据学习笔记（2）大数据发展历史

最初大数据由Google在搜索引擎中大规模使用，那时候大数据是曲高和寡，处于论文研究阶段，没几个公司用的了，Google是大数据鼻祖，因为它几乎存储着世界上全部可访问的网页。这个数据实在是太大太大了，可能需要数以万计的超大磁盘才能存储。为了将这些文件存储起来，Goole开发了GFS(Goole文件系统)，将数以千万计的磁盘统一管理起来，当作是一个文件系统，统一存储这些文件。存储起来后，Google
风也醉·2019-07-10 15:45

大数据学习路线图 让你精准掌握大数据技术学习

大数据指不用随机分析法这样捷径，而采用所有数据进行分析处理的方法。互联网时代每个企业每天都要产生庞大的数据，对数据进行储存，对有效的数据进行挖掘分析并应用需要依赖于大数据开发，大数据开发课程采用真实商业数据源并融合云计算+机器学习，让学员有实力入职一线互联网企业。今天小编的技术分享详细学习大数据的精准路线图，学好大数据就还得靠专业的工具。阶段一、Java语言基础Java开发介绍、熟悉Eclipse
大数据学习中·2019-07-08 11:41

大数据学习---scala语言的元组表示

scala语言的元组表示定义元组并对其进行赋值：valt=(“scala”,100L,3.14,(“spark”,1))//第一种方法vals,(a,b,c,d)=(“scala”,100L,3.14,(“spark”,1))//第二种方法元组的连接使用zip方法valarr2=Array(“ting”,“yue”,“hang”)valarr3=Array(24,23,27)arr2ziparr3
多年生草本植物·2019-07-05 10:50

大数据学习路线

一、大数据处理流程上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解：1.1数据收集大数据处理的第一步是数据的收集。现在的中大型项目通常采用微服务架构进行分布式部署，所以数据的采集需要在多台服务器上进行，且采集过程不能影响正常业务的开展。基于这种需求，就衍生了多种日志收集工具，如Flume、Log
hei bai ying·2019-07-05 07:08

大数据学习--scala语言的数组表示

scala语言的数组表示1.数组的表示方法valarr=newArray[Int](8)//调用普通类valarr2=Array("java","scala","python")//（没有使用new）调用静态类println(arr(2))//数组下标采用小括号valarr3=ArrayBuffer[Int]()//设置一个动态的数组2.对数组进行赋值arr3+=1//直接添加元素arr3+=(2
多年生草本植物·2019-07-04 21:24

大数据学习路线

一、大数据处理流程上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解：1.1数据收集大数据处理的第一步是数据的收集。现在的中大型项目通常采用微服务架构进行分布式部署，所以数据的采集需要在多台服务器上进行，且采集过程不能影响正常业务的开展。基于这种需求，就衍生了多种日志收集工具，如Flume、Log
黑白影·2019-07-04 00:00

零基础如何快速学好大数据？

一、在开始学习大数据前应该掌握哪些基础知识怎样进行大数据学习的快速入门？需要什么基础1、Java语言基础学大数据课程之前要先学习一种计算机编程语言。Java是大数据学习必要的编程语言基础。因为
白金大数据·2019-07-02 23:17

4个步骤带你搞定大数据，Linux到大数据学习路线资料（绝对必看）

Linux学习路线图运维学习需要分为四个阶段：①linux初级入门②linux中级进阶③linux高级提升④资深方向细化。第一阶段：初级入门Linux基础知识、基本命令（起源、组成、常用命令如cp、ls、file、mkdir等常见操作命令）Linux用户及权限基础Linux系统进程管理进阶Linux高效文本、文件处理命令（vim、grep、sed、awk、find等命令）第二阶段：中级进阶（基础运
a大数据·2019-07-02 12:12

4个步骤带你搞定大数据，Linux到大数据学习路线资料（绝对必看）

Linux学习路线图运维学习需要分为四个阶段：①linux初级入门②linux中级进阶③linux高级提升④资深方向细化。第一阶段：初级入门Linux基础知识、基本命令（起源、组成、常用命令如cp、ls、file、mkdir等常见操作命令）Linux用户及权限基础Linux系统进程管理进阶Linux高效文本、文件处理命令（vim、grep、sed、awk、find等命令）第二阶段：中级进阶（基础运
大数据学习中·2019-07-02 12:39

4个步骤带你搞定大数据，Linux到大数据学习

大数据学习群：8688==47735一起讨论进步学习第一阶段：初级入门Linux基础知识、基本命令（起源、组成、常用命令如cp、ls、file、mkdir等常见操作命令）Linux用户及权
qq_43958076·2019-07-02 11:05

大数据、云计算系统顶级架构师课程学习路线图

戳我阅读年薪50W的Java程序员转大数据学习路线戳
乐姐·2019-06-30 22:14

大数据学习笔记八（数据可视化）

数据可视化即为将数据进行分析后用图形的方式直观展示出信息的统计情况，这对于大数据的处理结果展示有非常重要的作用，具体事例如下：百度地图交通情况人物关系数据可视化常用工具Office系列Excel是微软公司的办公软件Office家族的系列软件之一，可以进行各种数据的处理、统计分析和辅助决策操作，已经广泛地应用于管理、统计、金融等领域，这也是最常见的数据可视化的工具D3D3是最流行的可视化库之一，是一
绿洲守望者·2019-06-30 11:49

如何进行大数据入门的学习

大数据学习并不是高深莫测的，虽然它并没有多简单，但是通过努力，零基础的朋友也是完全可以掌握大数据的。零基础学习大数据的话大概分为以下几步：第一：了解大数据理论要学习大数据你至少应该知道什么是大
阳沐之·2019-06-29 15:56
上一页 33 34 35 36 37 38 39 40 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他