HPE大数据学习第34页

大数据学习：数据分析方面有哪些好书值得推荐的？

3数据分析常识在前面几章里讲了很多关于数据分析市场和数据分析师的职业生涯发展，下面的几篇会重点介绍数据分析的理论知识、数据分析的方法论、数据分析的分析流程、数据分析报告如何撰写、电商中的数据分析应用等具体的应用案例。经常也会被问到作为一个不是统计学背景的学生，能否入行数据分析的问题。还有包括像平时的具体数据分析工作都有哪些？作为数据分析入门菜鸟怎么才能打好数据分析方面的基础，需要看哪些方面的书等等

法语入门学习·2019-12-19 12:41

大数据学习资源整理

github地址后面继续更新在githubutils4sscala语法学习common库BigData库SparkSparkcoreSparkStreamingSparkSQLSpark机器学习Spark其它ES贡献代码步骤贡献者utils4s包含各种scala通用、好玩的工具库demo和使用文档，通过简单的代码演示和操作文档，各种库信手拈来。同时欢迎大家贡献各种好玩的、经常使用的工具库。开源中国

jacksu在简书·2019-12-19 07:52

2019普通程序员，如何转为当前紧缺的大数据相关人才？

自己建的大数据学习交流群:740041381，群里都是学大数据开发的，如果你正在学习大数据，小编欢迎你

金光闪闪耶·2019-12-19 02:11

(十七)大数据学习之内存数据库

内存数据库一.内存数据库1.为什么要把数据存入内存？快2.常见的内存数据库：(1)MemCached：看成Redis前身，严格来说，MemCached不能叫数据库，只能叫缓存不支持持久化。如果内存停电，数据丢失(2)Redis：内存数据库，支持持久化，支持HA(3)OracleTimesTensession一致性MemCached+keepalive实现二.Memcached1.基本原理和体系架构

Movle·2019-12-18 16:51

大数据学习半年小结 — 我的知识地图

1.png数据分析课程，一共写了以下文章学习小结方面：我的2017年大数据学习目标学习大数据两周笔记迄今为止最有效率的春节终身学习：啃啃大数据分析大数据学习第一季度小结R语言数据展现（5篇）R语言做统计学习题

只是不在意·2019-12-18 07:48

大数据01·2019-12-17 22:02

大数据学习笔记——Spark工作机制以及API详解

Spark工作机制以及API详解本篇文章将会承接上篇关于如何部署Spark分布式集群的博客，会先对RDD编程中常见的API进行一个整理，接着再结合源代码以及注释详细地解读spark的作业提交流程，调度机制以及shuffle的过程，废话不多说，我们直接开始吧！1.Spark基本API解读首先我们写一段简单的进行单词统计的代码，考察其中出现的API，然后做出整理：importorg.apache.sp

终极菜鸡·2019-12-17 22:00

MacBook Air 外接显示器，事半功倍简明教程

先展示下最终成果，配置方案：MacBookAir（Early2015）+MiniDP转HDMI/VGA二合一转接头+HPE243（23.8英寸显示器）MacBookAir外接显示器

秦艳超·2019-12-16 12:43

大数据学习-spark

spark比较于Hadoop-MapReduceHadoop提供的MapReduce框架处理大数据的时候，却发现它存在许多天生的缺陷,如效率低，编程模型不够灵活，只适合做离线计算等。Spark可用来构建大型的、低延迟的大数据处理的应用程序，它基于内存，并且提供了更加丰富的算子使得我们可以更高效和灵活的处理大数据。大数据计算场景（1）复杂的批量数据处理，离线计算，比如MR（2）交互式查询，比如Imp

笑谈1995·2019-12-16 02:10

大数据学习十八：Spark调度流程

1、SparkContext涉及的类：Utils(用于序列化和反序列化)、Logging（Spark自己用log4j封装Object(相当于java中的privatefinalstaticLogger))，SparkConf(用于获取spark的环境信息放在ConcurrentMap中，且在运行时sparkenv不可以改变)【./bin/spark-submit会主动创建SparkContext】

RacyFu·2019-12-15 22:03

大数据学习day24-------spark07-----1. sortBy是Transformation算子，为什么会触发Action 2. SparkSQL 3. DataFrame的创建 4.

1.sortBy是Transformation算子，为什么会触发ActionsortBy需要对数据进行全局排序，其需要用到RangePartitioner，而在创建RangePartitioner时需要大概知道有多少数据，以及数据的范围（采样），其内部获取这个范围（rangeBounds）是通过调用sample方法得到，在调用完sample后会调用collect方法，所以会触发Action2.Sp

一y样·2019-12-15 17:00

惠普企业裁员5000人，计划瘦成一道闪电

为了削减成本，应对日益激烈的竞争，惠普企业（HPE）计划裁员5000人，占比总员工数的10%。此次裁员预计在年底前开始，可能将影响到公司在美国本土及海外地区员工，其中包括管理层。

IT战略家·2019-12-15 12:10

大数据学习的思维原理（电子商务智能原理）

我们在前面的文章中给大家介绍了很多的大数据学习思维原理，这些内容对于大数据的学习都是很有帮助的，其实大数据的学习思维还是有很多的，我们在这篇文章给大家介绍一下电子商务智能原理。

CDA数据分析师培训·2019-12-14 22:43

大数据学习笔记——Spark完全分布式完整部署教程

Spark完全分布式完整部署教程继Mapreduce之后，作为新一代并且是主流的计算引擎，学好Spark是非常重要的，这一篇博客会专门介绍如何部署一个分布式的Spark计算框架，在之后的博客中，更会讲到Spark的基本模块的介绍以及底层原理，好了，废话不多说，直接开始吧！1.安装准备部署Spark时，我们使用的版本如下所示：2.正式安装1.将spark-2.4.3-bin-hadoop2.7.tg

终极菜鸡·2019-12-14 12:00

如何制定一份可实施的2018年大数据学习计划？

温馨提示：本篇文章3082字，阅读需12分钟左右建议收藏留看没错，福利要放最前面50G大数据学习资料百余本大数据学习书籍Excel全方位技能视频教程回复【学习计划】获取进群资格领取学习资料给大家讲一个恐怖故事这里还是要推荐下小编的大数据学习

大数据学习01·2019-12-13 22:51

新春钜献 | Hacksheet强势助攻你的大数据学习

上学的时候，师曾曰过，学习任何一门新的知识都有“先把书读厚，再把书读薄”这样一个循环复归的过程。把书读厚，就是要庖丁解牛，深入理解细微的知识细节；把书读薄，就是要目光如炬，准确把握关键的知识脉络。一份优秀的cheatsheet（速查表）就是这样一个过程的体现。“Python填充缺失值怎么做啊？哎，还得去看官方文档......”"哎呀，deadline快到了，数据清洗还没做......只能上土方法了

数据嗨客·2019-12-13 18:09

大数据学习的方法

分享学习大数据的方法，学习大数据的头一步：打好基础，比高逼格的大数据技术更重要!而基础知识就是：编程语言和linux操作系统。我们以java编程为例，当然了你所擅长的编程语言也可以是python、Scala等!Java：只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技术在大

大数据01·2019-12-13 07:35

学习大数据开发需要读的书籍有哪些？大数据开发书籍推荐介绍

大数据05·2019-12-12 21:07

如何系统规划大数据学习之路？

大数据学习不是很深奥也不难懂，虽然并不简单，但是通过努力学习，想学习的朋友也能掌握大数据。

Alukar·2019-12-12 17:53

大数据学习内容有哪些？大数据学习路线图

很多人想学习大数据，但是都不清楚大数据学习应该怎么下手。科多大数据老师简单整理了一下大数据学习路线图，希望对于学习大数据的朋友，有一定的帮助。

大数据在说话·2019-12-12 11:12

HPE收购合作伙伴CTP加强云咨询服务，放弃与微软等云巨头直接竞争

虽然HPE在近期出售了云资产OpenStack和CloudFoundry，但并不意味着它放弃云业务，而是换了方向，通过收购重组，走上了有别于亚马逊、微软等云巨头的差异化战略之路。

IT战略家·2019-12-12 03:35

大数据学习day23-----spark06--------1. Spark执行流程（知识补充：RDD的依赖关系）2.

1.Spark执行流程知识补充：RDD的依赖关系RDD的依赖关系分为两类：窄依赖（NarrowDependency）和宽依赖(ShuffleDependency)（1）窄依赖窄依赖指的是父RDD中的一个分区最多只会被子RDD中的一个分区使用，意味着父RDD的一个分区内的数据是不能被分割的，子RDD的任务可以跟父RDD在同一个Executor一起执行，不需要经过Shuffle阶段去重组数据窄依赖关系

一y样·2019-12-11 11:00

大数据学习路线图知识点解析

HDFSHadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。GlusterFS是一个集群的文件系统，支持PB级的数据量。GlusterFS通过RDMA和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络化并行文件系统。Ceph

千锋IJava·2019-12-10 14:34

大数据学习day22------spark05------1. 学科最受欢迎老师解法补充 2. 自定义排序 3. spark任务执行过程 4. SparkTask的分类 5. Task的序列化 6.

1.学科最受欢迎老师解法补充day21中该案例的解法四还有一个问题，就是当各个老师受欢迎度是一样的时候，其排序规则就处理不了，以下是对其优化的解法实现方式五FavoriteTeacher5packagecom._51doit.spark04importorg.apache.spark.{Partitioner,SparkConf,SparkContext}importorg.apache.spar

一y样·2019-12-09 23:00

(十四)大数据学习之Scala语言

Scala编程语言1.生态：(1)scala编程语言(2)SparkCore：Spark内核，最重要的一个部分。(3)SparkSQL:类似于hive和pig。数据分析引擎。sql语句提交到spark集群中运行。(4)SparkStreaming：类似于storm，用于流式计算、实时计算。本质：一个离线计算。Scala基础一.Scala简介1.scala是一个多范式的编程语言（支持多种方式的编程）

Movle·2019-12-07 20:16

大数据学习day21-----spark04------1. 广播变量 2. RDD中的cache 3.RDD的checkpoint方法 4. 计算学科最受欢迎老师TopN

1.广播变量1.1补充知识（来源：https://blog.csdn.net/huashetianzu/article/details/7821674）之所以存在reducesidejoin，是因为在map阶段不能获取所有需要的join字段，即：同一个key对应的字段可能位于不同map中。Reducesidejoin是非常低效的，因为shuffle阶段要进行大量的数据传输。Mapsidejoin是

一y样·2019-12-07 11:00

BAT大数据分析师：如何规划大数据学习之路？

在美国，大数据工程师平均年薪达17.5万美元，在中国顶尖的互联网公司里，大数据工程师的薪酬比同级别的其他职位高出30%以上。DT时代来得太突然了，国内发展势头很猛，而大数据相关的人才却非常地有限，在未来若干年内都会是供不应求的状况，因此程序员们，你们的春天到了！转行也并非一朝一夕的事情，你需要对这个行业有一定的了解，并匹配一下自己的知识和能力结构。以下是一位在BAT大数据领域打滚了N年后的分析师写

大数据01·2019-12-07 09:12

大数据学习笔记——Hadoop编程实战之Mapreduce

Hadoop编程实战——Mapreduce基本功能实现此篇博客承接上一篇总结的HDFS编程实战，将会详细地对mapreduce的各种数据分析功能进行一个整理，由于实际工作中并不会过多地涉及原理，因此，掌握好mapreduce框架将会有助于了解sql语句在大数据场景下的底层实现原理，从而能够帮助开发人员优化sql语句，提高查询速度，废话不多说，现在正式开始吧！1.Mapreduce入门——wordc

终极菜鸡·2019-12-05 21:00

大数据学习day20-----spark03-----RDD编程实战案例（1 计算订单分类成交金额，2 将订单信息关联分类信息，并将这些数据存入Hbase中，3 使用Spark读取日志文件，根据Ip地址

1RDD编程实战案例一数据样例字段说明：其中cid中1代表手机，2代表家具，3代表服装1.1计算订单分类成交金额需求：在给定的订单数据，根据订单的分类ID进行聚合，然后管理订单分类名称，统计出某一天商品各个分类的成交金额，并保存至Mysql中（1）法一，将json数据解析出来，直接使用objectIncomeKpi{privatevallogger:Logger=LoggerFactory.get

一y样·2019-12-04 11:00

大数据学习路线安排

很多朋友不知道怎么入手学习大数据，今天科多大数据带你进入大数据的世界。一、Hadoop入门，了解什么是hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3、国内外Hadoop应用案例介绍4、国内Hadoop的就业情况分析及课程大纲介绍5、分布式系统概述6、Hadoop生态圈以及各组成部分的简介7、Hadoop核心MapReduce例子说明二、分布式文件系统HDFS，

简单想法bigdata·2019-12-02 03:34

大数据学习资源最全版本（收藏）

资源列表：关系数据库管理系统（RDBMS）框架分布式编程分布式文件系统文件数据模型Key-Map数据模型键-值数据模型图形数据模型NewSQL数据库列式数据库时间序列数据库类SQL处理数据摄取服务编程调度机器学习基准测试安全性系统部署应用程序搜索引擎与框架MySQL的分支和演化PostgreSQL的分支和演化Memcached的分支和演化嵌入式数据库商业智能数据可视化物联网和传感器文章论文视频有一

风火数据·2019-12-02 00:36

大数据到底怎么学：数据科学概论与大数据学习误区

作者|杜圣东“数据科学家走在通往无所不知的路上，走到尽头才发现，自己一无所知。”-WillCukierski，HeadofCompetitions&DataScientistatKaggle最近不少网友向我咨询如何学习大数据技术？大数据怎么入门？怎么做大数据分析？数据科学需要学习那些技术？大数据的应用前景等等问题。由于大数据技术涉及内容太庞杂，大数据应用领域广泛，而且各领域和方向采用的关键技术差异

Albert陈凯·2019-12-01 22:46

大数据工程师面试题之互联网公司篇

风火数据·2019-12-01 14:38

人生第一个OKR （17年9月—12月）

2.大数据学习扫代码。K2.1:扫fish的完整代码。7篇，并提炼统计学知识点为7个概念，可默写出来。（5/7）K

_bobo_·2019-12-01 12:51

大数据学习day19-----spark02-------0 零碎知识点（创建rdd的两种形式，分区和分区器的区别） 1. RDD的使用 2.Spark中的一些重要概念

0.零碎概念（1）（2）此处就算地址写错了也不会报错，因为此操作只是读取数据的操作（元数据），表示从此地址读取数据但并没有进行读取数据的操作（3）分区（有时间看HaDoopRDD这个方法的源码，用来计算分区数量的）从HDFS指定的目录创建RDD（此处默认的并行数的源码有点问题）物理切片：实际将数据切分开，即以前的将数据分块（每个数据块的存储地址不一样），hdfs中每个分块的大小为128m逻辑切片：

一y样·2019-12-01 11:00

Hadoop+HBase+Spark+Hive环境搭建

摘要：大数据门槛较高，仅仅环境的搭建可能就要耗费我们大量的精力，本文总结了作者是如何搭建大数据环境的（单机版和集群版），希望能帮助学弟学妹们更快地走上大数据学习之路。

杨赟快跑·2019-12-01 02:18

腾讯大数据工程师告诫：学习大数据有哪几个步骤呢？

大数据学习不是很深奥也不难懂，虽然并不简单，但是通过努力学习，想学习的朋友也能掌握大数据。大数据的学习可以分为以下步骤：1。

大数据01·2019-12-01 02:24

高端存储未来之路在哪？VSP 5000系列带来新答案

高端存储，这个被Gartner取消魔力象限、曾被认为没有明天的产品，却在今年迎来了真正的爆发，从EMC、HPE，到华为、IBM，再到现在的Hitac

大数据在线·2019-11-30 15:40

大数据学习六:Linux常用命令三

1、添加用户，建立一个新用户账户testuser1，并设置UID为544，主目录为/usr/testuser1，加-m如果主目录不存在则自动创建#useradd-u544-d/usr/testuser1-gusers-mtestuser12、添加组grouptestgroupaddgrouptest3、查看用户或组idtestuser1vi/etc/passwd查看用户vi/etc/group查看

RacyFu·2019-11-30 14:19

零基础大数据学习指南（整套学习资料链接+项目）

Hive（重点）5、Flume6、Kafka（重点）7、HBase（重点）8、Spark（重点中的重点）9、Flink（重点中的重点）三、项目阶段四、机器学习五、书籍后续也会继续更新~~~~~~~~~~~大数据学习指南本人是按照这个学习路线来的

蓦然_·2019-11-30 14:12

大数据学习第一篇——基础知识

大数据入门总结一下近期学习的大数据知识，主要是参考了厦门大学林子雨老师的博客学习之前没搞清楚的知识传统的web应用（LAMP、JavaEE、NODE系等）与大数据什么关系？之前一直以为大数据的东西就是来取代传统的Web应用的，其实并不是这样；即使是大数据的架构，应用层依然会是传统的web应用，但是会根据数据特点对数据存储（结构化数据依然会保存在传统的关系型数据库——如MySql，日志等非结构数据会

代码坊·2019-11-29 17:41

大数据学习

原文地址主讲嘉宾：王昊奋主持人：中关村大数据产业联盟学术委员会主任委员阮彤承办：中关村大数据产业联盟嘉宾介绍：王昊奋：华东理工大学讲师，上海交通大学计算机应用专业博士，对语义搜索、图数据库以及Web挖掘与信息抽取有浓厚的兴趣。在博士就读期间发表了30余篇国际顶级会议和期刊论文，长期在WWW、ISWC等顶级会议担任程序委员会委员。作为Apex数据与知识管理实验室语义组负责人，他主持并参与了多项相关项

hmaccelerate·2019-11-29 03:46

大数据学习day18----第三阶段spark01--------1. spark(standalone模式)的安装 2.

1.spark(standalone模式)的安装（1）下载spark安装包（spark官网）（2）上传spark安装包到Linux服务器上（3）解压spark安装包tar-zxvfspark-2.3.3-bin-hadoop2.7.tgz-C/usr/apps/（4）将conf目录下的spark-env.sh.template重命名为spark-env.sh，并修改内容如下exportJAVA_H

一y样·2019-11-28 10:00

大数据学习心得

一、概述1大数据简介1.1起源“大数据“，近几年来最火的词之一。虽然大数据这个词的正式产生也就10年左右，但对大数据分析却早就有之。早在互联网初期，就有很多公司通过计算机技术对大量的分析处理，比如各个浏览引擎。然而，大数据的真正提出却是源自2008.09.03《Nature》专刊的一篇论文，紧接着，产业界也不断跟进，麦肯锡于2011.06发布麦肯锡全球研究院报告，标志着大数据在产业界的真正兴起，随

13157330443·2019-11-27 22:13

大数据学习笔记——Hbase高可用+完全分布式完整部署教程

Hbase高可用+完全分布式完整部署教程本篇博客承接上一篇sqoop的部署教程，将会详细介绍完全分布式并且是高可用模式下的Hbase的部署流程，废话不多说，我们直接开始！1.安装准备部署Hbase时，我们使用的版本为1.2.82.正式安装1.将hbase-1.2.8-bin.tar.gz文件使用远程传输软件放到s101的/home/centos/downloads下2.将hbase-1.2.8-b

终极菜鸡·2019-11-23 13:00

大数据学习笔记——HDFS写入过程源码分析(2)

HDFS写入过程注释解读&源码分析此篇博客承接上一篇未讲完的内容，将会着重分析一下在Namenode获取到元数据后，具体是如何向datanode节点写入真实的数据的1.框架图展示在开始前，还是老规矩，先上图本篇内容将会重点介绍HDFS写入流程七大步骤中的4，5步骤，即数据包写入和数据包确认(writepacket&ackpacket)2.源码分析2.1文档注释翻译在讲解这部分内容时会涉及到的类是D

终极菜鸡·2019-11-22 23:00

大数据学习笔记——HDFS写入过程源码分析(1)

HDFS写入过程方法调用逻辑&源码注释解读前一篇介绍HDFS模块的博客中，我们重点从实践角度介绍了各种API如何使用以及IDEA的基本安装和配置步骤，而从这一篇开始，将会正式整理HDFS的读写原理分析，由于全部一次性整理篇幅过长，本人会将这一部分的内容拆分成多篇，这一篇将会从宏观上把控整个写入过程的框架，并啃一啃源码中的注释部分，好了，废话不多说，直接开始吧！1.框架图展示上图摘录自《Hadoop

终极菜鸡·2019-11-21 21:00

大数据学习笔记——HDFS理论知识之编辑日志与镜像文件

HDFS文件系统——编辑日志和镜像文件详细介绍我们知道，启动Hadoop之后，在主节点下会产生Namenode，即名称节点进程，该节点的目录下会保存一份元数据，用来记录文件的索引，而在从节点上即Datanode则会保留真实的数据，对于Namenode来说，最重要的两个文件就是Fsimage和Edits了，它们记录了用户的一系列在文件系统中的操作并保存了文件索引1.初始化文件系统基本步骤为了演示这两

终极菜鸡·2019-11-20 23:00

好程序员大数据学习路线分享大数据之基础语法

1.2.1计算机理论介绍1.2.2编程基础--进制分类、进制转换进制就是进位制。指的是我们来表示一个数字的时候进位的制度。进制分类计算机中，常用的进制有以下几种:进制描述示例备注二进制使用0和1来描述所有的自然数0,1,10,11,100,101使用0b开头八进制使用0-7来描述所有的自然数4,5,6,7,10,11,12使用0开头十进制使用0-9来描述所有的自然数6,7,8,9,10,11,12

wx5da18b5c4b01e·2019-11-19 16:18

大数据学习笔记——Hadoop编程之SequenceFile

SequenceFile(Hadoop序列文件)基础知识与应用上篇编程实战系列中本人介绍了基本的使用HDFS进行文件读写的方法，这一篇将承接上篇重点整理一下SequenceFile的相关知识及应用1.SequenceFile简介SequenceFile是Hadoop自带的一种键值对文件格式，它具有以下几个特点：1.由于该文件类型是Hadoop自带的，因此对Hadoop环境具有最强的兼容性2.由于H

终极菜鸡·2019-11-19 00:00

推荐频道

HPE大数据学习