HPE大数据学习

大数据学习路线

磨拳擦掌！说数据是一个企业最核心的东西之一，我想大家应该都能基本认同吧，毕竟连XXX都说过，这是一个数据为王的时代，谁掌握了数据谁就掌握未来！怪不得个个都磨拳擦掌，都嚷嚷着想搞大数据。注：本文已收录于Github开源项目：github.com/hansonwang99/JavaCollection，里面有各大方向编程的详细自学路线、面试题和面经、编程资料及系列技术文章等，资源持续更新中大数据开发基
CodeSheep·2020-11-13 17:01

大数据学习路线

磨拳擦掌！说数据是一个企业最核心的东西之一，我想大家应该都能基本认同吧，毕竟连XXX都说过，这是一个数据为王的时代，谁掌握了数据谁就掌握未来！怪不得个个都磨拳擦掌，都嚷嚷着想搞大数据。注：本文已收录于Github开源项目：github.com/hansonwang99/JavaCollection，里面有各大方向编程的详细自学路线、面试题和面经、编程资料及系列技术文章等，资源持续更新中大数据开发基
CodeSheep·2020-11-13 17:09

本文将大数据学习门槛降到了地平线

Hadoop介绍Hadoop-大数据开源世界的亚当夏娃。核心是HDFS数据存储系统，和MapReduce分布式计算框架。HDFS原理是把大块数据切碎，存数据的叫datenode（格子间），管理datenode的叫namenode（执伞人）。MapReduce原理是大任务先分堆处理-Map，再汇总处理结果-Reduce。分和汇是多台服务器并行进行，才能体现集群的威力。难度在于如何把任务拆解成符合Ma
从删库到跑路·2020-11-13 11:10

谁说菜鸟不会数据分析python-大数据学习：数据分析方面有哪些好书值得推荐的？...

3数据分析常识在前面几章里讲了很多关于数据分析市场和数据分析师的职业生涯发展，下面的几篇会重点介绍数据分析的理论知识、数据分析的方法论、数据分析的分析流程、数据分析报告如何撰写、电商中的数据分析应用等具体的应用案例。经常也会被问到作为一个不是统计学背景的学生，能否入行数据分析的问题。还有包括像平时的具体数据分析工作都有哪些？作为数据分析入门菜鸟怎么才能打好数据分析方面的基础，需要看哪些方面的书等等
weixin_39828847·2020-11-11 14:48

基于大数据学习算法的优惠券预测模型

一、目标：预测买家是否会购买某类商品，然后将优惠券发给最有可能购买的人群，从而提升转化率和客单价。（转化率-从意向购买到实际付款；客单价-用户单次购物花费金额）二、分析：落实到算法模型上，包含两个核心的问题2.1、优惠券发给谁，即客户群选择客户群选择实际上是预测买家的购买倾向，并依据购买倾向的强弱来给出排序的结果，落实到学习模型层面来解决。这个过程我们要以用户的历史行为数据为基础，比如分析出他浏览
新栋BOOK·2020-11-10 16:57

python爬虫抓取图片-python网络爬虫源代码（可直接抓取图片）

我们应该做好前期准备工作，找到要爬的网站，然后查看它的源代码我们这次爬豆瓣美女网站，网址为：用到的工具：pycharm,这是它的图标...博文来自：zhang740000的博客Python新手写出漂亮的爬虫代码1初到大数据学习圈子的同学可能对爬虫都有所耳闻
weixin_37988176·2020-11-01 12:21

python爬虫万能代码-python网络爬虫源代码（可直接抓取图片）

博文来自：zhang740000的博客Python新手写出漂亮的爬虫代码1初到大数据学习圈子的同学可能对爬虫都有所耳闻，会觉得是一个高大上的东西，仿佛九阳神功和乾坤大挪移一样，和别人说"老子会爬虫”，就感觉特别有逼格
weixin_37988176·2020-10-29 21:24

大数据学习-网络API访问

使用hadoop客户端api访问hdfs1.创建java项目2.导入hadoop类库注意我用的是idea创建的java项目，用maven来管理jar包@TestpublicvoidreadFile()throwsException{System.out.println("HELLO");URL.setURLStreamHandlerFactory(newFsUrlStreamHandlerFact
smallgrey·2020-10-13 14:22

大数据学习之路

大数据简介一、基本定义一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征二、基本特征容量（Volume）：数据的大小决定所考虑的数据的价值和潜在的信息；种类（Variety）：数据类型的多样性；速度（Velocity）：指获得数据的速度；可变性（Variability）：妨碍了处理和有效地管
ahui·2020-10-09 13:14

大数据学习笔记(5)--hadoop-HDFS概述以及客户端操作

这里写自定义目录标题一、HDFS概述1、HDFS定义2、HDFS的使用场景3、HDFS的组成架构4、HDFS的文件块大小二、HDFS的shell操作1、启动集群==集群规划==3、显示目录信息4、mkdir创建目录5、-moveFromLocal：从本地剪切粘贴到HDFS==官方命令说明==三、HDFS的客户端操作1、拷贝压缩包解压到win10电脑上面2、配置环境变量3、创建maven工程，导入依
qq_43349416·2020-10-08 12:24

大数据学习总结+JAVA学习总结+大数据面试+java面试+大数据java异常总结

文章目录一、java模块面试问题1.动态代理2.浏览器禁用Cookie后的Session处理3.主从复制的流程[重要]5.redis的数据类型[重要]6.Junit测试的注解7、缓存问题二、项目中java模块的难点异常[重要]1.MultipartiFile图片从前台用Restfull到后台问题2.批量删除参数问题3.前台后台的请求方式post,get,del4.后台给页面响应string(返回值
悬鞀设鐸·2020-09-28 13:41

Ubuntu大数据学习

虚拟机：VMwareworkstation15.5PROLinux系统：Ubuntu-20.04.1-desktop-amd64jdk版本：jdk-8u172-linux-x64.tarhadoop版本：hadoop-3.1.3.tar（伪分布式）eclipse版本：eclipse-4.7.0-linux.gtk.x86_64.tar系统内用命令安装mysqlmysqljdbc版本：mysql-c
何大大怪将军·2020-09-22 00:11

vue-cli 配置了通过代理跨域请求，为什么不生效？求教

[HPM]Erroroccurredwhiletryingtoproxyrequest/index_categoryfromlocalhost:8080tohttp://localhost:4000(HPE_INVALID_VERSION
邱浩骞·2020-09-17 15:23

02云计算与大数据学习之大数据关键技术与应用习题

一、选择题以下是大数据技术架构的特点的是（  )。A、集成性  B、架构先进性  C、实时性  D、以上都是大数据分析的理论核心是（  ）。A、数据挖掘算法  B、聚类算法  C、统计分析算法  D、神经网络算法二、填空题（  ）是大数据的驱动力。大数据总体架构的特点有（  ）。分布式数据库系统是（  ）和（  ）相结合的产物。根据数据源的信息和分析目标不同，大数据的处理可分为（  ）和（  ）两
布布灵·2020-09-17 05:34

02云计算与大数据学习之大数据关键技术与应用

文章目录1、应知应会2、大数据总体框架架构设计原则总体架构特点3、大数据存储技术4、大数据处理技术大数据处理模式大数据处理Storm平台5、大数据分析技术大数据分析特点大数据分析过程大数据分析方法6、参考文献1、应知应会大数据的本质是应需求而驱动的。软件是大数据的驱动力。大数据总体架构的特点有统一、开发、集成的大数据平台、低成本的可拓展性、实时地分析执行、可靠性。分布式数据库系统是数据库技术和网络
布布灵·2020-09-17 04:16

大数据学习笔记·城市计算(3)

在上一节中，我们介绍了城市计算如何利用出租车数据收集城市交通中有问题的设计。这一节继续讨论大数据在城市计算中的一个应用：识别城市特定区域。项目介绍在这个项目中，我们的目标是利用两部分数据识别城市中的功能区域，如教育区域、商业区域。一部分数据是人的移动性数据，另一部分数据是兴趣点的数据。这张幻灯片展示了北京的功能区域，其中红色的区域是教育和科学区域，黑色的区域是商业区域。区域的功能并不是单一的,是复
xiang_freedom·2020-09-17 00:37

12.2 Cassandra安装

12.2Cassandra安装“卜算子·大数据”一个开源、成体系的大数据学习教程。
王小雷-多面手·2020-09-16 17:30

大数据学习笔记之kafka----分布式消息发布/订阅系统

一、kafka简介kafka是Linkedin于2012年12月份开源的消息系统kafka是一个分布式的，基于发布/订阅的消息系统；kafka：一个队列平台，不仅支持离线，还支持在线特点：--消息持久化：通过O(1)的磁盘数据结构提供数据的持久化；针对磁盘存储做了大量的优化，提高了磁盘存储的效率；主要针对了操作系统的特性来进行优化：预读、后写：针对磁盘的顺序访问，优化了写磁盘的机制，降低了写磁盘的
WRichards·2020-09-16 13:50

大数据学习札记

大数据技术及应用教程1.1数据与信息的关系数据是一种未经加工的原始的资料。数据是客观对象的表示，二信息则是数据内涵的意义，是数据的内容和解释。信息与数据的关系是：信息与数据是不可分离的，数据是信息的表达，信息是数据的内涵。1.2数据的分类信息可以划分为两大类一类信息是能够用数据或统一的结构表示的，结构化数据；一类是无法用数字或统一的结构表示的，如文本、图像、声音、王爷等。结构化数据是非结构化数据的
sulegend·2020-09-16 10:38

走进大数据，感受大数据

关注作者：需要大数据学习视频资料，其他文章可以找到大师组织2017年9月8日，腾讯董事会主席兼首席执行官马化腾在清华大学洞见论坛上发表演讲，谈及科技和商业的融合时表示，随着数字经济的发展，科技越来越融入到各行各业
次世代群901739356·2020-09-16 08:39

视频教程-CDH5.16.1全网最细的企业级离线部署-大数据

余思隽¥12.00立即订阅订阅后：请点击此处观看视频课程视频教程-CDH5.16.1全网最细的企业级离线部署-大数据学习有效期：永久观看学习时长：124分钟学习计划：3天难度：高「口
学院导师-余思隽·2020-09-16 06:35

大数据学习视频整理：

大数据学习视频整理：《尚硅谷哔哩哔哩学习视频》【基础阶段】Java基础:av48144058Java12&13:av68735735IDEA:av30080993MySQL:av21400736Oracle
_JohnnyChu·2020-09-16 05:51

[大数据学习笔记]MapReduce和Yarn基本介绍

MapReduce是什么？有什么特点？MapReduce是基于Google发布的MapReduce论文设计开发，用于大规模数据集（大于1TB）的并行计算，ClusterInfrastructure、SoftwareFramework、ProgrammingModel&Methodology）。特点如下：易于编程：程序员仅需要描述做什么，具体怎么做交由系统的执行框架处理。良好的扩展性：可通过添加节点
yangyi_33855·2020-09-16 04:36

大数据学习笔记12：理解MapReduce

理解MapReduce1、MapReduce时两个过程map：匹配或者叫映射reduce：汇总2、MapReduce体现了分而治之的思想3、MapReduce是移动计算而非移动数据4、统计单词出现个数的例子一本书1000页。---假定单页印刷我们找来1010人，其中一千人一人一页来分别统计本页的单词出现情况。另外10人来汇总那1000人的统计结果。其中的1000人做的就是Map，把大任务划分成多个
terrorist2008·2020-09-16 03:05

大数据学习笔记(spark的shuffler过程)

在Spark中，task的计算模式是管道计算模式，在以下两种情况会数据落地磁盘遇到action类算子stage->stage的shufflewrite过程对于一个计算框架来说，要做分组，做聚合，shuffle是一个很重要的环节在spark中有两种shuffle方式：HashShuffle(避免shullfle中的排序)SortShuffle1、HashShuffle普通运行机制下面对一段wordC
smy12138·2020-09-16 03:19

大数据学习笔记(scala)

1、Scala六大特性java和scala可以无缝混编（都是基于JVM）类型推测（不必指定类型，自动推测类型）支持并发和分布式（Actor）特质：trait（集结了java中抽象类和接口的产物）模式匹配（matchcase：类似于java中的switchcase）高阶函数（参数时函数或者返回值是参数）2、Scala的安装使用本教程介绍在Windows下安装Scala2.10版本。安装包可以去官网下
smy12138·2020-09-16 03:19

大数据学习笔记（Map Reduce在集群上的运行架构）

MR1.X运行架构JobTracter核心，主，单点调度所有的作业监控整个集群的资源负载TaskTracter从，自身节点资源管理和JobTracter心跳，汇报资源，获取TaskClient作业为单位最终提交作业到JobTracker在hadoop1.x版本中，基于MapReduce框架写成的Application想要在集群上正常运行，需要有资源调度器和任务调度器的协调（Application-
smy12138·2020-09-16 03:19

大数据学习笔记(HDFS常用操作)

1、创建目录命令HDFS有一个默认的工作目录/user/USER，其中USER，其中USER，其中USER是用户的登录用户名。不过目录不会自动建立，需要mkdir建立它命令格式：hadoopfs-mkdir如：在user目录下创建chen目录hadoopfs-mkdir/user/chen注意：Hadoop的mkdir命令会自动创建父目录，类似于带-p的ＵＮＩＸ命令２、上传文件命令put命令从本地
smy12138·2020-09-16 03:48

大数据学习笔记(hive简介)

1、Hive是什么Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据映射为一张数据库表。Hive本身并不提供存储服务,使用HDFS做数据存储。Hive本身并不提供分布式计算功能，而是基于MapReduce计算框架。Hive本身也并不提供资源调度系统，而是使用Hadoop的Yarn集群调度。Hive运行时，元数据存储在关系型数据库里面。2、Hive架构1、用户接口主要有三个：CLI、C
smy12138·2020-09-16 03:48

大数据学习笔记(spark)

SparkSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是加州大学伯克利分校的AMP实验室所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce
smy12138·2020-09-16 03:48

大数据学习笔记六（MapReduce）

Hadoop的两大核心是HDFS和MapReduce，HDFS是分布式文件系统，而MappReduce的工作是进行数据处理推荐MapReduce学习链接：http://dblab.xmu.edu.cn/post/bigdata-online-course/#lesson7MapReduce两大核心函数：Map和ReduceMapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两
绿洲守望者·2020-09-16 03:27

大数据学习笔记(MapReduce简介)

什么是MapReduceHadoopMapReduce是一个易于编写应用程序的软件框架，该应用程序以一种可靠的、容错的方式，在大型硬件集群(数千个节点)上并行处理大量数据(多TB数据集)。MapReduce的设计理念MR主要思想就是：分久必合MR的核心思想：“相同”的key为一组，调用yicireduce方法，方法内迭代这一组数据进行计算MR由两个阶段组成：map端reduce端MapReduce
smy12138·2020-09-16 02:48

微软入局两年后，Oracle终按捺不住加入区块链即服务阵营！

本周，Oracle宣布推出自己的区块链即服务技术，正式加入IBM、SAP、Microsoft、HPE和AmazonWebServices的游戏中，至此，国际知名的几大厂商基本聚齐。
coqonmdrr954803650·2020-09-16 02:18

大数据解决思想

记录下大数据学习之旅。
yyoc97·2020-09-16 01:34

0基础大数据学习的4个步骤

大数据学习并不是高深莫测的，虽然它并没有多简单，但是通过努力，想学的朋友也是完全可以掌握大数据的。
单人季节·2020-09-15 03:36

大数据新手的0基础学习路线，从菜鸟到高手的成长之路

推荐一个大数据学习群119599574晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享
weixin_41780944·2020-09-15 03:50

大数据学习基础知识总纲

爱数据学习社welcome大数据需要学习什么?很多人问过我这个问题。总是没有一个合适的契机去好好总结这些内容，直到开始写这篇东西。大数据是近五年兴起的行业，发展迅速，很多技术经过这些年的迭代也变得比较成熟了，同时新的东西也不断涌现，想要保持自己竞争力的唯一办法就是不断学习。大数据需要的语言Javajava可以说是大数据最基础的编程语言，据我这些年的经验，我接触的很大一部分的大数据开发都是从Jave
weixin_34151004·2020-09-15 03:01

大数据学习路线图（知识体系整理）

概述本文针对想学习大数据技术从事大数据开发的人员总结了一套专业的学习路线图。大体可以分为以下个阶段七个阶段：入门知识学习阶段→基础程序语音学习→Hadoop生态体系学习→分布式计算框架（Spark核心技术）→实时计算框架→大数据常用组件学习→大数据项目实战。在后续的文章中，我将陆续将各个阶段的学习资料和教程进行整理和发布。希望大家通过我文章的引导加上自身的学习新手小伙伴能够快速的熟悉大数据体系，有
Eason聊IT·2020-09-15 03:15

2019全新版最新大数据学习路线+教你从零做起

很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：199427210，有大量干货（零基础以及进阶的经典实战
安靜@忧伤·2020-09-15 03:15

零基础学习大数据：零基础学习大数据最完整的学习路线

下面分十个章节来说明大数据开发要学习的内容：以上就是一个大数据新手，想要学会大数据开发，需要学习的内容，大数据学习是一个持续的过程，只要用心学，没有学不会的东西哦！
大数据开发交流·2020-09-15 03:32

新手小白大数据学习路线规划

上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。语言基础1.Java大数据框架大多采用Java语言进行开发，并且几乎全部的框架都会提供JavaAPI。Java是目前比较主流的后台开发语言，所以网上免费的学习资源也比较多。如果你习惯通过书本进行学习，这里推荐以下入门书籍：《Java编程的逻辑》：这里一本国人编写的系统入门Java的书籍，深入
juan333·2020-09-15 02:33

大数据学习之十——MapReduce代码实例：数据去重和数据排序

***数据去重***目标：原始数据中出现次数超过一次的数据在输出文件中只出现一次。算法思想：根据reduce的过程特性,会自动根据key来计算输入的value集合，把数据作为key输出给reduce,无论这个数据出现多少次，reduce最终结果中key只能输出一次。1.实例中每个数据代表输入文件中的一行内容，map阶段采用Hadoop默认的作业输入方式。将value设置为key，并直接输出。map
weixin_30802273·2020-09-14 16:25

大数据学习——scala集合练习

packagecom/***CreatedbyZXon2016/4/5.*/objectListTest{defmain(args:Array[String]){//创建一个Listvallst0=List(1,7,9,8,0,3,5,4,6,2)//将lst0中每个元素乘以10后生成一个新的集合vallst01=lst0.map(_*10)println("lst01"+lst01)vallst
weixin_30567471·2020-09-14 16:42

大数据学习——java调用spark常用接口函数

一、准备：1.1引入依赖包：org.apache.sparkspark-core_2.101.2.0spark版本在不断迭代更新，也许这个版本已经过时，不同的版本之间java接口并不是完全兼容的，如果为了快速了解学习，请在maven中配置和我一样的spark依赖版本，这样下面的java接口调用代码是可以直接使用的，否则要自行处理版本更新导致的接口标准变化。比如你可能立即发现Iterator和Ite
祁峰sunny·2020-09-14 09:58

大数据学习——win环境下spark安装教程

spark是性能远超过hadoop的MapReduce的计算框架，它依赖于hadoop和分布式硬件环境。但是学习spark和测试一些简单的功能函数时，分布式环境是一个较高的门槛，对hadoop的依赖也使得习惯于windows开发环境的程序员十分苦恼。以下博文将在windows环境下安装spark。一、环境准备安装jdk：https://blog.csdn.net/qq_15903671/artic
祁峰sunny·2020-09-14 09:57

大数据学习——java调用spark学习测试

spark是一种计算框架，如果只是想学习，完全可以脱离hadoop而独立运行，当然这样就没法使用hdfs进行数据存储。windows环境下，使用java语言添加spark依赖包就可以直接使用spark了。一、maven添加spark依赖：这个jar包还是挺大的，下载需要点时间。二、随便写个map操作importorg.apache.commons.lang3.StringUtils;importo
祁峰sunny·2020-09-14 09:57

大数据学习——dataX工具部署和源码编译

为了做大数据项目数据抽取工作，开始学习dataX，尝试比较dataX（版本3.0）与sqoop的功能与性能差异。以下教程包括：下载dataX工具及简要使用、下载dataX源码尝试编译及遇到的问题、尝试改造开源项目dataX一、下载dataX工具及简要使用gitHub下载（在下面的README里，QuickStart栏中）：https://github.com/alibaba/DataX阿里云下载：
祁峰sunny·2020-09-14 08:11

大数据学习篇：hadoop深入浅出系列之HDFS（一）——HDFS简介和优缺点

上一篇，我们说了hadoop的伪分布式安装，今天我们来说说著名的HDFS，一：HDFS简单介绍HDFS，顾名思义HadoopDistributedFileSystem，翻译过来就是hadoop分布式文件系统，至于它的来历我就不说了，网上比比皆是。随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的
你所有承诺·2020-09-14 01:45

【大数据】大数据学习填坑之路

大数据学习填坑之路1.20/09/1122:18:26ERRORboot.SpringApplication:Applicationstartupfailed问题log分析：2.20/09/1122:30
游骑小兵·2020-09-14 00:23

大数据学习之路----Scala语言学习（安装、常量、变量、类型）

一、scala语言Scala是一门多范式的编程语言，一种类似java的编程语言，设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性，这种语言与java类似，有很多java的影子存在，而且还有一些自己的特点，我们可以使用这门语言去操作spark计算引擎，scala在计算和执行效率上要高于java所以我们在使用spark进行在线计算时，采用的是scala语言。多范式：既包含java的
十五亿程序员的希望·2020-09-13 22:32
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他