HPE大数据学习

大数据学习之Zookeeper——01Zookeeper简单介绍

转载:https://www.cnblogs.com/sunddenly/p/4033574.html一.分布式协调技术在给大家介绍ZooKeeper之前先来给大家介绍一种技术——分布式协调技术。那么什么是分布式协调技术？那么我来告诉大家，其实分布式协调技术主要用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种临界资源，防止造成"脏数据"的后果。这时，有人可能会说这个简单，写一个
Jiang锋时刻·2020-06-22 18:09

大数据学习之Hadoop——05MapReduce概念(感觉没写什么, 后面再补充)

一.基本概念1.为什么需要MapReduce海量数据在单机上处理因为硬件资源限制，无法胜任而一旦将单机版程序扩展到集群来分布式运行，将极大增加程序的复杂度和开发难度MapReduce把大量分布式程序涉及到的内容都封装进了该运算框架引入MapReduce框架后，开发人员可以将绝大部分工作集中在业务逻辑的开发上，而将分布式计算中的复杂性交由框架来处理2.MapReduce的思想就是“分而治之”Mapp
Jiang锋时刻·2020-06-22 18:08

大数据学习之Hadoop——10MapReduce实现Reduce Join(多个文件联合查询)

一.MapReduceJoin对两份数据data1和data2进行关键词连接是一个很通用的问题，如果数据量比较小，可以在内存中完成连接。如果数据量比较大，在内存进行连接操会发生OOM。mapreducejoin可以用来解决大数据的连接。1.思路1.reducejoin在map阶段,把关键字作为key输出，并在value中标记出数据是来自data1还是data2。因为在shuffle阶段已经自然按k
Jiang锋时刻·2020-06-22 18:08

大数据面试知识图谱

大纲本系列主题是大数据开发面试指南，旨在为大家提供一个大数据学习的基本路线，完善数据开发的技术栈，以及我们面试一个大数据开发岗位的时候，哪些东西是重点考察的，这些公司更希望面试者具备哪
Hadoop技术博文·2020-06-22 16:37

原创干货 | 史上最全的大数据学习资源(Awesome Big Data)

很多人在学习大数据的时候比较迷茫，不知从何学起，也不能够比较系统、全面的了解大数据框架。为此，过往记忆花了一个周末的时间把AwesomeBigData（https://github.com/onurakpolat/awesome-bigdata）里近600个大数据相关的调度、存储、计算、数据库以及可视化等介绍全部翻译了一遍，供大家查漏补缺，全面学习，强烈建议收藏。更多大数据技术知识学习，请持续关注
Hadoop技术博文·2020-06-22 16:37

【云快讯】HP 将关闭公有云服务，转售微软的 Azure 云服务

她没有提供细节，但表示，将在下个月在伦敦举行的HPE（Hewlett-PackardEnterprise）发布大会
Jacky5601·2020-06-22 15:26

做了五年大数据开发工程师总结的的大数据学习路线

大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。其实这就是想告诉你的大数据的三个发展方向，平台搭
大数据Arry·2020-06-22 15:55

大数据学习笔记之初识Hadoop

1、Hadoop概述1.1Hadoop名字的由来Hadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名Hadoop的官网：http://hadoop.apache.org。1.2Hadoop介绍Hadoop是Apache的一个顶级项目、是开源的、分布式存储+分布式计算平台；它由以下几个模块构成：HadoopCommon:这是支持hadoop其他模块的通用工具模块HadoopDistrib
ako881010·2020-06-22 13:00

大数据学习之路02——第一个MapReduce程序

2019-05-17|大数据学习之路系列02目标单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为MapReduce版“HelloWorld”。单词计
aijcjo·2020-06-22 13:06

挖掘“隐藏的中间力量”，Aruba为中小企业激发数字化生产力

一份由HPE旗下公司新一代网络解决方案提供商Aruba最新发布的调查显示，在大型企业和
阿川2015·2020-06-22 12:06

2020年大数据学习路线指南（最全知识点总结）零基础入门大数据学习必备系统教程和学习目录

系统的学习知识点我大数据入门，需要学习以下这些知识点：先附上一张自己总结的学习线路图1、Java编程技术Java编程技术是大数据学习的基础，
IT资讯科技·2020-06-22 11:07

大数据学习之路

万字长文，纯干货，建议收藏阅读。大纲：一、开篇致辞二、为什么要学大数据三、学习大数据门槛四、学习路线&独家干货（学生、在职、零基础）五、推荐书单六、Q&A一、开篇致辞我今年大四，大二的时候先后在厦门的两家小公司实习Java，大三的时候在ApcheKylin的贡献团队Kyligence实习，现在在一家西班牙集团就职大数据开发。首先感谢我大二的第一份实习，它是我职场上的启蒙之旅，以致我后面的一个技术视
无精疯·2020-06-22 11:11

从安卓主管转型大数据开发，我经历了什么？

当然，我也不会让他们白忙活，我支付赞赏2的稿费(50起步)，所以欢迎大家多多赞赏~*人物介绍许则则(化名)，一位五年安卓经验的开发主管，从去年就在我大数据学习群里，看着我和其他群友慢慢转型大数据，所以于
无精疯·2020-06-22 11:11

code: 'HPE_INVALID_CONSTANT' 解析错误 parse error

背景：server：pythonhttp.server见https://blog.csdn.net/a1368783069/article/details/87359881client：node.jsrequestclient在请求server时，返回结果解析错误。server.pyimportjsonimporthttp.serverimportsocketserverfromurllib.pa
面向未来的历史·2020-06-22 10:50

Hive数据倾斜及解决方法

Hive学习之路（十九）Hive的数据倾斜2个人光环大数据学习Hive面试常问：hq语句优化sortbyorderbydistributeby分区表分桶表的区别内部表外部表的区别数据倾斜：数据分布不均匀
张之海·2020-06-22 09:20

【观察】加码物联网和智慧城市投入 HPE中国以传承和开放迎接新时代

这是HPE日前在北京举办的主题为“慧万物之生态，与智世联未来”HPE中国CIO峰会上，所对外传递出来的
申耀的科技观察·2020-06-22 07:47

突破疆界，E往无前——与HPE中国为伴 加速创新转型

今年9月在无锡举办的“2017世界物联网博览会”上，HPE向中国市场展示了运用这些创新科技的企业级解决方案和落地实践，赢得了广泛好评，延续了三十多年来“在中国，为中国”的不变承诺。
申耀的科技观察·2020-06-22 07:47

大数据学习之路 --- Hive（数据仓库管理工具）

Hive用是一种用SQL语句来协助读写、管理存储在分布式存储系统上的大数据集的数据仓库软件。--->名词解释：Hive：通过把HDFS中的文件映射为一张张表，让开发人员可以通过sql以操作普通数据库的方式操作分布式系统中的数据文件，简单方便。Hive的几个特点：(1)Hive最大的特点是Hive通过类SQL来分析大数据，而避免了写MapReduceJava程序来分析数据，这样使得分析数据更容易。(
Mai_Noe·2020-06-22 01:47

大数据学习之路 --- Spark（内存计算框架）

Spark是基于内存计算的大数据并行计算框架。spark基于内存计算，提高了在大数据环境下数据处理的的实时性，同时保证了高容错性和高可伸缩性。--->Spark中有很多内容，本篇文章只讲其中的Sparkcore，Sparksql，Sparkstream。Sparkcore：RDD：RDD是ResilientDistributedDataset的简称。它是ApacheSpark的基本数据结构。它是一
Mai_Noe·2020-06-22 01:47

【大数据学习】VBox Ubuntu 14.04虚拟机安装

VitualBox版本:5.1.30Ubuntu版本：UbuntuKylin14.041.系统下载百度搜下即可，下载后缀为.iso的文件2.系统安装安装VBox时最好使用默认的安装路径，就是一直点下一步，不然可能会有其他错误在VBox里点新建选项输入虚拟机的名字，和选择对应的操作系统，输入Ubuntu开头的，VBox会自动帮你选择好，不对再选选择虚拟磁盘的存放位置，我D盘容量较大，我选择放在D盘创
FormatFa·2020-06-21 20:29

大数据开发工程师的成长之道

大数据学习是需要一个过程的，少年，加油！大数据真正火起来，是在2013年，该年被称为“大数据元年”。此前其实大数据已经真真实实的存在了，而那时还没有大数据(BigData)这一说辞。
云 祁·2020-06-21 17:30

大数据学习书籍

大数据火爆招聘中，高端的薪资待遇实在是让人欲罢不能，赶紧拿起书本，原来学习大数据才是正道。可是看到很多漫天大数据的书籍真的有些头疼了，不知道该从哪一本开始阅读。学习这种事，泛泛而读真的不如术业有专攻，而且还要循序渐进比较好，今天我将学习大数据的同学分为两类，推荐的书籍可以有一定差别的，想要学习大数据的同学可以酌情参考!学习大数据的小伙伴在小编看来总共分为两大类：一是本身就是计算机专业出身，有一定的
肖晓晓·2020-06-21 14:15

大数据学习——数据挖掘理论基础

本文学习来源于《数据挖掘理论与技术》（电子工业出版社）数据挖掘概述数据挖掘方法可以是基于数学理论的，也可以是非数学的；可以是演绎的，也可以是归纳的。从研究的历史看，它们是数据库、人工智能、数理统计、计算机科学以及其它方面的学者和工程技术人员，在数据挖掘的探讨性研究过程中创立的理论体系。1997年，Mannila对当时流行的数据挖掘的理论框架做出了综述。结合最新的研究成果，有下面一些重要的理论框架可
谢厂节_编程圈·2020-06-21 14:38

大数据学习路线图，重要的事情说三遍

目前，全球数据呈现爆发增长、海量集聚的特点。国家大力推动实施大数据发展战略，推进数据资源整合和开放共享，加快建设数字中国。大数据行业政策环境良好，发展机遇空前。目前，全球数据呈现爆发增长、海量集聚的特点。国家大力推动实施大数据发展战略，推进数据资源整合和开放共享，加快建设数字中国。大数据行业政策环境良好，发展机遇空前。目前，全球数据呈现爆发增长、海量集聚的特点。国家大力推动实施大数据发展战略，推进
金豆数据工程师·2020-06-21 13:05

大数据工程师面试题(附答案)

最近刚学了scala，并且就有scala版本的WordCount，刚好学以致用了一下：对大数据【数据分析，数据挖掘】概念都是模糊不清的，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习
金曜软件工程师·2020-06-21 12:57

大数据学习 - 平台环境部署（详细）

大数据学习--平台环境部署（详细）本文利用云服务器对大数据平台进行环境部署，包含：服务器使用、环境准备、Hadoop集群完全分布式安装、Zookeeper集群完全分布式安装、HBase完全分布式安装、Hive
汪鹏程·2020-06-21 12:37

HPE Aruba发布调查研究报告 《物联网：今天和明天》

全球无线网络服务商HPEAruba近日发布了一份关于物联网的调查研究报告《物联网：今天和明天》。据该报告结果显示，到2019年，亚太地区达86%的企业机构都将以某种形式加入物联网部署的行列。报告显示，企业机构部署物联网的特点是：一方面，遍布全球各个企业、工业、医疗保健、零售和市政部门的机构有意愿采用物联网来提升业务效率和创新水平；而另一方面，Aruba的研究成果也提出警告表示，把成千上万的“物”连
weixin_34376986·2020-06-21 11:10

HPE和Aruba发布首个综合网络解决方案 剑指思科

惠普企业（HPE）宣布完成30亿美元收购无线厂商ArubaNetworks不到9个月之后，这家公司将发布首个集成网络技术，将目标指向了思科的企业市场份额。
weixin_34365635·2020-06-21 11:06

深谙数字化改革 Aruba何以引领网络新时代？

前不久，HPE中国围绕物联网、人工智能、智慧城市、区块链等新兴科技概念，全方位展示了其在物联网、智能边缘、高性能计算等前沿领域的最新技术应用和解决方案。
weixin_34290096·2020-06-21 11:53

30个常见的大数据面试题 让你的薪资提升一个等级

经历了水深火热的大数据学习，终于拨开云雾见天明了，但你离成功总是还差了一步，那就是拿到大数据工程师的Offer。
weixin_34284188·2020-06-21 11:21

HPE战略调整在中国市场初见成效

HPE战略调整在中国市场初见成效“新华三”的重组即将完成之际，杭州华三通信技术有限公司(简称“华三通信”)与紫光华山科技有限公司(简称“紫光华山”)联合宣布向市场推出全新H3C品牌的服务器与存储产品。
weixin_34227447·2020-06-21 11:37

写给初学大数据的你，从零开始学习大数据开发的完整学习路线

我自己整理的一份最新的大数据进阶资料和高级开发教程，大数据学习群：199加上【427】最后加上210就可以找到组织
weixin_34191845·2020-06-21 11:46

H3C笔试+面试

同时，新华三也是HPE®品牌的服务器、存储和技术服务的中国独家提供商。都是做网络啊，服务器什么的，这个……我就没有优
我有我个性·2020-06-21 08:00

大数据学习之python语言能做什么？

很多学习大数据的朋友，尤其是学习数据分析的朋友，大部分选择从python入门，但很多人开始着手学习的时候，都不够全面了解python的作用，，帮助大家快速的了解到python的应用范围，帮助学习的小伙伴全面认识python1、传说中的WEB开发在国内，豆瓣一开始就使用Python作为web开发基础语言，知乎的整个架构也是基于Python语言，这使得web开发这块在国内发展的很不错。尽管目前Pyth
安靜@忧伤·2020-06-21 06:27

大数据工程师轻松拿年薪50W方法诀窍

我大数据从业者，建了一个大数据资源共享群593188212每天分享大数据学习资料和学
Arry85·2020-06-21 06:13

Kylin单机集成CDH

分享之前我还是要推荐下我自己创建的大数据学习资料分享群232840209，不管你是小白还是大牛
青春浪子·2020-06-21 04:29

Istio - 集成ELK - HPE_INVALID_METHOD, lumberjack protocol error

之前在K8s平台，采用的ELK（Elasticsearch+Logstash+Kibana+Filebeat）的日志采集与展示方案，K8s方案方案1在每个K8sNode主机上设置DemonSet->Filebeat，通过Filebeat收集所有当前Node上pod容器中的stdout日志输出，需要每个应用配置stdout日志输出（在springbootlog4j2中需要配置console日志输出）
罗小爬EX·2020-06-21 03:19

大数据学习02之基于vbox 6.0搭建ubuntu 18.04伪分布式Hadoop 2.9.2集群

目录概要说明下载hadoop安装hadoop启动hadoop集群参考资料概要说明先看下效果HDFS管理界面Yarn管理界面在上一篇博客大数据学习01之基于vbox6.0搭建ubuntu18.04伪集群的基础上安装伪分布式
moble_xie·2020-06-21 03:04

大数据学习01之基于vbox 6.0搭建ubuntu 18.04伪集群

目录概要说明安装vbox安装虚拟机安装Ubuntu设置共享目录设置共享目录安装增强功能挂载目录设置静态ip安装JDKclone多个虚拟机设置虚拟机的主机名和静态ip配置ssh免密登录总结参考资料概要说明先看下效果mac上用vbox6.0搭建基于Ubuntu18.04的3台虚拟机，并在虚拟机上安装jdk，设置静态ip，各个虚拟机之间配置ssh免密登录等，windows大同小异。安装vbox网上下载，
moble_xie·2020-06-21 03:04

大数据学习03之hadoop第一个MR程序wordcount单词统计

目录概要说明新建hadoop客户端运行wordcount创建HDFS数据目录创建一个单词文件，并上传到HDFS运行wordcount程序参考资料概要说明wordcount运行以后在yarn上的job任务。新建hadoop客户端我们可以使用集群中任何一台机器作为客户端，这样来说有几个弊端，第一hadoop总是优先读写离自己最近的节点，然后同步到其他的节点，这样导致该节点的压力倍增，第二容易误删文件，
moble_xie·2020-06-21 03:04

大数据容器化，头部玩家尝到了甜头？

尤其是当MapR被HPE收购，Cloudera公司股票持续跌成狗，使得这种声音进一步放大。其实，大数据的需求一直在，只是传统的大数据实现系统需要考虑重新构建。
华为云开发者社区·2020-06-21 02:04

大数据程序员平均薪资25k?

大数据程序员岗位薪资很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：45
小迪和夫人·2020-06-21 02:53

大数据学习之路（一）MapReduce

大数据学习任重而道远，需要学习的东西很多。比如语言，Java，Scala，python，shell，甚至需要C,C++，头大中。
菜鸟也有梦想啊·2020-06-21 01:24

【大数据】Hadoop大数据学习路线

Hadoop大数据学习路线作为目前主流的大数据处理技术，市场上很多公司的大数据业务都是基于Hadoop开展，而且对很多场景已经具有非常成熟的解决方案。
debimeng·2020-06-21 00:16

大数据学习笔记之HBase（三）：HBase API使用、HBase与Hive相关、HBase shell

文章目录二十、HBaseAPI的使用20.1、解压Maven离线仓库到指定目录20.2、新建Eclipse的MavenProject，添加pom.xml的dependency如下：20.3、编写HBaseAPI代码二十一、文件格式的说明21.1、tsv格式的文件：字段之间以制表符\t分割21.2、csv格式的文件：字段之间以逗号,分割二十二、HBase的MapReduce的调用22.1、查看HBa
Leesin Dong·2020-06-21 00:36

大数据学习笔记之HBase（六）：HBase表类型的设计、预分区、rowkey的设计技巧

文章目录三十八、HBase表类型的设计38.1、短宽38.2、高瘦38.3、短宽-高瘦的对比38.3.1、短宽38.3.2、高瘦三十九、HBase的预分区39.1、为何要预分区？39.2、如何预分区？39.3、如何设定预分区？39.3.1、手动指定预分区39.3.2、使用16进制算法生成预分区39.3.3、分区规则创建于文件中39.3.4、使用JavaAPI创建预分区四十、HBase的rowKey
Leesin Dong·2020-06-21 00:36

大数据学习的必备五大核心技术

大数据系统的技术庞大而复杂。基础技术包括数据采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等技术类别和不同的技术层次。首先，本文给出了一个通用的大数据处理框架，主要分为以下几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。一、数据采集和预处理对于来自不同来源的数据，包括移动互联网数据、社交网络数据等，这些结构化和非结构化的海量数据是分散
congge0629·2020-06-21 00:43

大数据学习 flume

###################Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中一般的采集需求，通过对flume的简单配置即可实现Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据
chenzhai7583·2020-06-21 00:40

大数据学习之Flume——02Flume安装及配置文件

一.flume安装:将flume安装包解压并到指定目录flume-env.sh.template重命名为flume-env.shflume-env.sh文件中,配置JAVA_HOME的路径配置flume的环境变量验证:执行flume-ngversion:如果显示flume的版本信息,则说明flume就安装成功了二.单节点配置1.单节点的配置文件将配置信息写到node02节点的~/dirflume目
Jiang锋时刻·2020-06-21 00:58

大数据学习之Flume——01Flume基础介绍

一.Flume的简介1.Flume定义flume作为cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume初始的发行版本目前被统称为FlumeOG（originalgeneration），属于cloudera。但随着FLume功能的扩展，FlumeOG代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在FlumeOG的最后一个发行版本0.9.4.中，日志
Jiang锋时刻·2020-06-21 00:58
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他