hadoop大数据

Hadoop基本知识点总结

内容参考链接：慕课网--Hadoop大数据平台架构基础篇Google大数据技术（3大）：MapReduce、BigTable、GFS革命性的变化成本降低，能用Pc机，就不用大型机和高端存储。
花生花二三说·2020-06-21 18:48

windows10系统通过docker搭建hadoop大数据集群（包括hive,zookeeperkafka,spark）

1、百度云下载自己搭建的hadoop_spark_master.tar和hadoop_spark_slaver.tar，分别为hadoop的master镜像和slaver镜像。2、docker加载镜像：dockerload-iC:\Users\hasee\Desktop\hadoop_spark_master.tardockerload-iC:\Users\hasee\Desktop\hadoop
guolinye·2020-06-21 15:24

【大数据】Hadoop大数据学习路线

Hadoop大数据学习路线作为目前主流的大数据处理技术，市场上很多公司的大数据业务都是基于Hadoop开展，而且对很多场景已经具有非常成熟的解决方案。
debimeng·2020-06-21 00:16

使用Kylin构建企业大数据分析平台的4种部署方式

根据官网介绍，其实部署Kylin非常简单，称为非侵入式安装，也就是不需要去修改已有的Hadoop大数据平台。
anyingpou5339·2020-06-20 23:21

零基础搭建Hadoop大数据处理环境

由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMwareWorkstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知识介绍。由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMwareWorkstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到
程序猿旺财·2020-06-20 23:27

MapReduce、Hbase、HDFS基础知识合集

Hadoop大数据平台，相对于传统数据仓库，有以下优势：完全分布式，可以采用廉价机器搭建集群，完全可以满足海量数据的存储需求。弱化数据格式，数据模型和数据存储分离，可以满足对异构数据的分析需求。
阿祥是刺刺·2020-06-09 18:54

视频教程-Spring零基础入门-Java

著有书籍《Hadoop大数据技术开发实战》《Spark大数据分析实战》。
weixin_34420169·2020-05-28 10:00

大数据 Hadoop（一）概念与搭建环境

大数据Hadoop大数据概念大数据由巨型数据集组成，这些数据集大小常超出人类在可接受时间下的收集、庋用、管理和处理能力。
傅二毛·2020-05-15 17:57

2020系统综合实践4 Dokcer专题实践 - 负载均衡、JavaWeb、Hadoop大数据集群

使用Docker-compose实现Tomcat+Nginx负载均衡nginx反向代理原理使用nginx代理tomcat项目结构├──docker-compose.yml├──nginx│└──default.conf├──tomcat1│└──index.html├──tomcat2│└──index.html└──tomcat3└──index.html为了区分是哪一个服务器，为3只tomca
zaqny·2020-05-10 21:00

Hadoop大数据入门到实战（第七节）- Mapreduce的使用

MapReduce是Hadoop的核心功能之一，我们首先需要弄明白MapReduce到底是个啥，是干啥子用滴才行。什么是MapReduceMapReduce是一种可用于数据处理的编程模型，我们现在设想一个场景，你接到一个任务，任务是：挖掘分析我国气象中心近年来的数据日志，该数据日志大小有3T,让你分析计算出每一年的最高气温，如果你现在只有一台计算机，如何处理呢？我想你应该会读取这些数据，并且将读取
MasterXiao·2020-04-12 08:22

大数据领域三个大的技术方向

大数据领域三个大的技术方向：1、Hadoop大数据开发方向2、数据挖掘、数据分析&机器学习方向3、大数据运维&云计算方向大数据学习什么Python：Python的排名从去年开始就借助人工智能持续上升，现在它已经成为了语言排行第一名
烽火程序猿·2020-04-09 16:33

学习hadoop大数据基础框架需要什么基础

什么是大数据？进入本世纪以来，尤其是2010年之后，随着互联网特别是移动互联网的发展，数据的增长呈爆炸趋势，已经很难估计全世界的电子设备中存储的数据到底有多少，描述数据系统的数据量的计量单位从MB（1MB大约等于一百万字节）、GB（1024MB）、TB（1024GB），一直向上攀升，目前，PB（等于1024TB）级的数据系统已经很常见，随着移动个人数据、社交网站、科学计算、证券交易、网站日志、传感
左手中的倒影·2020-04-07 11:27

第二节 Hadoop下WordCount以及单机安装

【Hadoop大数据基础】##第二节Hadoop安装与使用2.1Hadoop简介2.2MR实现第一节作业2.3HDFS分布式存储系统2.4单机安装2.5分布式集群搭建2.6课后作业2.1Hadoop简介在文章的时候已经讲解了
小张哥哥·2020-04-04 20:11

第九届中国Hadoop大数据峰会在京开幕

3月25日,第九届中国Hadoop大数据峰会(CHINAHADOOPSUMMIT)在永泰福朋喜来登酒店胜利闭幕。会议的口号是：跨界融合，软硬结合。
雪领新媒体·2020-03-28 15:05

DKHadoop大数据可视化平台监控功能深度解析

在上一篇的文章中已经明确说过DKM作为大快发行版DKhadoop的管理平台，它的四大功能分别是：管理功能，监控功能，诊断功能和集成功能。管理功能已经给大家列举了一些做了说明，今天就DKM平台的监控功能再给大家做细致的分享分析。DKM提供了许多监控功能，用于检测集群健康，组件性能以及集群中运行的作业的性能和资源需求。具体包括以下监控功能：1、服务监控：查看服务和角色实例级别健康检查的结果，并通过图表
左手中的倒影·2020-03-28 12:21

使用Kyligence Robot诊断Apache Kylin系统故障

作者：李栋编辑：Sammi众所周知，ApacheKylin提供对PB规模数据集进行高速OLAP分析的能力，查询性能可以达到秒级甚至亚秒级，是Hadoop大数据生态圈的重要一员。
Kyligence·2020-03-27 23:46

Hadoop大数据系列一 整体介绍

基本组件HDFS:Hadoop'sDistributedFileSystemHadoopYARN:AframeworkforjobschedulingandclusterresourcemanagementHadoopMapReduce:AYARN-basedsystemforparallelprocessingoflargedatasets.扩展组件HBase:Ascalable,distrib
adasfasfasrry·2020-03-27 15:45

Hadoop大数据平台架构与实践 | MapReduce

课程地址：MapReduce官方文档：MapReduceTutorial参考文献：MapReduce原理与设计思想目录0、什么样的计算任务可进行并行化计算？1、MapReduce的原理2、MapReduce运行原理3、上升到构架-自动并行化并隐藏低层细节4、MapReduce的主要设计思想和特征0、什么样的计算任务可进行并行化计算？并行计算的第一个重要问题是如何划分计算任务或者计算数据以便对划分的
拾壹北·2020-03-26 17:47

[Ambari]快速部署Hadoop大数据环境

Ambari——大数据平台的搭建利器http://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/使用Ambari快速部署Hadoop
葡萄喃喃呓语·2020-03-18 04:49

实战｜Hadoop大数据集群搭建

一个执着于技术的公众号前言今天来为粉丝圆梦啦话不多说，咱直接进入实战环节实验环境：主机名IP地址角色qll251192.168.1.251NameNodeqll252192.168.1.252DataNode1qll253192.168.1.253DataNode2所需软件包：hadoop-2.9.2.tar.gzjdk-8u241-linux-x64.tar.gz软件包下载地址：Hadoop软件
开源Linux·2020-03-12 19:33

Hadoop大数据平台架构与实践 | HDFS

课程地址：HDFS基本概念HDFS官方文档目录1、为什么需要分布式文件系统2、HDFS对文件的读取方式：流处理访问模式3、HDFS对文件的存储和校验方式：分片冗余存储4、HDFS对文件的校验方式：本地校验5、HDFS的概念6、HDFS的关键运作机制7、如何使用HDFSHDFS作为Hadoop的核心部分，是Hadoop中MapReduce框架的存储层。1、为什么需要分布式文件系统当文件的大小超过了单
拾壹北·2020-03-11 07:43

常见的Hadoop大数据架构介绍

1.概述随着互联网的快速普及，全球数据呈现出快速增长、海量集聚的特点。运用大数据技术对这些数据进行分析，使得人们的生产生活方式都发生了许多变化。数据分析虽然隐藏在业务系统背后，但是其在大数据技术体系中具有非常重要的作用，数据分析的结果对公司决策、业务发展、企业战略定位有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据分析与数据探索等关注度越来越高，但是在Hadoop、Spark、Storm等
garyond·2020-03-08 06:43

北京9月Hadoop大数据平台开发与案例分析高级工程师研讨会

大数据建模与分析挖掘应用实战培训班1.培训简介大数据建模与分析挖掘技术已经逐步地应用到新兴互联网企业（如电子商务网站、搜索引擎、社交网站、互联网广告服务提供商等）、银行金融证券企业、电信运营等行业，给这些行业带来了一定的数据价值增值作用。本次课程面向有一定的数据分析挖掘算法基础的工程师，带大家实践大数据分析挖掘平台的项目训练，系统地讲解数据准备、数据建模、挖掘模型建立、大数据分析与挖掘算法应用在业
AICloud·2020-03-07 13:10

从零开始Hadoop集群环境搭建

本篇文章将从头开始介绍Hadoop大数据平台的一系列搭建工作，主要是搭建的具体操作步骤，思想方面涉及甚少，可以自行补充虚拟机下载安装我使用的是VMwarestation12，下载地址为链接：http:/
听城·2020-03-04 14:06

苏州10月Hadoop大数据平台开发与案例分析高级工程师研讨会

1.课程介绍1.需求理解Hadoop设计之初的目标就定位于高可靠性、高可拓展性、高容错性和高效性，正是这些设计上与生俱来的优点，才使得Hadoop一出现就受到众多大公司的青睐，同时也引起了研究界的普遍关注。对电信运营商而言,用户上网日志包含了大量用户个性化需求、喜好信息,对其进行分析和挖掘,能更好地了解客户需求。传统经营分析系统小型机加关系型数据库的架构无法满足对海量非结构化数据的处理需求,搭建基
AICloud·2020-03-02 03:03

KAP提升国内领先券商运营管理及优化能力

作者：冯礼编辑：Sammi摘要：某国内领先券商依托Hadoop大数据技术，将Kyligence的KAP产品整合在运维分析系统内，为运维管理人员提供便捷高效的数据访问和分析能力，有效实现了多个平台的高效运营管理
Kyligence·2020-02-28 02:10

杭州7月Hadoop大数据平台开发与案例分析高级工程师研讨会

一、课程介绍1.需求理解Hadoop设计之初的目标就定位于高可靠性、高可拓展性、高容错性和高效性，正是这些设计上与生俱来的优点，才使得Hadoop一出现就受到众多大公司的青睐，同时也引起了研究界的普遍关注。对电信运营商而言,用户上网日志包含了大量用户个性化需求、喜好信息,对其进行分析和挖掘,能更好地了解客户需求。传统经营分析系统小型机加关系型数据库的架构无法满足对海量非结构化数据的处理需求,搭建基
AICloud·2020-02-21 01:45

Hadoop大数据 --HDFS

ApacheHadoop软件库是一个框架，允许在集群服务器上使用简单的编程模型对大数据集进行分布式处理。Hadoop被设计成能够从单台服务器扩展到数以千计的服务器，每台服务器都有本地的计算和存储资源。Hadoop的高可用性并不依赖硬件，其代码库自身就能在应用层侦测并处理硬件故障，因此能基于服务器集群提供高可用性的服务。HDFS：Hadoop生态圈的基本组成部分是Hadoop分布式文件系统（HDFS
菜菜920·2020-02-17 12:00

成都8月Hadoop大数据平台开发与案例分析高级工程师研讨会

Hadoop大数据平台开发与案例分析高级工程师研讨会1.课程介绍1.需求理解Hadoop设计之初的目标就定位于高可靠性、高可拓展性、高容错性和高效性，正是这些设计上与生俱来的优点，才使得Hadoop一出现就受到众多大公司的青睐
AICloud·2020-02-11 16:18

Hadoop大数据处理框架简介

Hadoop是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由Yahoo的工程师DougCutting和MikeCafarella在2005年合作开发。后来，Hadoop被贡献给了Apache基金会，成为Apache基金会的开源项目。Hadoop系统简介Hadoop是一种分析和处理大数据的软件平台，是一个用Java语言实现的Apache的开源软件框架，在大量计算机组成的集群中实现了
yoku酱·2020-02-09 04:09

第一节 会跳舞的大象(什么是Hadoop大数据)

【Hadoop大数据基础】##【第一课】会跳舞的大象(什么是Hadoop大数据)1.1什么是大数据1.2Hadoop的由来1.3为什么要使用Hadoop1.4Hadoop的生态圈1.5Hadoop的应用
小张哥哥·2020-02-08 11:56

阿里云ECS跨地域整站容灾操作指南

一、概述混合云容灾服务（HDR）是阿里云提供的低成本高性能业务连续性保障的服务，可以为企业内部关键应用，互联网应用，乃至Hadoop大数据集群提供容灾服务。
阿里云官网·2020-02-08 03:54

Apache Kylin 概览

扩展阅读：ApacheKylin查询流程源码剖析-可能是全网最深度的ApacheKylin查询剖析-一、什么是KylinApcheKylin是Hadoop大数据平台上的一个开源OLAP引擎。
牛肉圆粉不加葱·2020-02-07 08:20

阿里云ECS跨地域整站容灾操作指南

一、概述混合云容灾服务（HDR）是阿里云提供的低成本高性能业务连续性保障的服务，可以为企业内部关键应用，互联网应用，乃至Hadoop大数据集群提供容灾服务。
阿里云官网·2020-02-06 09:11

DKhadoop大数据平台基础框架方案概述

大数据作为当下最为热门的事件之一，其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据，那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源，已经是越来越得到国家和企业的高度重视，我们从大数据被上升到国家战略层面就可窥见一二！现在关于大数据的知识分享可以说已经是铺天盖地了，作为新手入门想查询的信息基本都可以通过网络查询到一些。我对的大数据的了解其实也不是特别丰富，毕竟学习的时间也
左手中的倒影·2020-02-05 09:40

Hadoop大数据系列三 - MapReduce

MapReduce：分布式计算框架MapReduceisasoftwareframeworkforeasilywritingapplicationswhichprocessvastamountsofdata(multi-terabytedata-sets)in-parallelonlargeclusters(thousandsofnodes)ofcommodityhardwareinareliab
adasfasfasrry·2020-02-02 21:18

Hadoop学习-基础篇

Hadoop大数据平台与架构功能与优势Hadoop是大数据存储与分析的架构，是分布式存储和分布式计算平台两个核心组成HDFS：分布式文件系统，用于存储海量的数据MapReduce：并行处理框架，实现任务的分解和调度应用可用于搭建数据仓库
I_李岩·2020-01-19 21:30

数据分析大作业

专业方向目前初步定为向大数据领域的数据挖掘、数据分析、和机器学习方向，同时Hadoop大数据开发也是我想要发展方向，本科阶段希望能够熟练掌握这些技术。未来最可能从事大数据分析方面的工作。
Fristbule·2020-01-14 13:00

hadoop 大数据框架

1、hadoop大数据框架Hadoop是一个应用Java语言实现的软件框架，廉价的计算机组成的集群运行海量数据的分布式并行计算框架，支持上千个节点和PB级别的数据。
foremost·2020-01-10 11:00

一站式Hadoop大数据平台『星环科技』获得1.55亿B轮融资

3月1日消息，一站式Hadoop大数据平台星环科技宣布已完成1.55亿元的B轮融资，由上海瑞力投资、深创投、中小企业发展基金、基石资本等投资。
磊Ray·2020-01-06 01:52

第九届中国Hadoop技术峰会2017 北京站通知

中国Hadoop大数据峰会（CHS）的前身是Hadoop中国云计算大会（HadoopinChina，HiC）。
活动家·2020-01-05 02:47

使用Docker搭建Hadoop集群环境

最近一直在研究大数据，这里记录一下自己创建Docker集群并且使用ansible搭建Hadoop大数据平台的过程，其中主要借鉴了一下网上的一篇较为全面的文章，不过到时遇到蛮多坑的，所以将那篇文章做了改动
行书以鉴·2020-01-03 12:58

Hadoop大数据平台架构与实践-基础篇

1、如何对大数据进行存储与分析呢？系统瓶颈：存储容量、读写速率、计算效率。。。无法满足用户需求；针对以上，Google提出三大关键技术解决大规模数据的存储和处理：MapReduce、BigTable、GFS；革命性的变化1：成本降低、能用PC机、就不用大型机和高端存储；（当时对于谷歌来说，数据都是网页数据，不同于银行都是真金白银的数据，所以他的目的在于成本降低。能用PC机就不用大型机和高端机存储。
Hey_Shaw·2020-01-03 12:59

Hadoop分布式事务处理新突破

内容从Hadoop技术与发展概览到最新Power平台的发布，几乎涵盖了当今中国业内Hadoop大数据技术的所有热点。
磊Ray·2019-12-31 12:14

开源大数据平台MapR再获融资5千万美元，17年初上市

编者按：MapR是专注于数据安全优化的Hadoop大数据分析平台。MapR是美国加州圣何塞市的一家企业管理软件公司，专注于数据安全优化的Hadoop大数据分析平台。
鸵鸟创投媒体·2019-12-28 14:22

0基础搭建Hadoop大数据处理-编程

Hadoop的编程可以是在Linux环境或Winows环境中，在此以Windows环境为示例，以Eclipse工具为主（也可以用IDEA）。网上也有很多开发的文章，在此也参考他们的内容只作简单的介绍和要点总结。Hadoop是一个强大的并行框架，它允许任务在其分布式集群上并行处理。但是编写、调试Hadoop程序都有很大难度。正因为如此，Hadoop的开发者开发出了HadoopEclipse插件，它在
欢醉·2019-12-28 11:31

顶级项目孵化的故事系列——Kylin的心路历程

本文目录现在已经是名满天下的ApacheKylin，是Hadoop大数据生态系统不可或缺的一部分，要知道Kylin在项目的早期，可是以华人为主的项目团队，一路披荆斩棘，经过几年的奋斗，才在Apache基金会牢牢的巩固了自己的位置
IT大咖说·2019-12-26 12:37

Hadoop大数据通用处理平台

1.简介Hadoop是一款开源的大数据通用处理平台，其提供了分布式存储和分布式离线计算，适合大规模数据、流式数据(写一次,读多次)，不适合低延时的访问、大量的小文件以及频繁修改的文件。*Hadoop由HDFS、YARN、MapReduce组成。Hadoop的特点：1.高扩展(动态扩容)：能够存储和处理千兆字节数据(PB)，能够动态的增加和卸载节点，提升存储能力(能够达到上千个节点)2.低成本：只需
哦00·2019-12-23 13:13

为什么IT行业人员纷纷转型hadoop大数据工程师

随着，各大高校纷纷开设大数据专业以及各大企业纷纷高薪聘请大数据开发专业人才，促使转行的人越来越多，那么对于IT领域的从业人员为何纷纷转型hadoop大数据工程师呢？
A尚学堂Nancy老师·2019-12-20 02:05

从零开始学Hadoop大数据分析之ZooKeeper初识

导言前面三天连续学习了hadoop环境配置，以及hdfs实践，这都是hadoop大数据的起步。为了搭建高可用的hdfs接下来就需要ZooKeeper出场。
渝聆墨·2019-12-17 22:08
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他