***大数据框架***

三.Hadoop和Spark联系与区别

Spark联系与区别https://blog.csdn.net/forward__/article/details/78770466解决问题的层面不一样首先，Hadoop和ApacheSpark两者都是大数据框架
愿风去了·2020-08-19 20:29

HADOOP和spark的关系？ spark能否替代Hadoop？？？

如下图所示：Hadoop和Spark两者都是大数据框架，但是各自存在的目的不尽相同。
_missTu_·2020-08-19 07:48

Zookeeper学习笔记

该框架相当于大数据框架中的润滑剂。是大数据大数据开发工程师必须会的框架之一。
超级无敌强·2020-08-19 02:55

kafka线上环境部署（集群环境规划）

操作系统的选型谈到操作系统，很多人可能会问：Kafka不是JVM系的大数据框架吗？而Java又是跨平台的
Felix_CB·2020-08-19 00:27

Akka和VertX比较

Akka和VertX都是scala写大数据框架的极其赞的technologyAkka是用来写高concurrent，distributed，和faulttolerantevent-driven的一个工具箱
he_wolf·2020-08-18 17:20

Hadoop 工具的认识

2018-5-18【来源网络】在众多大数据框架中，Impala定位类似Hive，不过Impala更关注即席查询SQL的快速解析，对于执行时间过长的SQL，仍旧是Hive更合适。
cnz98144·2020-08-18 14:40

大数据Hadoop最新版实战Linux Ubuntu 16.04安装与运行测试例子 ...

大数据Hadoop运行环境，依赖于JavaJDK，核心的大数据框架基于Java开发的，目前互联网公司、电商、医疗、银行、医院等都有大数据应用，开源Hadoop生态统治了大数据领域，基本没有对手。
weixin_34349320·2020-08-17 16:42

Spark从入门到放弃---RDD

从一个野生程序猿的角度去理解，作为大数据时代的一个准王者，Spark是一款主流的高性能分布式计算大数据框架之一，和MapReduce，Hive，Flink等其他大数据框架一起支撑了大数据处理方案的一片天空
凝望远处的天鹅·2020-08-17 00:00

2分钟读懂大数据框架Hadoop和Spark的异同

解决问题的层面不一样首先，Hadoop和ApacheSpark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施:它
weixin_34218890·2020-08-16 21:15

pyspark对Mysql数据库进行读写

pyspark是Spark对Python的api接口，可以在Python环境中通过调用pyspark模块来操作spark，完成大数据框架下的数据分析与挖掘。
FTDdata·2020-08-13 14:12

大数据分析工程师入门5-HIVE基础

在大数据框架中，提供类SQL语言支持的就是Hi
gongyouliu01·2020-08-11 05:00

Flume和sqoop的搭建及简单使用

flume是实时收集的一种大数据框架sqoop是一个数据转换的大数据框架，它可以将关系型数据库，比如mysql,里面的数据导入到hdfs和hive中，当然反过来也可以一、Flume的搭建1、将/opt/
weixin_30482383·2020-08-11 04:01

大数据福利篇：大数据集成环境虚拟机的下载与使用(仅供个人学习使用)

内容简介一、集成环境虚拟机简介二、集成环境虚拟机包含大数据框架清单三、集成环境虚拟机下载四、集成环境虚拟机安装与配置步骤五、总结一、集成环境虚拟机简介前段时间有个小伙伴和我说在学习大数据的路上他认为最大的绊脚石是安装和配置各种大数据框架
萧邦主·2020-08-10 20:59

大数据推荐系统（5）Mahout

大数据推荐系统算法（1）大数据框架介绍大数据推荐系统算法（2）lambda架构大数据推荐系统算法（3）用户画像大数据推荐系统（4）推荐算法大数据推荐系统（5）Mahout大数据推荐系统（6）Spark大数据推荐系统
礼拜天吃芋圆·2020-08-10 07:00

spark资源调度源码浅谈

一直觉得spark是一个不错的大数据框架，那么spark怎么解决资源调度的问题？下面我们简单梳理一下spark的资源调度流程。首选，集群
壮志-凌云·2020-08-09 01:21

hive SQL语句执行过程

hiveSQL语句执行过程背景了解：hive数仓数据存储于Hadoop大数据框架的HDFS文件系统中，以文件的方式存储，hive是建立在Hadoop之上的数仓工具，hive将文件数据映射成结构性数据-表
松子-招财猫·2020-08-09 01:09

C#码农的大数据之路 - 使用C#编写MR作业

而且能找到的与大数据框架如Hadoop等使用介绍的文章也都以Java语言作为示例居多。许多C#er为了转投大数据怀抱也开始学习Java。
dotNET跨平台·2020-08-05 14:50

大数据框架：Spark vs Hadoop vs Storm

大数据时代，TB级甚至PB级数据已经超过单机尺度的数据处理，分布式处理系统应运而生。知识预热「专治不明觉厉」之“大数据”；大数据生态圈及其技术栈；关于大数据的四大特征（4V）海量的数据规模（Volume）：Quantifiable（可量化）高速的数据流转和动态的数据体系（Velocity）：Measurable（可衡量）多样的数据类型（Variety）：Comparable（可对比）巨大的数据价值
weixin_30265103·2020-08-04 03:27

大数据框架Hadoop——基本概念了解

hadoop是什么？WhatIsApacheHadoop?TheApache™Hadoop®projectdevelopsopen-sourcesoftwareforreliable,scalable,distributedcomputing.hadoop主要解决的三大问题：海量数据的存储（HDFS）海量数据的分析（MapReduce）资源管理调度（YARN）作者：DougCutting受Goog
夏雨薇安·2020-08-01 13:52

大数据框架总结

hdfs1写数据流程2HDFS读数据流程13HDFS副本节点选择4HDFSnn2nn镜像文件以及编辑日志的工作机制注意此类机制都是先更新编辑日志，再更新内存文件block元数据。checkpoint触发默认条件是一小时或者满足一百万条操作日志，肯定可以修改。5HDFSdatanode工作机制yarn1整体架构图_12yarn工作机制mrhadoop1hadoop--map工作流程2hadoop--
longlovefilm·2020-08-01 13:08

大数据框架hadoop之FS基本操作

1读数据1.1使用HadoopURL读数据想要使java识别出hdfs开头的URL标示需要一点额外的工作要做：通过URL的setURLStreamHandlerFactory()方法为java设置一个FSUrlStreamHandlerFactory。这个方法在每个JVM中只能调用一次，所以它通常会被放在一个staticblock中执行（如下所示），但是如果你的某部分程序（例如一个你无法修改源代码
lingdian23·2020-08-01 13:19

Hadoop大数据框架研究（5）——ArcGIS Enterprise（Linux）之GeoAnalyticsServer的集群环境部署

近期对hadoop生态的大数据框架进行了实际的部署测试，并结合ArcGIS平台的矢量大数据分析产品进行空间数据挖掘分析。本系列博客将进行详细的梳理、归纳和总结，以便相互交流学习。
gisxy·2020-08-01 12:53

大数据学习笔记：大数据技术框架和Hadoop生态系统

大数据技术框架Hadoop生态系统Hadoop是目前得到企业界验证的大数据框架，包括以下特点：源代码开源社区活跃、参与者众多涉及分布式存储和计算的方方面面Flume（非结构化数据收集）Cloudera开源的日志收集系统
GaryBigPig·2020-08-01 12:43

Hadoop 的核心（1）—— HDFS

Hadoop是一个开源的大数据框架Hadoop是一个分布式计算的解决方案Hadoop=HDFS（分布式文件系统）+MapReduce（分布式计算）Hadoop的两个核心：HDFS分布式文件系统：存储是大数据技术的基础
王大鱼·2020-08-01 11:09

Hadoop1-Hadoop简介

简介Hadoop的出现，解决了大数据的存储/计算两大难题，传统的大数据框架包括三大组件HDFS,HBase,MapReduce，分别对应Google的三篇论文（GFS，BigTable，MapReduce
sheldonwong·2020-08-01 09:37

Hadoop大数据框架学习（配置启动篇）

Hadoop大数据框架学习（配置启动篇）大数据的特点：Volume(大量)：数据量到达PB,EB级别Velocity(高速):要求处理海量数据效率高速度快Variety(多样)：数据的样化。
不谈的抹布吸·2020-08-01 09:28

一、Hadoop框架介绍

我们就开始我们的fromzerotohero大数据系列的博客编写，今天是第一篇，开篇为《Hadoop框架介绍》，Hadoop系列将会收录在《fromzerotohero（Hadoop篇）》专栏中，后续还会继续推出大数据框架的其他组件系列
象在舞·2020-08-01 09:21

大数据推荐系统算法（3） 用户画像

大数据推荐系统算法（1）大数据框架介绍大数据推荐系统算法（2）lambda架构大数据推荐系统算法（3）用户画像大数据推荐系统（4）推荐算法大数据推荐系统（5）Mahout大数据推荐系统（6）Spark大数据推荐系统
礼拜天吃芋圆·2020-07-30 03:34

GeoWave0.9.8开发人员指南

开发人员指南官方英文地址：http://s3.amazonaws.com/geowave/0.9.8/docs/devguide.html介绍什么是GeoWaveGeoWave是一个开源库，用于在排序的键值数据存储和流行的大数据框架之上存储
hsg77·2020-07-29 19:16

大数据测试学习笔记之基准测试HiBench

简介HiBench是一套基准测试套件，用于帮助我们评估不同的大数据框架性能指标（包括处理速度、吞吐等）的负载指标，可以评估Hadoop、Spark和流式负载等，具体的工作负载有：SortWordCountTeraSortSleepSQLPageRankNutchindexingBayesKmeansNWeightenhancedDFSIO
zhusongziye·2020-07-29 03:50

大数据就业方向有哪些？

这意味着从大数据框架Hadoop开始。它是由ApacheFounda
肖晓晓·2020-07-29 01:06

从Hadoop到Spark，看大数据框架的前世今生！

谈到大数据框架，不得不提Hadoop和Spark，今天我们进行历史溯源，帮助大家了解Hadoop和Spark的过去，感应未来。在Hadoop出现前人们采用什么计算模型呢？
yoku酱·2020-07-28 23:09

apache arrow_Apache Arrow和Java：闪电般的大数据传输速度

大多数大数据框架使用随机策略为计算机分配分区。如果每个计算作业都
cunfu6353·2020-07-27 21:26

超详细的大数据学习资源大全！

本资源类型主要包括：大数据框架、论文等实用资源集合。1.关系数据库管理系统(RDBMS)关系数据库管理系统
weixin_34221036·2020-07-27 13:53

Docker 在分布式和大数据框架中的应用

Docker是一个用来编译、迁移和执行分布式应用程序的开源容器引擎，这种容器技术为开发人员和运维人员带来了一种全新的体验。程序的发布方式可以变得非常简单，程序的运行环境也可以拥有系统级别的安全隔离。从Docker开源社区的火热程度大家就可以体会到，Docker为程序的发布和运行带来了极大的便利。本文将从实际应用出发，介绍如何将Docker集成到分布式和大数据产品中。简介Docker容器技术也是一种
红豆和绿豆·2020-07-27 13:14

大数据学习笔记

如果我们仔细去研究的话，会发现大数据的整个体系和生产制造实在是太像了~1.大数据框架以前本地运行的应用就像是封建时代的手工作坊，随后发展起来的大工业则是基于供应链的。
IE06·2020-07-16 01:42

Spark SQL 本地开发环境搭建和案例分析

我的Scala基础教程1_SparkAPIs的演变SparkSQL，作为ApacheSpark大数据框架的一部分，主要用于结构化数据处理和对Spark数据执行类SQL的查询。
Kartty_·2020-07-15 17:11

初识大数据——20180608

90%的大数据框架都是java写的MySQL：SQLonHadoopLinux：大数据的框架安装在Linux操作系统上二、需要学什么第一方面：大数据离线分析一般处理T+1数据Hadoop2.X：（common
会敲代码的鲨鱼·2020-07-15 13:27

大数据推荐系统（7）推荐系统与Lambda架构

大数据推荐系统算法（1）大数据框架介绍大数据推荐系统算法（2）lambda架构大数据推荐系统算法（3）用户画像大数据推荐系统（4）推荐算法大数据推荐系统（5）Mahout大数据推荐系统（6）Spark大数据推荐系统
礼拜天吃芋圆·2020-07-15 06:20

Hadoop自学笔记

下面是自学Hadoop的一个总结：Hadoop是一个开源的大数据框架Hadoop是一个分布式计算的解决方案Hadoop=HDFS分布式文件系统+MapReduce分布式计算解决方案HDFS分布式文件系统
零叶-福州·2020-07-15 01:27

Hadoop、Spark等5种大数据框架对比

大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信
tao_wei162·2020-07-13 14:50

大数据治理

摘要：大数据时代，数据激增速度飞快，大数据治理迫在眉睫，政府对促进大数据发展发布的行动纲领通知，通过大数据框架、大数据治理准则等方面介绍大数据数治理。
Jolie_Liang·2020-07-13 08:59

从底层到应用，那些数据人的必备技能 整理

原文地址：https://mp.weixin.qq.com/s/PXaLRzlguzCM-lr7Hmu0Lw大数据平台要解决的是实时、近实时和离线的大数据框架如何搭建，各数据流之间如何耦合和解耦，如何进行容灾
佳兰小筑·2020-07-11 22:46

运维管理工具的对比Puppet、Chef、Ansible和SaltStack、Fabric

我们发现分布式是一个发展的趋势，无论是大型网站的负载均衡架构还是大数据框架部署，以及云存储计算系统搭建都离不开多台服务器的连续部署和环境搭建。
张小凡vip·2020-07-11 14:19

2分钟读懂大数据框架Hadoop和Spark的异同

解决问题的层面不一样首先，Hadoop和ApacheSpark两者都是大数据框架，但是各自存在的目的不尽相同。
天地会珠海分舵·2020-07-11 07:07

Spark权威指南(中文版)----第22章 事件时间和有状态处理

扫码关注公众号:登峰大数据，阅读中文Spark权威指南(完整版)，系统学习Spark大数据框架！如果您觉得作者翻译的内容有帮助，请分享给更多人。
大数据辅导员·2020-07-09 15:31

Spark权威指南(中文版)----第26章 分类

扫码关注公众号:登峰大数据，阅读中文Spark权威指南(完整版)，系统学习Spark大数据框架！如果您觉得作者翻译的内容有帮助，请分享给更多人。
大数据辅导员·2020-07-09 15:31

Spark权威指南(中文版)----第21章 Structured Streaming基础

扫码关注公众号:登峰大数据，阅读中文Spark权威指南(完整版)，系统学习Spark大数据框架！如果您觉得作者翻译的内容有帮助，请分享给更多人。
大数据辅导员·2020-07-09 15:31

Spark权威指南(中文版)----第25章 预处理和特征工程

扫码关注公众号:登峰大数据，阅读中文Spark权威指南(完整版)，系统学习Spark大数据框架！如果您觉得作者翻译的内容有帮助，请分享给更多人。
大数据辅导员·2020-07-09 15:31

Spark权威指南(中文版)----第23章 生产环境中的结构化流

扫码关注公众号:登峰大数据，阅读中文Spark权威指南(完整版)，系统学习Spark大数据框架！如果您觉得作者翻译的内容有帮助，请分享给更多人。
大数据辅导员·2020-07-09 15:31
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他