Hadoop相关

hadoop相关知识汇总

hadoop相关知识汇总介绍HDFS(HadoopDistributedFileSystem):HDFS架构（1.0）HDFS特性MapReduce体系结构（1.0）MapReduce特性YARN（YetAnotherResourceNegotiator
林里灰羊·2020-08-22 16:52

Hadoop单机版安装

以前对Hadoop有过一点了解，但没有深入，现在越来越感觉这东西挺有意思的，打算学习下，前两天买了两本Hadoop相关的书，先粗略的翻了下，今天就动手先把环境搭起来。
天道酬勤厚积薄发·2020-08-21 19:09

Kettle5连接Hive

1、先启动hadoop相关的服务./hadoop-daemon.shstartnamenode./hadoop-daemon.shstartdatanode.
lql_h·2020-08-21 14:43

Hadoop学习笔记：Apache Hadoop生态系统

这里收集整理了跟Hadoop相关的Apache下的开源项目，以供后续分析研究。ApacheHadoopHadoop是一个大数据处理框架，它可用于从单台到数以千计的服务器集群的
gobitan·2020-08-21 12:51

Hadoop 集群搭建

releases.html安装步骤:下载安装包(废话)解压(废话)tar-zxvfhadoop-2.8.3.tar.gz-C/usr/local/soft/#将文件解压到/usr/local/soft下解压完的目录为bin#hadoop
权飞虎·2020-08-20 18:23

Hadoop3.2.0之HDFS文件系统JavaAPI接口

新建maven项目,添加hadoop相关jar包1.配置pom.xml文件org.apache.hadoophadoop-common3.2.0org.apache
奋斗的IT小白菜·2020-08-20 17:11

使用JavaAPI操作HDFS系统中的文件及文件夹

/eclipse命令打开eclipse；或在桌面创建eclipse启动器打开eclipse；（2）建立一个新的项目：File-new-javaproject:example（3）为项目添加hadoop相关
尚琬凝霏·2020-08-20 17:56

Ubuntu 16.10 搭建 hbase 1.2.5 完全集群

最近在学习hadoop相关知识，搭建hbase完全集群模式，做个笔记hbase的搭建和hadoop非常类似，关于ssh的配置以及hostname之类的设置，在此略过，可以参看我的博客：Ubuntu16.10
夜华_·2020-08-20 06:17

Hadoop相关文章索引（1）

基本常识Hadoop默认端口应用一览hadoop-3.0新特性Mapreduce中Combiner的使用及误区MapReduce:详解Shuffle过程算法架构DAG算法在hadoop中的应用环境部署为你的Hadoop集群选择合适的硬件Debug【甘道夫】Hadoop2.2.0环境使用Sqoop-1.4.4将Oracle11g数据导入HBase0.96，并自动生成组合行键可靠保证HadoopYAR
司小幽·2020-08-19 09:00

flume1.8远程写hdfs+hadoop2.8集成

目录一、环境准备二、集成hadoop配置1、复制hadoop相关配置文件到flume服务器上2、新建/修改flume的配置文件：3、复制相关jar包到flumelib目录(我的是/opt/flume/apache-flume
爱花的石头·2020-08-19 06:51

hadoop初学入门之一：相关博文资料与注意事项

有关hadoop相关介绍就不多说贴上几个博文，仔细读几篇，基本概念理解不会有问题。【知乎】关于MapReduce的理解？
Casionx·2020-08-19 04:08

Hadoop学习笔记_1：Hadoop相关生态圈了解学习

写在开头Hadoop生态圈主要解决：海量数据的存储和分析计算问题。大数据特点（4V）：大量（Volume）、高速（Velocity）、多样（Variety）、低价值密度（Value）Hadoop优点（4高）：高可靠性、高拓展性、高效性、高容错性Hadoop1.x和2.x的区别：2.x组成Common：辅助工具HDFS：数据存储MapReduce：计算（1.x版本没有Yarn，MapReduce负责
编程小透明·2020-08-18 10:02

mac安装Hadoop3

hadoop，如下：转自：https://blog.csdn.net/fox64194167/article/details/80617527brew安装也可以，但是个人感觉还是自己去hadoop官网上下载hadoop
rocky1996·2020-08-16 20:22

hadoop学习笔记2：hadoop分布式环境搭建

一、实验目的：（1）搭建一套hadoop的分布式运行环境，用于学习hadoop相关知识。
yraspen·2020-08-16 18:28

Hadoop停止集群以及如何单个进程启动

hadoop软件包常见目录说明bin:hadoop客户端名单etc/hadoop:hadoop相当的配置文件粗存放目录sbin:启动Hadoop相关进程的脚本share：常用列子注意：start/stop-dfs.sh
伟伟哦·2020-08-13 19:19

学Hadoop之前的环境准备

HWADDR,IPADDR,GATEWAY配成自己的mac和ip/etc/hosts可增加两个映射192.168.198.10hadoop000192.168.198.10localhost二.资源下载使用的Hadoop
程研板·2020-08-13 10:55

创建MapReduce程序，并在hadoop集群中运行

关键词：MapReduce,hadoop2.6.0,intellijIDEA,Maven1、在intellijIDEA下创建maven项目2、引入hadoop相关jar包2.6.0org.apache.hadoophadoop-common
封巍·2020-08-11 03:48

使用 Sqoop 使HDFS Informix 数据可以互相写入

1.下载sqoop-1.3.0-cdh3u6.tar.gz，实验中所有hadoop相关子项目都是cdh版，解压到指定目录。
驰驰的老爸·2020-08-11 03:50

Flume简介

1、什么是flumeflume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。
流川没有枫·2020-08-11 03:19

flink源码打包

github.com/apache/flink2.环境准备maven+jdk83.打包命令mvncleaninstall-DskipTests-Dfast4.yarn-session启动默认打完包后，lib下会有hadoop
zhou_1992·2020-08-10 13:43

程序员们，AI来了，机会来了，危机也来了

ref=myread给大家推荐一些受欢迎的技术博客链接：Hadoop相关技术博客链接Spark核心技术链接JAVA相关的深度技术博客链接超全干货--Flink思维导图，花了3周左右编写、校对深入JAVA
十点进修·2020-08-06 10:01

Hadoop相关技术博客链接

常规操作、说明【运维类型】超时用集群脚本ync.sh、xcall.sh【运维类型】重启网卡提示Bringingupinterfaceeth0【已解决，可用】文章最后，给大家推荐一些受欢迎的技术博客链接：Hadoop
十点进修·2020-08-06 10:30

Hadoop学习笔记—14.ZooKeeper环境搭建

一、ZooKeeper基础介绍1.1动物园也要保障安全zookeeper是hadoop下面的一个子项目，用来协调跟hadoop相关的一些分布式的框架，如ha
HoterSpring·2020-08-03 16:56

windows下eclipse中配置spark单机环境[spark+hadoop+maven+eclipse]

第二步:下载spark和hadoop相关文件(1)下载和解压缩后的hadoop文件。hadoop文件下载网址:https://download.csdn.net/download/qq_309934
Yornance·2020-08-03 03:51

spring boot整合Hadoop

背景呢是因为需要在web中上传文件到hdfs，所以需要在springboot中加入hadoop相关的jar包。
zzzzMing·2020-08-02 20:41

大数据之搭建HIVE数据仓库分析系统（Hadoop第四篇）

前言：前面的文章介绍了Hadoop的HDFS，YARN，SSH设置，本篇将承接上面的配置，继续介绍Hadoop相关的HIVE工具，本篇将从HIVE的介绍，下载，安装，启动，测试等一连串进行截图讲解，本篇采用
qunqun8889·2020-08-02 13:48

Hadoop相关子项目整理

PigHadoop客户端使用类似于SQL的面向数据流的语言PigLatinPigLatin可以完成排序，过滤，求和，聚组，关联等操作，可以支持自定义函数Pig自动把PigLatin映射为Map-Reduce作业上传到集群运行，减少用户编写java程序的烦恼三种运行方式：GruntShell，脚本方式，嵌入式HbaseGoogleBigtable的开源实现列式数据库可集群化可以使用shell、web
lskyne·2020-08-01 13:47

简述hadoop相关知识点

写在前面：最近花了点时间了解了hadoop的运行机制，于是在此做个笔记，由于水平有限，有错请指出，谢谢！1.安装hadoop对于工程类的东西，本人小白一个，从安装虚拟机到配置jdk、安装hadoop前后花了三四天的时间，在踩过无数坑之后，终于把wordcount小例子正确执行，这里对于第一次搭建hadoop环境的同学，给一些我的建议。（1）参考网上的安装教程时，一定要注意操作系统的版本、hadoo
jingyi130705008·2020-08-01 12:38

Hadoop基础知识总结

本篇讲解Hadoop相关的背景知识，涉及一些常见的概念，组件等，是一篇科普性文章，欢迎食用和交流。
hitchenghengchao·2020-08-01 12:25

hadoop相关知识简单介绍

一、背景：Google首先遇到的大数据存储、计算、搜索问题，在解决这些问题的过程中，发表了GFS、Map-Reduce、Bigtable三篇论文。为后来的大数据提供参考和思想。二、hadoop组件构成hdfs：分布式文件存储系统MapReduce：分布式计算处理框架yarn：资源调度三、hadoop2.0时期架构图四、各个组件部分介绍（这里只介绍hdfs，MapReduce，yarn，至于其他相关
fly_sky333·2020-08-01 12:26

Hadoop相关简答题合集

第一题：简述常见的Linux目录及其作用答案：1、/etc：所有的系统管理所需要的配置文件和子目录。2、/home：存放普通用户的主目录，在Linux中每个用户都有一个自己的目录，一般该目录名是以用户的账号命名的。3、/mnt：系统提供该目录是为了让用户临时挂载别的文件系统的，我们可以将光驱挂载在/mnt/上，然后进入该目录就可以查看光驱里的内容了。/net?存放着和网络相关的一些文件.4、/op
NewBee.Mu·2020-08-01 10:47

Hadoop极简入门

建议复习：分布式理论基础和原理分布式中常见的问题和解决方案其实Hadoop诞生至今已经十多年了，网络上也充斥着关于Hadoop相关知识的的海量资源。
大数据技术与架构·2020-08-01 09:05

Hadoop相关项目Hive-Pig-Spark-Storm-HBase-Sqoop

Hadoop相关项目Hive-Pig-Spark-Storm-HBase-Sqoop的相关介绍。HivePig和Hive的对比摘要:PigPig是一种编程语言，它简化了Hadoop常见的工作任务。
weixin_30437847·2020-07-30 17:23

hadoop入门之hdfs操作（二）

1.环境搭建window环境搭建1.1.HADOOP_HOME配置流程首先我们在windows操作需要有window操作的hadoop相关操作的一些本地native库，所以需要配置HADOOP_HOMEhadoopwindow
luoluo01·2020-07-30 15:25

如何在CDH集群启用Kerberos

1.文档编写目的本文档讲述如何在CDH集群启用及配置Kerberos，您将学习到以下知识：1.如何安装及配置KDC服务2.如何通过CDH启用Kerberos3.如何登录Kerberos并访问Hadoop
wandy0211·2020-07-30 05:30

spring boot整合Hadoop

背景呢是因为需要在web中上传文件到hdfs，所以需要在springboot中加入hadoop相关的jar包。
weixin_33851177·2020-07-30 03:16

java 大数据以及Hadoop相关概念介绍

一、大数据的基本概念1.1、什么是大数据大数据指的就是要处理的数据是TB级别以上的数据。大数据是以TB级别起步的。在计算机当中，存放到硬盘上面的文件都会占用一定的存储空间，例如：文件占用的存储空间代表的就是该文件的大小，在计算机当中，文件的大小可以采用以下单位来表示，各个单位之间的转换关系如下：转换平时我们在我们自己的电脑上面常见的就是Byte、KB、MB、GB这几种，那么究竟什么是大数据呢，大数
执念_一生·2020-07-29 23:40

盘点SQL on Hadoop中用到的主要技术

github|0条评论|作者肥男爱肉转载自：http://www.csdn.net/article/2015-01-06/2823450HadoopSQL大数据架构摘要：自打Hive出现之后，SQLonHadoop
山水佳音·2020-07-29 17:34

Spark学习-2.4.0-源码分析-1-Spark 核心篇-SparkContext

文章目录@[TOC]1、功能描述1.1源码描述2、相关组件3、代码分析3.1初始设置3.2创建执行环境SparkEnv3.3创建SparkUI3.4Hadoop相关配置3.5Executor环境变量3.6
pre_tender·2020-07-28 04:14

Hadoop环境搭建及相关组件的工作流程介绍

1前言本篇博客主要是记录Hadoop环境配置包括单机伪分布环境搭建，分布式环境搭建和Hadoop相关组件的工作流程介绍，包括HDFS读写流程，YARN的资源调度流程，MapReduce工作流程。
小简铺子·2020-07-27 13:16

Hadoop-Yarn实战

Haoop和Yarn命令Hadoop相关命令Yarn相关命令//yarn启动resourcemanager,nodemanger等yarn--config/home/bigdata/data/hadoop
hq_allen·2020-07-16 10:16

Windows单机jdk + scala + spark + hadoop + pycharm开发环境的搭建

，主要是网上教程太散了有的地方还没说全版本jdk1.8scala2.10.7spark1.6.0（依赖hadoop2.6）hadoop2.6.5spark1.6还是比较稳定好用的，下载链接自己找放一下hadoop
计算机动物·2020-07-16 07:18

基于Oracle plsql的多线程编程架构 (附存储过程)

熟悉MySQL、DB2、Informix等其他开源或商业数据，以及Openstack、Hadoop相关生态系统、网站架构设计等。引言1文档编制目的在日常编程范围内有很多大计算量的
weixin_34348805·2020-07-15 05:43

Hadoop生态圈一览

这是Hadoop生态从Google的三篇论文开始的发展历程，现已经发展成为一个生态体系，并还在蓬勃发展中....这是官网上的Hadoop生态图，包含了大部分常用到的Hadoop相关工具软件这是以体系从下到上的布局展示的
Msro·2020-07-15 05:13

大数据以及Hadoop相关概念介绍

一、大数据的基本概念1.1、什么是大数据大数据指的就是要处理的数据是TB级别以上的数据。大数据是以TB级别起步的。在计算机当中，存放到硬盘上面的文件都会占用一定的存储空间，例如：文件占用的存储空间代表的就是该文件的大小，在计算机当中，文件的大小可以采用以下单位来表示，各个单位之间的转换关系如下：平时我们在我们自己的电脑上面常见的就是Byte、KB、MB、GB这几种，那么究竟什么是大数据呢，大数据的
weixin_33824363·2020-07-15 04:23

windows10下使用spark-2.3.0-bin-without-hadoop相关问题

1、启动spark-shell报错：Error:AJNIerrorhasoccurred,pleasecheckyourinstallationandtryagainExceptioninthread"main"java.lang.NoClassDefFoundError:org/slf4j/Loggeratjava.lang.Class.getDeclaredMethods0(NativeMet
ryanzhongj·2020-07-14 21:05

hadoop相关(以期为单位）

学习Hadoop不错的系列文章1）Hadoop学习总结（1）HDFS简介地址：http://forfuture1978.iteye.com/blog/615033（2）HDFS读写过程解析地址：http://blog.csdn.net/forfuture1978/article/details/6001302（3）Map-Reduce入门地址：http://blog.csdn.net/forfut
this_heart_add_add·2020-07-14 07:54

Oracle PLSQLl的多线程编程架构 存储过程中使用多线程 定时任务 作业调度计划 JOB SCHEDULE

熟悉MySQL、DB2、Informix等其他开源或商业数据，以及Openstack、Hadoop相关生态系
Alex许恒·2020-07-14 03:47

Hadoop基础教程-第1章 环境安装配置（1.7 目录规划）

第1章环境安装配置1.7目录规划1、总体规划软件安装目录：/opt数据目录：/var/data日志目录：/var/log2、hadoop相关目录按照上面规划，hadoop相关目录如下：软件安装目录：/opt
程裕强·2020-07-13 03:06

大数据hadoop相关知识

HadoopHDFS海量数据的存储MapReduce海量数据的处理HDFS模块HDFS负责大数据的存储，通过将大文件分块后进行分布式存储方式，突破了服务器硬盘大小的限制，解决了单台机器无法存储大文件的问题，HDFS是个相对独立的模块，可以为YARN提供服务，也可以为HBase等其他模块提供服务。YARN模块YARN是一个通用的资源协同和任务调度框架，是为了解决Hadoop1.x中MapReduce
奋斗的憨憨小S·2020-07-12 21:46
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他