Hadop

Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+)

的安装与配置--bug(yarn的8088端口打不开+)一、本文思路【1】、配置java环境–JDK12（Hadoop的底层实现语言是java,hadoop运行需要JDK环境）【2】、安装Hadoop1、解压hadop2
老妹儿的·2024-01-08 11:19

hadoop进程启停管理(看这一篇就足够了！)

一、一键启停脚本HadoopHDFS组件内置了HDFS集群的一键启停脚本$HADOP_HOME/sbin/start-all.sh,一键启动HDFS集群执行原理：在执行此脚本的机器上，启动SecondaryNameNode
syst1m'·2023-11-04 11:54

2018-07-13 hbase

hive与hbase如果hive相当与hadop中的传统关系数据数据库，那么hbase就是hadoop中的nosql,非关系型数据库安装环境hadoop,zookeeper1.解压hbase2.编辑hbase_env.sh
江江江123·2023-10-17 04:32

Hadoop介绍与安装

大数据人工智能=机器学习+大数据---李开复大数据技术Hadop几个简单的概念云物联网区块分布式计算p2p-迅雷大数据的特点V-VOLUME海量V-VELOCITY时效性V-VARIETY多样性数据的来源很多
xieyangxuejun·2023-06-11 20:09

Hadop—yarn

yarn可为各类计算框架提供资源的管理和调度主要用于管理集群当中的资源（主要是服务器的各种硬件资源，包括CPU，内存，磁盘，网络IO等）调度运行在yarn上面的各种任务。yarn核心出发点是为了分离资源管理与作业监控，实现分离的做法是拥有一个全局的资源管理（ResourceManager，RM），以及每个应用程序对应一个的应用管理器（ApplicationMaster，AM）yarn组成YARN主
新时代青年AKA旭爷只认钱·2023-04-18 14:13

Flume架构

Flume架构Flume简介Flume架构SourceChannelSink常用命令Flume简介①：Flume用于讲多种来源的日志以流的方式传送至Hadop或者其他地方②：Flume拥有基于数据流上的简单灵活架构
怦然心动A·2023-04-03 21:45

【大数据hadoop】基于centos7搭建haoop与hive

一、前言hadoop是大数据生态中的基础服务，也是其他大数据框架的基础运行环境，尤其是hdfs，是其他大数据框架的基础存储载体，因此系统学习和掌握hadoop对学习大数据很有必要；而Hive则是Hadop
逆风飞翔的小叔·2023-01-12 21:03

hadoop-集群安装&配置

hadoop-env.sh加入JAVA_HOME,这是远程启动集群用的.core-site.xmlfs.defaultFShdfs://ubuntu:9000hadoop.tmp.dir/home/zb/hadop
持而盈·2020-08-23 20:33

Hadoop HDFS 出现 WARN Unable to load native-hadoop library for your platform解决方法

Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable2.问题原因：Hdfs在实现IO操作的时候，为了提升IO的性能默认使用C语言来操作，而我使用的是Hadop2
勇敢先生·2020-08-10 10:42

学习规划

第一阶段：svn/git版本控制、java高并发、JVM虚拟机、PRC架构实战、Redis、Hadop、高并发分布式项目实战、Nginx、Tomcat负载均衡和调优的角度学习第二阶段：架构设计、分布式、
伋基岚·2020-08-08 16:37

Java实现Hadoop下词配对Wordcount计数

需求实现过程开启hadoopjar包处理HDFS文件设置mapreduce程序查询结果附加代码需求  使用Hadop实现Mapper/Reducer，对一个文档中的每一行的单词进行词配对计数，要求去标点符号
煊琦·2020-08-01 02:13

MapReduce在应用中，感受到的缺点

MapReduce正在风靡世界，比如google的bigtable，yahoo的hadop/hbase，其核心之一就是MapReduce。
wallace0611·2020-06-27 12:49

前端UI框架Ant Design Pro

目前项目使用的技术栈是,前端UI框架AntDesignPro，数据交互使用react,后端使用的是springcloud,离线存储数据使用hadop(刚搭完还没开始用).后端的技术栈世面上基本稳定都用微服务这套
zhuyuansj666·2020-06-26 09:04

hadop之mapreduce运维命令

5.2.1HDFS命令手册1.概述切换到hdfs用户，可以通过“hadoopfs-”命令来查看HDFS文件系统的帮助命令，通过提示的命令来对文件系统进行管理。命令如下：$hadoopfs-执行结果如下：所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。用法：hadoop[–configconfdir][COMMAND][GENERIC_OP
AnotherYou·2020-06-25 09:54

oozie常见问题

然后通过查看和跟踪hadoop的源代码，验证了猜想的正确性，由于oozie在提交job的时候，会读取oozie/conf/hadop-conf
hua的博客·2020-06-24 23:54

hadoop-java客户端搭建&WordCount

java客户端&开发环境搭建win7下开发环境配置1先官网下hadop,然后配置HADOOP_HOME.2用csdn下的包替换HADOOP_HOME里的bin目录此文件已经存于网盘要注意版本对应.这个包是操作系统依赖的文件
持而盈·2020-04-02 20:51

Spark入门基础教程

批量数据处理、交互式数据查询、实时数据流处理，这三种数据处理方式对应的业务场景也都不一样；关注大数据处理的应该都知道Hadoop，而Hadoop的核心为HDFS与MapReduce，HDFS分布式文件系统在Hadop
生活的探路者·2020-02-10 07:11

推荐一款比较小清新的前端框架

目前项目使用的技术栈是,前端UI框架AntDesignPro，数据交互使用react,后端使用的是springcloud,离线存储数据使用hadop(刚搭完还没开始用).后端的技术栈世面上基本稳定都用微服务这套
Agoly·2019-07-31 11:00

Hadoop HDFS Federation 配置

启动服务节点：四:HDFSFederation环境测试一：系统环境配置：承接在上文档hadoop分布式的文档进行部署二：编辑改变hadoop的配置文件编辑core-site.xml文件：master.hadop.com
flyfish225·2018-04-10 12:44

大数据之Linux环境及软件版本

linux版本：CentOS6.4+本地登录到远程服务器：[email protected]登录密码：Xlinux的hadop用户（/home/hadoop)上创建目录：app所有软件的安装目录
php_ray·2018-02-19 14:02

搭建hadoop完全分布式集群VM+CentOS+hadoop2.7

gamer_gythadoop伪分布部署参考：点击打开链接hadoop单机版部署参考：点击打开链接zookeeper,hive,hbase的分布式部署参考：点击链接Spark，Sqoop，Mahout的分布式部署参考：点击链接hadop
雾幻·2017-09-20 20:24

hadoop 超详细入门wordcount

概述今天博客收到了第一条评论，感觉很赞哦，最近一直在学习hadoop，主要是结合《实战Hadop：开启通向云计算的捷径(刘鹏)》，然后apache官网的doc（还是要以官网为主，虽然是全英文的，但总比那些版本都不对的博客来开得多得多
continueOo·2017-08-06 22:53

Hadop_HDF分布式布置

版本haddop2.8.0ubuntu16server64jdk1.8网络配置测试网络中有三台虚拟机。一台为NameNode，另两台为DataNode。主机名IP角色ubuntu192.167.8.189NameNodeubuntu190192.167.8.190DataNode1ubuntu192192.167.8.192DataNode2NameNode所在主机名为ubuntu。由于其它两个虚
dreamcs·2017-05-02 10:36

Spark入门基础教程

批量数据处理、交互式数据查询、实时数据流处理，这三种数据处理方式对应的业务场景也都不一样；关注大数据处理的应该都知道Hadoop，而Hadoop的核心为HDFS与MapReduce，HDFS分布式文件系统在Hadop
lbyyy·2016-11-25 14:03

Spark入门基础教程

批量数据处理、交互式数据查询、实时数据流处理，这三种数据处理方式对应的业务场景也都不一样；关注大数据处理的应该都知道Hadoop，而Hadoop的核心为HDFS与MapReduce，HDFS分布式文件系统在Hadop
lbyyy·2016-11-25 14:00

hadop hive中小文件自动合并设置。

hive.merge.mapredfiles=true/false              --是否启用小文件合并。hive.merge.smallfiles.avgsize=16000000--16m。一般hadoop默认的数据库块大小为128M或者256M，大量的小文件会造成集群mapreduce的时候，一个map处理小文件，浪费map资源。而且大量的小文件浪费集群存储资源。如上设置之后会在
zzuiezhangqihui·2016-04-20 11:00

hadoop笔记

一、hadop的项目Common：一系列组件和接品口，用于分布式文件系统和通用I/O（序列化，JavaRPC和持久化数据结构）Avro：一种序列化系统，用于支技高效，跨语言的RPC和持久化的数据存储MapRedue
zouqingyun·2015-11-07 18:40

hadoop笔记

一、hadop的项目Common：一系列组件和接品口，用于分布式文件系统和通用I/O（序列化，JavaRPC和持久化数据结构）Avro：一种序列化系统，用于支技高效，跨语言的RPC和持久化的数据存储MapRedue
zouqingyun·2015-11-07 18:40

hadop-2.6.0总结

1.  下载（略）2.  编译（略）3.  配置（伪分布、集群略）4.  Hdfs1.  Webinterface:http://namenode-name:50070/(显示datanode列表和集群统计信息)2.  shellcommand&dfsadmincomman3.  checkpointnode&backupnode1.  fsimage和edits文件merge原理2.  （猜测是
Admirals·2015-10-01 16:00

Hadop使用Partitioner后，结果还是一个文件，如何解决？？

最近看了一下partitioner，于是照着写了一个列子，最后发现程序并没有将结果分开写入相应的文件，结果还是一个文件，于是乎感觉是不是没有用集群去运行程序，发现control中还是本地执行的代码：2015-08-0909:53:02,193WARN[main]conf.Configuration(Configuration.java:loadProperty(2172))-file:/tmp/h
yaoxiaochuang·2015-08-09 10:00

eclipse编译hadoop插件

准备eclipseant1.8.0hadoop1.2.1src步骤1.修改/home/hadoop/hadoop-1.2.1/src/contrib/build-contrib.xml修改hadop.root
xiaoqqq·2015-04-13 23:00

Hadoop 伪分布模式的安装

一下载软件        安装环境：CentOS6.4X86_64            JDK1.7.0_25            Hadoop1.2.1   Hadop下载地址：http://hadoop.apache.org
Crazy__Programmer·2014-03-07 16:00

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

本文转自：http://blog.csdn.net/xjavasunjava/article/details/12013677一、引言Hadop是一种分布式系统基础架构，由Apache基金会开发。
heyongluoyao8·2013-11-28 19:00

Hadop介绍

Hadoop解决的二个问题： 1.海量数据的存储，HDFS 2.海量数据的分析，MapReduce HDFS设计目标： --适应场景 1.Very Large File(单个文件很大，或者文件总大小非常大) 2.Streaming data access (write-once, read-many-times) 3.Commodity hardware
侯上校·2013-11-23 11:00

Hadop介绍

Hadoop解决的二个问题： 1.海量数据的存储，HDFS 2.海量数据的分析，MapReduce HDFS设计目标： --适应场景 1.Very Large File(单个文件很大，或者文件总大小非常大) 2.Streaming data access (write-once, read-many-times) 3.Commodity hardware
侯上校·2013-11-23 11:00

hadoop源代码分析（1）-hdfs.server.datanode包-DataNode类【原创】

hadoop源代码分析（1）-hdfs.server.datanode包-DataNode类【原创】一 准备hadop版本：1.0.3，DataNode所在的包：org.apache.hadoop.hdfs.server.datanode
·2013-01-28 23:00

hadoop源代码分析（1）-hdfs.server.datanode包-DataNode类【原创】

一 准备hadop版本：1.0.3，DataNode所在的包：org.apache.hadoop.hdfs.server.datanode学习方法：整理datanode类重要的方法、属性并理解，参考相关博客分析
·2013-01-28 16:00

hadoop源代码分析（2）-hdfs.server.datanode包-DataXceiverServer类【原创】

一 准备hadop版本：1.0.3学习方法：在学习datanode类过程中，发现它引用DataXceiverServer这个类，同时配合DataNode的理解，学习DataXceiverServer。
·2013-01-27 18:00

Apache Hadoop 2.0 (Alpha)发布了

相对于Hadoop-1.x版本（为了更全面的描述Hadop2.0中的新特性，我们没有将之与0.23.x比较），添加了以下几个功能：1.HDFSHA(manualfailover)HadoopHA分支merge
macyang·2012-12-11 22:00

Apache Hadoop 2.0-alpha发布

相对于Hadoop-1.x版本（为了更全面的描述Hadop2.0中的新特性，我们没有将之与0.23.x比较），添加了以下几个功能：1.HDFSHA(manualfailover)HadoopHA分支merge
kirayuan·2012-10-30 15:00

Spring Hadop介绍

2012年2月29日，在这个4年才有的日子里，SpringHadoop1.0.0M1版本发布！在SPRING的官方博客上，对SpringHadoop做了一些介绍，并给出了配置的实例，包括MapReduce，HBase/Hive/Pig等，详细内容见下文！原文链接：http://blog.springsource.org/2012/02/29/introducing-spring-hadoop/原文
jchou·2012-03-01 10:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他