Hadoop2 第23页

hadoop 2.8.3 eclipse 插件

WindowsServer2012R2Standardhadoop2.8.3eclipse-jee-mars-2-win32-x86_64从https://github.com/winghc/hadoop2x-eclipse-plugin

fxnfk·2020-09-12 19:26

CentOS7+Hadoop2.7.1大数据网站用户购物行为分析R问题

友情链接：（1）大数据课程实验案例：网站用户行为分析（免费共享）http://dblab.xmu.edu.cn/post/7499/（2）大数据项目《网站用户行为分析》综合实验记录https://blog.csdn.net/solumin/article/details/89407780（3）Ubuntu安装MySQL及常用操作http://dblab.xmu.edu.cn/blog/instal

Jxufe渣渣斯·2020-09-12 18:07

Ubuntu16.04安装Hadoop2.6+Spark1.6+开发实例

Ubuntu16.04安装Hadoop2.6+Spark1.6，并安装python开发工具Jupyternotebook，通过pyspark测试一个实例，調通整个Spark+hadoop伪分布式开发环境

weixin_33815613·2020-09-12 17:42

spark-submit使用及说明

/lib/spark-examples-1.3.0-hadoop2.3.0.jar--deploy-modeclie

cache007·2020-09-12 11:48

Flink on Yarn部署

2.6.0Flink版本：1.1.2快速部署FlinkonYarn环境：比如启动一个有4个TaskManager（每个节点都有4GB堆内存）的Yarn会话：1.下载Flink的软件包，如flink-1.1.2-bin-hadoop26

cache007·2020-09-12 11:48

Hbase客户端Lealone测试报告

1、由于Lealone只支持hbase0.94版本，所以在编译好支持Hadoop2.2.0的hbase0.94版本之后，才可以进行相关测试。

iamlipeng·2020-09-12 10:06

hadoop 重启datanode及动态加入节点

[align=center][color=red][b]hadoop2.2.0启动子节点[/b][/color][/align]适用于子节点单独挂掉然后重启的情况，或者增加子节点的情况。

陈启·2020-09-12 09:26

hadoop2.7.2单机模式安装(win7无需cygwin)

本文安装环境概述：windows764bitjdk1.7.0_7264bithadoop2.7.2Hadoop从v2以后，单机模式已经可以在Windows上运行了，而且无需cygwin。

iteye_878·2020-09-12 06:22

Kafka实战：消费者组案例

2.案例实操(1)在hadoop2、hadoop3上修改/opt/module/kafka-2.11/config/consumer.properties配置文件中的group.id属性为任意组名。

Movle·2020-09-12 04:43

Scala101-JupyterNoteBook环境配置win

JupyterNotebook中执行scala的原因是为了方便笔记和快速调试代码找了蛮久，下面的可行环境环境:windows10python:Anacondaspark:spark-2.4.4-bin-hadoop2.7

维格堂406小队·2020-09-12 04:31

阿里云服务器安装Hadoop

详细讲解Hadoop2.7.7安装（单节点）此篇文章只是学习不实用于生产。安装Hadoop前需要，需要安装java环境。还有ssh免密登录，ssh免密登录可以选择不安装。

DaoZhuang.·2020-09-12 04:07

zookeeper生成节点、删除节点 For Java

源码地址https://github.com/Bellonor/myhadoop2.x/tree/master/myhadoop2.x/src/main/java/com/jamesfen/zookeeper

weixin_30878361·2020-09-12 03:18

IDEA(2019.3)远程调试HADOOP(2.7.1)配置过程：WordCount实例

目的：在Idea上直接调试虚拟机中的HDFS，执行MapReduce，不需要将jar包上传到hadoop目录下再运行配置环境：虚拟机hadoop2.7.1本地hadoop2.7.1IDEA版本2019.3.3Maven3.6.31

KeEpEr_Z·2020-09-12 03:53

解决Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is...

Hadoop2.2在master上运行Mapreduce没有问题，但是在slave节点上运行会报如下错误[root@fk01mapreduce]#hadoopjarhadoop-mapreduce-examples

panguoyuan·2020-09-12 03:21

最通俗易懂的 Windows10 下配置 pyspark + jupyterlab 讲解（超级详细）

jupyterlab讲解（超级详细）一、所需组件版本说明JavaJDK：1.8.0.242（这里我使用的是openjdk解压缩版本，oraclejdk只有exe的安装版本）spark-2.4.5-bin-hadoop2.7hadoop

masonsxu·2020-09-12 03:19

flink on yarn部署

##flinkonyarn部署flinkonyarn需要的组件与版本如下1.Zookeeper3.4.9用于做Flink的JobManager的HA服务2.hadoop2.7.2搭建HDFS和Yarn3

DT鸽子·2020-09-12 02:41

hadoop端口

操作步骤1.HDFS进程及端口HDFS启动后包含的进程有：NameNode，DataNode，SecondaryNameNode启动方法，在主节点：#cd/opt/hadoop2.6.0/sbin/#.

bingoabin·2020-09-12 02:36

spark配置安装，和jupyter的安装

在配置之前，先准备好：spark-2.2.0-bin-hadoop2.7.tgzAnaconda3-5.1.0-Linux-x86_64.sh解压spark：tar-zxvfspark-2.2.0-bin-hadoop2.7

__顾影自怜·2020-09-12 02:37

Hadoop3.2.0 YARN ResourceManager HA

在Hadoop2.4之前，ResourceManage

张伯毅·2020-09-11 23:21

corosync配置与详解

votequorumcman+corosynccman+rgmanager,cman+pacemakercorosync+pacemaker前提1）本配置共有两个测试节点，分别hadoop1.abc.com和hadoop2

weixin_33920401·2020-09-11 22:08

hadoop-2.2.0-yarn-resourcemanager恢复

十月份hadoop正式发布了hadoop2.2.0稳定版，让人期待的hadoop2.0框架总算有个里程碑进展。个人最关注的还是namenodeha实现和yarn框架。

IT坨坨·2020-09-11 22:07

在VMware下搭建的Hadoop集群（提供下载）

为了方便，本人用VMware虚拟机搭建了CentOS7系统下的Hadoop2.6集群，具体配置如下：三个结点，每个结点分配1GB内存和20GB的硬盘，网络使用桥接（台式机网络使用了路由器）；每个结点的IP

闲渔Love吉他·2020-09-11 21:36

hadoop开发中遇到的问题

http://blog.csdn.net/congcong68/article/details/42043093Windows下的Eclipse上调试Hadoop2代码，所以我们在windows下的Eclipse

zeng_84_long·2020-09-11 20:40

GIS Hadoop 开发案例（gis-tools-for-hadoop）

1、开发环境1）软件Hadoop2.4.0+eclipse3.7.0+gis-tools-for-hadoop-master2）数据2、引入EsriGeometryAPIJAR包3、新建mapper类packageesri.hadoop.text

GeoWin_CAU·2020-09-11 20:56

Hadoop1.0与Hadoop2.0的区别

1、什么是Hadoop1.0？Hadoop1.0即第一代Hadoop，指的是版本为ApacheHadoop0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中MapReduce是一个离线处理框架，由编程模型（新旧API）、运行时环境（JobTracker和TaskTracker）和数据处理引擎（MapTask和ReduceTask）三部分组成

哎呦、不错哦·2020-09-11 19:51

spark读写hbase

tar.gzHadoop：hadoop-2.6.0-cdh5.4.5.tar.gzZooKeeper：zookeeper-3.4.5-cdh5.4.5.tar.gzSpark：spark-2.1.0-bin-hadoop2.61.2Spark

克终·2020-09-11 19:47

hadoop2.x配置 - RM与NM相关参数

REFER：http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-resourcemanager-nodemanager/--------------------------------------------------------------------------------------------------

迷途小码·2020-09-11 19:47

hadoop1.0 和 Hadoop 2.0 的区别

在后续的不断实践之中，Hadoop2.0横空出世，而后Hadoop2.0逐渐成为大数据中的主流。那么Hadoop1.0究竟存在哪些缺陷，在它升级到Hadoop2.0的时候又做出了怎样的调整，最终使得

weixin_33785972·2020-09-11 19:44

安装Hadoop方法集群步骤

我解压的hadoop2.7.3（更名为hadoop）文件路径是在/home/Mcwang/soft/hadoop我们要修改的配置文件是在：/home/Mcwang/hadoop/etc/hadoop下的文件上传并解压缩上传到

小A__·2020-09-11 18:18

修改log4j.properties文件——输出日志到指定路径的总结

在我的Ubuntu虚拟机中的位置：/usr/local/spark-2.3.0-bin-hadoop2.7/conf/log4j.properties（这个是我在做spark实验的时候使用的路径，这样看来不同的环境

不想当小白·2020-09-11 15:48

Hadoop安装教程

单节点安装教程http://www.bubuko.com/infodetail-1268255.html环境说明创建Hadoop用户更新apt下载工具配置ssh免密码登录安装Java环境安装Hadoop2

Bai_Yin·2020-09-11 15:36

hadoop3.x教程_Hadoop安装教程（Hadoop 1.x）

Update:IfyouarenewtoHadoopandtryingtoinstallone.Pleasecheckthenewerversion:HadoopInstallationTutorial(Hadoop2

cuma2369·2020-09-11 14:31

Yarn简介

1.Yarn简介1.1整体介绍Yarn是Hadoop2.0的新资源管理系统，它主要的用处就是资源的管理和调度，给上层的应用提供统一的服务举个例子中，假如我们需要执行一个MapReduce的任务，任务需要使用哪些节点

MoForest·2020-09-11 13:48

基于eclipse的spark开发环境搭建

2、配置环境变量SPARK_HOMEF:\spark-2.1.0-bin-hadoop2.6Path追加F:\spark-2.1.0-bin-hadoop2.6\bin;3、创建maven工程。

一只老猿·2020-09-11 12:31

spark-2.3.0和Hadoop2.6.5完全分布式安装和部署——分布式集群(参考记录）

自己使用的环境版本：Windows10+Ubuntu18.04LTS+VMware14Pro+Hadoop2.6.5+Spark-2.3.0+JAVA1.8+scala2.11+MobaXterm（远程连接工具

zhangvalue·2020-09-11 12:39

Hadoop2.7.7 API: hdfs-site.xml 解析

namedescriptionvalue备注hadoop.hdfs.configuration.version配置文件版本1dfs.namenode.rpc-address处理所有客户端请求的RPC地址，若在HA场景中，可能有多个namenode，就把名称ID添加到进来。该属性的格式为nn-host1:rpc-port。bj-rack001-hadoop002:8020dfs.namenode.r

张伯毅·2020-09-11 12:36

Eclipse IDE 使用Java语言运行Spark程序

简单记录下遇到的坑一、添加/usr/local/spark-2.3.1-bin-hadoop2.7/lib下所有jar包（若是Scala语言也需要添加这些库）二、设置运行URI或本地模式(-Dspark.master

xj13821328013·2020-09-11 11:21

mac 单机搭建 eclipse spark开发环境

2.spark1.6这里选择了已经为Hadoop2.6编译好的版本，

wxzyhx1009·2020-09-11 11:59

scala操作Hadoop Api改变目录权限成777及写入单个hdfs文件

scala操作HadoopApi改变目录权限成777及写入单个hdfs文件Hadoop2.7.0支持修改目录的权限，可以修改成任意权限。

巴拉巴拉朵·2020-09-11 11:34

linux 常用命令集合

1、切换用户surootsuhadoop2、解压：tar-zxvf/opt/tar/nexus.tar.gz3、压缩：tar-cPvfxxxx.tar/opt/wacos/xxx/*就是将xxx/目录下的所有文件压缩

shawn.xiao·2020-09-11 11:08

spark IDEA开发环境搭建及运行问题

weixin_34360651·2020-09-11 11:11

idea搭建spark开发环境完整版（windows）

利用intellijidea搭建spark开发环境（windows）本文配置所有环境Win10企业版2016长期服务版Jdk1.8.0.131Hadoop2.7.3Spark2.2.0Scala2.11.12

一蓑烟雨紫洛·2020-09-11 11:34

spark在eclipse下V2-搭建Demo代码阅读环境

spark2.1.1example_api_sql_streaming_eclipseProject.ziphttps://files.cnblogs.com/files/wifi0/runconfig.zip搭建代码阅读环境下载spark-2.1.1-bin-hadoop2.7

weixin_30925411·2020-09-11 10:43

Python pycharm（windows版本）部署spark环境

2.Spark环境变量配置下载：http://spark.apache.org/downloads.html我下载的是spark-2.3.0-bin-hadoop2.7.tgz,spark版本是2.3，

weixin_30615767·2020-09-11 10:24

使用命令行编译打包运行自己的MapReduce程序 Hadoop2.4.1

网上的MapReduceWordCount教程对于如何编译WordCount.java几乎是一笔带过…而有写到的，大多又是0.20等旧版本版本的做法，即javac-classpath/usr/local/Hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jarWordCount.java，但较新的2.X版本中，已经没有hadoop-core*.jar这个文件，因此编辑和打

流沙-岁月·2020-09-11 10:14

win10环境下单机eclipse+spark+scala配置

大致有以下6步环境为eclipse+scala+JDK1.8+Spark2.4.3+Hadoop2.7下载JAVA下载eclipseeclipse下下载scala下载配置spark下载配置Hadoop创建

YangPotatoes·2020-09-11 09:45

Hadoop2.7安装步骤

MapReduce则为海量的数据提供了计算,Hadoop就是个分布式文件系统,用来管理文件的,而NOSQL数据库又是以文件方式存储,所以经常结合来用Hadoop需要java环境,查看Ubuntu下安装java1.下载Hadoop2.7

毛毛派我来巡山·2020-09-11 09:21

Spark--01eclipse java spark环境搭建

安装eclipse4.3EclipseJavaEEIDEforWebDevelopers.Version:JunoRelease安装jdk1.7相关组件准备：第一步：下载spark-1.3.0-bin-hadoop2.6

envinfo2012·2020-09-11 08:34

windows下 eclipse搭建spark java编译环境

环境：win10jdk1.8之前有在虚拟机或者集群上安装spark安装包的，解压到你想要放spark的本地目录下，比如我的目录就是D:\Hadoop\spark-1.6.0-bin-hadoop2.6/

baixiao9898·2020-09-11 08:28

spark：开发本地测试的wordcount程序

wordcount程序-1测试文件上传：hadoopfs-putwordcount.txt/wordcount.txt使用eclipse开发实现：开发时注意导入spark-assembly-1.6.0-hadoop2.6.0

花和尚也有春天·2020-09-11 07:50

推荐频道

Hadoop2