Hadoop开发

大数据之Hive01：Hive基本介绍

1.为何使用Hive（1）最主要就是涉及Hadoop开发的问题，因为hadoop只能用java语言开发，如果是c语言或其他语言的程序员用Hadoop，存在语言门槛。
数据蝉·2021-05-07 04:22

Hadoop开发环境准备及错误问题解决方法

Hadoop开发环境准备及错误问题解决方法一、开发环境准备二、错误问题及其产生原因三、错误问题解决方法一、开发环境准备Hadoop环境已经搭建好（伪分布式搭建好即可）eclipse或者idea已经下载安装好修改下
若兰幽竹·2021-04-28 22:46

hadoop开发环境&&集群搭建

hadoop搭建流程下载hadoop由于之后需要搭建hbase，查看hbase兼容hadoop版本,所以选择Hadoop-2.7.5image.png下载地址为http://hadoop.apache.org/releases.html搭建Pseudo-Distributed本地开发使用伪分布式集群修改配置etc/hadoop/core-site.xmlfs.defaultFShdfs://loc
TTTing听·2021-04-26 03:41

什么是Hadoop？你真的了解吗？

几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。近年大型IT公司，如EMC、Microsof
·2021-03-22 14:53

什么是Hadoop？你真的了解吗？

几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。近年大型IT公司，如EMC、Microsof
·2021-03-19 17:32

Windows下使用IDEA搭建Hadoop开发环境的详细方法

笔者鼓弄了两个星期，终于把所有有关hadoop的环境配置好了，一是虚拟机上的完全分布式集群，但是为了平时写代码的方便，则在windows上也配置了hadoop的伪分布式集群，同时在IDEA上就可以编写代码，同时在windows环境下进行运行。（如果不配置windows下的伪分布式集群，则在IDEA上编写的代码无法在windows平台下运行）。笔者在网络上找了很多有关windows下使用idea搭建
·2020-12-30 11:39

Hadoop开发过程中遇到的问题和解决方法

先上正确运行的显示：错误1：变量为IntWritable，接收的是LongWritable，如下图：原因，多写了参数reporter，如下图：错误2：数组超出边界，如下图：原因：设置了combine类，如下图：错误3：nullpointerexception异常，如下图：原因：静态变量为null，赋值即可，如下图：错误4：进入了map，但是无法进入reduce，且直接把map的数据输出了，并且无错
FeelTouch·2020-09-17 15:04

[Hadoop]->[开发环境搭建] Window环境下配置Hadoop开发环境

一、准备工作1.下载cygwin,下载链接2.下载hadoop,下载链接3.下载Eclipse,下载链接4.下载Hadoop插件，下载链接二、安装教程1.cygwin：教程2.Eclipse3.Hadoop插件：教程三、问题如果cygwin安装出现问题，请使用管理员权限运行。四、缺点1.配置太繁琐了2.cygwin不如虚拟机好用，最好还是安装虚拟机，在Linux系统下操作。
emovie·2020-09-15 09:52

使用Maven搭建Hadoop开发环境

关于Maven的使用就不再啰嗦了，网上很多，并且这么多年变化也不大，这里仅介绍怎么搭建Hadoop的开发环境。1.首先创建工程mvnarchetype:generate-DgroupId=my.hadoopstudy-DartifactId=hadoopstudy-DarchetypeArtifactId=maven-archetype-quickstart-DinteractiveMode=fa
国家机关感觉·2020-09-15 03:48

Maven构建Hadoop Web项目

使用Maven构建HadoopWeb项目，此项目是一个样例Demo，方便开发专注于后台以及Hadoop开发的人员在其上构建自己定制的项目。
fansy1990·2020-09-15 02:11

Win7+Eclipse+Hadoop2.6.4开发环境搭建

Hadoop开发环境搭建感谢参考网站：http://www.cnblogs.com/huligong1234/p/4137133.html一、软件准备JDK：jdk-7u80-windows-x64.exehttp
wen_hai·2020-09-14 16:59

Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境

转自：http://blog.itpub.net/26230597/viewspace-1370205/网上有一些都是在Linux下使用安装Eclipse来进行hadoop应用开发，但是大部分Java程序员对linux系统不是那么熟悉，所以需要在windows下开发hadoop程序，所以经过试验，总结了下如何在windows下使用Eclipse来开发hadoop程序代码。1、需要下载hadoop的
zhaoqi001·2020-09-14 09:30

maven构建CDH开发环境

使用clouderahadoop开发hadoop程序，官方文档上有两种方法。第一种即把相应jar包拷贝到工程目录中去，另一种即使用maven管理依赖jar包。
楚汐·2020-09-14 08:46

基于Eclipse的Hadoop应用开发环境的配置

实际上开发环境很好配置，网上很多的帖子，都指向了IBM提供的Hadoop开发工具，这个工具很好用。
zlf0727·2020-09-13 20:36

hadoop开发必读：认识Context类的作用

问题导读：1.Context能干什么？2.你对Context类了解多少？3.Context在mapreduce中的作用是什么？本文实在能够阅读源码的基础上一个继续，如果你还不能阅读源码，请参考从零教你如何获取hadoop2.4源码并使用eclipse关联hadoop2.4源码http://www.aboutyun.com/thread-8211-1-1.html如何通过eclipse查看、阅读ha
judyge·2020-09-13 19:58

Hadoop开发商MapR任命CFO，为上市铺平道路

与HortonWorks和Cloudera两大主要Hadoop开发商基本走纯开源路线不同，由前Google工程师M.C.Srivas和资深IT经理人JohnSchroe
刘江总编·2020-09-13 10:59

【Hadoop】Win7上搭建Hadoop开发环境，方法一

在Win7上，编写hadoop程序操作系统：win7hadoop版本：CDH3u61、下载安装JDK，以及Eclipse2、新建JAVAProject3、去cloudera网站下载hadoop的CDH3u6版本。将起解压到win7的某个目录4、选中OperateHDFS，右击，选择“property”，弹出右侧的窗口；选择“JavaBuildPath”——“Libraries”——AddExter
weixin_30633405·2020-09-13 09:48

hadoop相关认证

主要认证我只知道7门课：1、CCAH（ClouderaApacheHadoop管理员），2、CCDH（ClouderaApacheHadoop开发者），3、Cl
wandy0211·2020-09-12 08:41

Hadoop使用学习笔记（2）：在Ubuntu上上使用Eclipse配置Hadoop开发环境详细步骤+WordCount示例

这几天由于遇见了一个不是问题的问题，导致折腾了很多功夫，先来看看我的具体操作过程吧。首先将相应的eclipse-Java-2018-09-linux-gtk-x86_64.tar压缩包下载好，接着在Ubuntu界面进行解压，然后我将这个包放在了/opt/的文件夹路径上，接着进入eclipe文件夹内部找到eclipse驱动程序（就是中间的这个驱动程序·），然后按照它的安装步骤一步一步下来就可以了。接
大大大罐头强·2020-09-12 07:35

Eclipse搭建Hadoop开发环境二三事

Hadoop基本概念指南Eclipse搭建Hadoop开发环境二三事IntelliJIDEA搭建Hadoop开发环境Hadoop文件存储系统-HDFS详解以及java编程实现Eclipse搭建开发环境当我们完成了基本的概念学习
henry-hacker·2020-09-12 07:10

【大数据】CentOs7.5搭建hadoop开发集群环境（一）

【大数据】CentOs7.5搭建hadoop开发集群环境（一）一、首先安装CentOs7.5虚拟机系统（由于本节篇幅较长，详见百度，不再啰嗦）二、配置静态IP等三、关闭防火墙，SELinux四、添加主机名与
Little柯南·2020-09-11 23:41

hadoop开发中遇到的问题

http://blog.csdn.net/congcong68/article/details/42043093Windows下的Eclipse上调试Hadoop2代码，所以我们在windows下的Eclipse配置hadoop-eclipse-plugin-2.6.0.jar插件，并在运行Hadoop代码时出现了一系列的问题，搞了好几天终于能运行起代码。接下来我们来看看问题并怎么解决，提供给跟我
zeng_84_long·2020-09-11 20:40

hadoop1.0 和 Hadoop 2.0 的区别

但Hadoop开发出来也并非一帆风顺的，Hadoop1.0版本有诸多局限。在后续的不断实践之中，Hadoop2.0横空出世，而后Hadoop2.0逐渐成为大数据中的主流。
weixin_33785972·2020-09-11 19:44

Hadoop安装教程

1268255.html环境说明创建Hadoop用户更新apt下载工具配置ssh免密码登录安装Java环境安装Hadoop2.XHadoop单机配置Hadoop伪分布式配置运行Hadoop为分布式实例启动yarnHadoop
Bai_Yin·2020-09-11 15:36

Spark学习2 Mac OS X上Eclipse中搭建Hadoop的开发环境

一、在MacOSX上搭建Hadoop开发环境Mac上的Hadoop环境搭建可以参考MacOSX上搭建Hadoop开发环境指南。
明明家的小榛果·2020-09-11 09:16

一文看懂虚拟机Centos 7的配置（搭建Hadoop开发环境）

0.写在前面软件版本：VM14，Centos7，hadoop2.5，jdk1.8本文是接上一篇虚拟机的设置的之后开始的，建议先看前一篇。jdk1.8官网下载：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlhadoop2.5官网下载：https://archive.apache.
小柠猿·2020-09-11 03:08

大数据-什么是Hive？&&Hive中ETL的实战&&HQL介绍&&数据仓库的特征&&Hive的适用场景

1、Hadoop开发存在的问题只能用java语言开发，如果是c语言或其他语言的程序员用Hadoop，存在语言门槛。需要对Hadoop底层原理，api比较了解才能做开发。
静坐听雨笙·2020-09-10 22:37

Hadoop环境搭建步骤

文章目录前言一、虚拟机安装二、安装JDK和Hadoop1.基本信息配置2.安装JDK和Hadoop三、安装Zookeeper集群四、Hadoop集群的高可用配置五、Hadoop集群的正常启动顺序总结前言Hadoop
Emily_0916·2020-08-26 11:11

Hadoop环境的安装及配置

安装配置Hadoop开发环境下载Hadoop我们去官网下载：http://hadoop.apache.org/配置Hadoop环境来搭建一个单节点的集群，配置一个伪分布式，为什么不做分布式呢？
heart of sea·2020-08-24 15:05

2019Java遇到了就业瓶颈，是时候转型了！Java如何转型大数据开发？

一、热门工作岗位1、Hadoop开发工程师Hadoop是一个分布式文件系统(HadoopDistributedFileSyste
别盲目追风·2020-08-24 14:51

3.1 Hadoop开发插件安装

实验3.1Hadoop开发插件安装字体：实验目的1.了解Eclipse开发环境的使用2.熟练掌握Hadoop开发插件安装实验原理Eclipse是一个开放源代码的、基于Java的可扩展开发平台。
浅墨微蓝·2020-08-20 19:26

Eclipse配置hadoop开发环境

Hadoop踩坑记(三)Eclipse配置hadoop开发环境环境windows10java1.8namenode(hadoop1-ali)阿里云(CentOS7.3)120.26.173.104hadoop
CheeReus_11·2020-08-20 17:52

Eclipse配置hadoop开发环境

Hadoop踩坑记(三)Eclipse配置hadoop开发环境环境windows10java1.8namenode(hadoop1-ali)阿里云(CentOS7.3)120.26.173.104hadoop
CheeReus_11·2020-08-20 17:51

Hadoop开发相关问题总结

总结自己在Hadoop开发中遇到的问题，主要在mapreduce代码执行方面。大部分来自日常代码执行错误的解决方法，还有一些是对JAVA、Hadoop剖析。
xuefei2·2020-08-18 06:30

Linux搭建Hadoop开发环境

Linux搭建Hadoop开发环境2.Hadoop环境搭建安装配置：[1].官网下载Hadoop-2.7.5安装包：hadoop-2.7.5.tar.gz[2].把Hadoop-2.7.5安装包利用Xftp5
marklin·2020-08-17 15:33

ubuntu系统下eclipse配置hadoop开发环境并运行wordcount程序

ubuntu12eclipse3.6hadoop1.1.2ubuntu12环境下hadoop1.1.2伪分布式配置成功，然后用Ant编译eclipsehadoopplugin插件，接下来就是eclipsehadoop
code_____monkey·2020-08-16 10:55

Ubuntu下eclipse开发hadoop应用程序环境配置

大家好，今天给大家介绍一下Ubuntu下eclipse开发hadoop应用程序环境配置，目的很简单，为进行研究与学习，部署一个hadoop运行环境，并搭建一个hadoop开发与测试环境。
xiaotom5·2020-08-16 10:07

IntelliJ IDEA搭建Hadoop开发环境（下）

HadoopIntellijPlugin插件还没安装好的可以参考这篇文章，IntelliJIDEA搭建Hadoop开发环境（上），安装好插件后，下一步就是导入hadoop的依赖包，这些包可以在hadoop
Captain.Y.·2020-08-16 09:13

IntelliJ IDEA搭建Hadoop开发环境（上）

Eclipse配置Hadoop开发环境可以参考我的这篇文章Eclipse配置Hadoop开发环境，idea配置hadoop开发环境的搭建分成两部分，安装Hadoop插件和配置Hadoop开发环境，原本我的
Captain.Y.·2020-08-16 09:13

Linux（Ubuntu）上使用Eclipse配置Hadoop开发环境详细步骤+WordCount示例-2

步骤8Hadoop伪分布式部署配置Hadoop可以在单节点上以伪分布式的方式运行，Hadoop进程以分离的Java进程来运行，节点既作为NameNode也作为DataNode，同时，读取的是HDFS中的文件。NameNode：namenode一是管理文件系统文件的元数据信息（包括文件名称、大小、位置、属性、创建时间、修改时间等等），二是维护文件到块的对应关系和块到节点的对应关系，三是维护用户对文件
Johnny老师·2020-08-16 08:07

Linux（Ubuntu）上使用Eclipse配置Hadoop开发环境详细步骤+WordCount示例-1

大家好，今天总结一套搭建Hadoop的搭建流程目标：Linux（Ubuntu）上使用Eclipse配置Hadoop开发环境详细步骤+WordCount示例准备：Unbuntu18.04.1-desktop-amd64
Johnny老师·2020-08-16 08:07

linux ubuntu系统下基于eclipse的hadoop开发环境搭建

hadoop是基于linux操作系统的。本文在linuxubuntu系统下，在eclipse下配置hadoop的开发环境。这个开发环境对linux下的hadoop伪分布式配置有效，其他配置情况不明。如果是完全分布式环境，需要重新设置core-site.xml,hdfs-site.xml,mapred-site.xml(如果启动了yarn，还是需要设置yarn-site.xml)主要是从这几个文件中
qq_23617681·2020-08-16 07:50

Ubuntu开发环境配置（九） 搭建Hadoop开发运行环境

前言尽管Hadoop本身可以运行在Linux、Windows、以及一些类Unix系统，但是Hadoop官方支持的作业平台是Linux，在Windows中运行Hadoop时，需要安装Cywin等软件。ubantu是不错的运行版本，当然centerOS也是不错的选择。安装配置步骤1、安装java2、安装配置SSH登录权限3、单机安装配置4、伪分布式安装1、安装javaHadoop本身是使用java编写
idomyway·2020-08-16 06:16

Hadoop开发环境搭建-Eclipse插件配置

Hadoop开发分为两个内容：Hadoop集群的搭建、Eclipse开发环境的配置。
米范engineer·2020-08-16 06:41

eclipse配置hadoop开发环境并运行WordCount小程序

本篇博客讲述如何用eclipse配置hadoop的开发环境，并且建立第一个小程序，WordCount。本篇博客一些配置选项基于上一篇博客hadoop环境的配置。环境说明：eclipse3.7，插件hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar，cygwin下载eclipse3.7，安装插件根据其他博主推荐，3.7是百分百可行的，其他版本不保证，包括3.7.x，亲
feiepuhuo001·2020-08-16 06:24

在Ubuntu下安装eclipse并为eclipse配置hadoop开发环境

hadoop集群环境后（大家可以看我的其他几篇关于hadoop的微博，都是本人边学习边实践的经历，大家可以借鉴一下），接下来我来为大家介绍一下如何在Ubuntu下安装eclipse并且为eclipse配置hadoop
即将起飞的笨鸟·2020-08-16 06:47

Ubuntu环境下eclipse的hadoop开发

在安装好hadoop伪分布式后，开始搭建eclipse的hadoop开发环境我的版本信息如下：Ubuntu版本12.10Hadoop版本1.2.1Java版本1.6.0_31（命令java-version
weixin_30551947·2020-08-16 05:34

在Ubuntu下安装eclipse并为eclipse配置hadoop开发环境(关于eclipse下无法找到hadoop插件的解决办法)

2、为eclipse配置hadoop开发环境（1）安装hadoop插件下载hadoop在eclipse下的插件，我的插件是：hadoop-eclipse-plugin-1.2.1.jar，下载地址：http
mbshqqb·2020-08-16 05:39

ubuntu安装配置eclipse+hadoop开发环境（十分详细）+WordCount实例

我的环境：系统平台：Ubuntu14.04TLS（64位）Hadoop环境：Hadoop2.8.3Eclipse：Neon.2Release(4.6.2)Eclipse插件：hadoop-eclipse-plugin-2.8.3.jar1.先确保已安装了jdk和hadoop，没有的可参考以下两篇文章，已经安装的跳过此步骤ubuntujdk安装教程ubuntu搭建hadoop-2.8.3（伪分布式）
Toroidals·2020-08-16 04:55

9.大数据学习之旅——hive

Hive介绍Hadoop开发存在的问题只能用java语言开发，如果是c语言或其他语言的程序员用Hadoop，存在语言门槛。需要对Hadoop底层原理，api比较了解才能做开发。
零零天·2020-08-13 10:59
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他