hadoop开发

hadoop最新发行稳定版：DKHadoop版本选择详解

阅读更多Hadoop对于从事互联网工作的朋友来说已经非常熟悉了，相信在我们身边有很多人正在转行从事hadoop开发的工作，理所当然也会有很多hadoop入门新手。
adnb34g·2018-12-28 16:00

大数据hadoop入门之hadoop家族产品详解

越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了。作为一个hadoop入门级的新手，你会觉得哪些地方很难呢？运行环境的搭建恐怕就已经足够让新手头疼。
adnb34g·2018-12-26 15:00

大数据hadoop入门之hadoop家族产品详解

越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了。作为一个hadoop入门级的新手，你会觉得哪些地方很难呢？运行环境的搭建恐怕就已经足够让新手头疼。
adnb34g·2018-12-26 15:00

大数据hadoop入门之hadoop家族产品详解

越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了。作为一个hadoop入门级的新手，你会觉得哪些地方很难呢？运行环境的搭建恐怕就已经足够让新手头疼。
adnb34g·2018-12-26 15:00

hadoop1.0 和 Hadoop 2.0 的区别

但Hadoop开发出来也并非一帆风顺的，Hadoop1.0版本有诸多局限。在后续的不断实践之中，Hadoop2.0横空出世，而后Hadoop2.0逐渐成为大数据中的主流。
zzzzMing·2018-12-25 21:00

搭建基于MyEclipse的Hadoop开发环境

搭建基于MyEclipse的Hadoop开发环境1.安装myeclipse的hadoop插件打开MyEclipse，查看是否已经安装过window->preferences没有显示HadoopMap/Reduce
Mr Cao·2018-12-18 19:07

大数据入门学习笔记（玖）- Hadoop整合Spring的使用

文章目录SpringHadoop概述SpringHadoop开发环境搭建及访问HDFSSpringBoot访问HDFSSpringHadoop概述官方链接http://spring.io/projects
-无妄-·2018-11-22 20:23

Hadoop开发插件安装

相关知识Eclipse是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是Eclipse附带了一个标准的插件集，包括Java开发工具（JavaDevelopmentTools，JDT）。Eclipse的插件机制是轻型软件组件化架构。在客户机平台上，Eclipse使用插件来提供所有的附加功能，例如支持Java以外的其他语言。
ITYTI·2018-11-12 19:09

零基础学习hadoop开发先明白这层关系

零基础学习hadoop开发先明白这层关系大数据hadoop无疑是当前互联网领域受关注热度最高的词之一，大数据技术的应用正在潜移默化中对我们的生活和工作产生巨大的改变。
本宫没空1·2018-11-06 09:15

大数据hadoop入门之hadoop家族详解

越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了。作为一个hadoop入门级的新手，你会觉得哪些地方很难呢？运行环境的搭建恐怕就已经足够让新手头疼。
首席数据师·2018-10-25 21:31

数据挖掘工具---流式处理---storm 教程

批处理和流式处理的应用程序对比解决方案StormSparkStreamingFlinkS4Hadoop开发者TwitterUCBerkeleyAMPLabApacheYahoo!
diggerTT·2018-10-25 11:35

hadoop最新发行稳定版：DKHadoop版本选择详解

hadoop最新发行稳定版：DKHadoop版本选择详解Hadoop对于从事互联网工作的朋友来说已经非常熟悉了，相信在我们身边有很多人正在转行从事hadoop开发的工作，理所当然也会有很多hadoop入门新手
本宫没空1·2018-10-23 10:30

Eclipse配置Hadoop开发环境+HDFS Java API测试

1.添加插件下载在WindowsEclipse上需要的一些额外的文件：hadoop-eclipse-plugin-2.6.0.jar在eclipse安装目录的dropins目录下新建plugin文件目录，把上面下载的jar包放入plugin文件夹下。2.在Windows上安装Hadoop2.6.0（1）在本地安装Hadoop注意本机安装的hadoop运行环境要和自己搭建的集群一致，如果不一致，则会
Hellomdk·2018-10-16 00:24

hadoop 开发&调试

为了以后方便，整理了一下windows下hadoop开发环境的配置和调试过程。首先本地下载一个和服务器相同版本的hadoop安装包。然后配置一个HADOOPHOME环境变量还
Yeung先森·2018-09-13 21:19

盘点大数据培训类别

阅读更多第一类：开发类1、SparkandHadoop开发人员培训（4天）考试建议：CCA175课程概述学习关键概念和掌握使用最新技术和工具将数据采集到Hadoop机群并进行处理。
ClouderaHadoop·2018-09-07 17:00

盘点大数据培训类别

阅读更多第一类：开发类1、SparkandHadoop开发人员培训（4天）考试建议：CCA175课程概述学习关键概念和掌握使用最新技术和工具将数据采集到Hadoop机群并进行处理。
ClouderaHadoop·2018-09-07 17:00

大数据工程师值得一考的4个Hadoop认证

分钟；70%通过；基于一个预配置的Cloudera企业版集群，解决8~12个场景下的任务2、CCASparkandHadoopDeveloper(CCA175)开发者认证认证准备建议：SparkandHadoop
ClouderaHadoop·2018-08-30 13:00

大数据工程师值得一考的4个Hadoop认证

分钟；70%通过；基于一个预配置的Cloudera企业版集群，解决8~12个场景下的任务2、CCASparkandHadoopDeveloper(CCA175)开发者认证认证准备建议：SparkandHadoop
ClouderaHadoop·2018-08-30 13:00

Cloudera Manager安装 & 搭建CDH集群

简介由于Hadoop深受客户欢迎，许多公司都推出了各自版本的Hadoop，也有些公司则围绕Hadoop开发产品。在Hadoop生态系统中，规模最大、知名度最高的公司则是Cloudera。
liang墨竹·2018-08-25 17:00

大快搜索hadoop入门基础教程之安装问题整理

Dkhadoop版本的下载安装以及运行环境搭建等各个方面内容基本都已经分享过了，今天给大家就dkhadoop开发环境安装中常见的问题以及解决方法进行汇总整理，希望对一些朋友有帮助吧！
adnb34g·2018-08-22 10:43

Eclipse安装Hadoop插件配置Hadoop开发环境

Eclipse安装Hadoop插件1、首先下载对应版本的hadoop插件注意：Hadoop插件要跟自己安装的Hadoop版本相对应。这儿有一个Hadoop2.X版本对应的Hadoop插件，前往下载，下载hadoop2x-eclipse-plugin.zip。解压后，release文件夹下的hadoop.eclipse-kepler-plugin-2.2.0.jar即为我们所需要的插件。2、进入Ec
DT鸽子·2018-08-14 22:31

java 读取 hadoop 的文件 demo

用于初步接触hadoop开发。怎么做？
风远陌·2018-08-10 10:49

Hadoop集群（第7期）_Eclipse开发环境设置

原文地址为：Hadoop集群（第7期）_Eclipse开发环境设置1、Hadoop开发环境简介1.1Hadoop集群简介Java版本：jdk-6u31-linux-i586.binLinux系统：CentOS6.0Hadoop
hong2511·2018-07-18 14:27

Hadoop入门——初识Hadoop

几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。今年大型IT公司，如EMC、Microsoft、Intel、Teradata、Cisco都明显增加了
东天里的冬天·2018-07-18 13:59

hadoop最新稳定版本dkhadoop版本介绍

Hadoop对于从事互联网工作的朋友来说已经非常熟悉了，相信在我们身边有很多人正在转行从事hadoop开发的工作，理所当然也会有很多hadoop入门新手。
adnb34g·2018-07-18 09:48

hadoop家族学习路线图之hadoop产品详解

越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了。作为一个hadoop入门级的新手，你会觉得哪些地方很难呢？运行环境的搭建恐怕就已经足够让新手头疼。
adnb34g·2018-07-17 14:35

Hadoop实战系列之MapReduce 分析 Youtube视频数据

本文知识点：eclipse的Hadoop开发环境搭建编写MR程序本地运行生成Jar包提交yarn运行（远程运行）本机环境Hadoop2.5.1eclipseindig
csdnzoutao·2018-07-03 17:00

hadoop开发之eclipse连接hdfs文件正常，运行程序却拒绝连接报错问题

eclipse可以连接显示hdfs文件，但运行程序时却提示拒绝连接报错如下：log4j:WARNNoappenderscouldbefoundforlogger(org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARNPleaseinitializethelog4jsystemproperly.log4j:WARNSeehtt
csdnzoutao·2018-07-03 15:36

hadoop的自定义分组实现 （Partition机制）

hadoop开发中我们会遇到类似这样的问题，比如如何将不同省份的手机号分别输出到不同的文件中，本片文章将对hadoop内置的Partition类进行重写以解决这个问题。
wanghuichen·2018-06-12 10:05

hadoop开发重点总结

1、Mapper的key排序方式默认为快速排序，合并切片文件时用的是归并排序，继承Mapper类*驱动类关联map：job.setMapperClass(WordcountMapper.class);2、Reducer需要继承Reducer类，重写reduce(key,values,context)方法*驱动类关联reducer：job.setReducerClass(WordcountReduc
我是超越·2018-05-17 09:47

hadoop开发优化总结

1、MapReduce数据压缩：1）压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadood下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，I/O操作和网络数据传输要花大量的时间。还有，Shuffle与Merge过程同样也面临着巨大的I/O压力。***压缩mapreduce的一种优化策略：通过压缩编码对mapp
我是超越·2018-05-17 09:57

Hadoop实战之MapReducer项目结构分析

2.hadoop的MapReducer模型结构（1）在eclipse中做hadoop开发：在系统上打开eclipse，新建一个MapReducer项目：打开ecli
csdnzoutao·2018-05-06 17:22

hadoop开发第五步之hive

hive的配置与使用简介：Hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。一.下载安装hive的包后，再/etc/proflie中进行环境变量的配置exp
阿都_lory·2018-05-01 16:16

Liunx搭建Spark开发环境

阅读更多Liunx搭建Spark开发环境1.Spark2.Spark开发环境搭建【1】Spark开发环境搭建需要Hadoop，Java,Scala环境的支持，由于本机已经默认安装Java和Hadoop开发环境
马智霖·2018-04-29 21:00

Liunx搭建Spark开发环境

阅读更多Liunx搭建Spark开发环境1.Spark2.Spark开发环境搭建【1】Spark开发环境搭建需要Hadoop，Java,Scala环境的支持，由于本机已经默认安装Java和Hadoop开发环境
马智霖·2018-04-29 21:00

hadoop开发第三步之HDFS

在hdfs上操作：备注：每次打开hdfs与yarn前需要将namenode格式化，否则namenode将不会开启即：hadoopnamenode-format#先格式化，中间有时需要同意某个东西，即y同意start-yarn.sh#start-all.sh不推荐使用，但也可以用start-dfs.sh使用jps可以查看namenode和datanode等是否全部开启hadoopfs-mkdir/i
阿都_lory·2018-04-28 23:02

CDH安装系统环境准备——系统版本和安装包下载地址指南

由于Hadoop深受客户欢迎，许多公司都推出了各自版本的Hadoop，也有一些公司则围绕Hadoop开发产品。在Hadoop生态系统中，规模最大、知名度最高的公司则是Cloudera。
pengdongcheng·2018-04-23 14:43

hadoop开发第一步

使用idea开发第一个hadoop程序：WordCount一，打开idea，建立maven程序二，添加基础依赖（pom.xml)maven依赖版本查询网址:https://mvnrepository.com/org.apache.hadoophadoop-core1.2.1org.apache.hadoophadoop-common2.7.2三，编写主程序WordCount.javaimportj
阿都_lory·2018-04-23 10:49

CDH安装系统环境准备——系统版本和安装包下载地址指南

由于Hadoop深受客户欢迎，许多公司都推出了各自版本的Hadoop，也有一些公司则围绕Hadoop开发产品。在Hadoop生态系统中，规模最大、知名度最高的公司则是Cloudera。
dcpeng·2018-04-22 22:00

Linux搭建Hadoop开发环境

阅读更多Linux搭建Hadoop开发环境Hadoop环境搭建安装配置：[1].官网下载Hadoop-2.7.5安装包：hadoop-2.7.5/hadoop-2.7.5.tar.gz[2].把Hadoop
马智霖·2018-03-31 01:00

Linux搭建Hadoop开发环境

阅读更多Linux搭建Hadoop开发环境Hadoop环境搭建安装配置：[1].官网下载Hadoop-2.7.5安装包：hadoop-2.7.5/hadoop-2.7.5.tar.gz[2].把Hadoop
马智霖·2018-03-31 01:00

Linux系统CentOS 7下载安装Hadoop以及初步配置

基于当前大数据火爆的就业前景，开始琢磨Hadoop相关的知识，本文用于记录学习Hadoop开发环境配置中的步骤，帮助自己以及有需要的其他人。
雨打芭蕉·2018-03-26 11:35

eclipse连接hadoop报错Error：No FileSystem for scheme：hdfs

hadoop2.8.3，jdk1.8.0-121，eclipseoxygen，hadoop-eclipse-plugin-2.8.3问题分析：如果配置有问题可参考另一篇文章：ubuntu安装配置eclipse+hadoop
Toroidals·2018-03-17 19:57

大数据学习记录（day7）- 搭建hadoop开发环境（1）

（距离上一次更新，时间隔了好久，继续学习吧）学习来源：http://www.aboutyun.com/thread-6187-1-1.htmlhttp://blog.csdn.net/yangwenxue_admin/article/details/51332324http://lib.csdn.net/article/hadoop/6616http://lib.csdn.net/article/
alvin_2005·2018-03-14 14:46

数据分析师、Hadoop开发工程师、算法工程师的薪水到底怎么样？

阅读更多数据分析师、Hadoop开发工程师、算法工程师的薪水到底怎么样？据最新发布的《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。
JAVA高级架构·2018-03-10 17:00

数据分析师、Hadoop开发工程师、算法工程师的薪水到底怎么样？

阅读更多数据分析师、Hadoop开发工程师、算法工程师的薪水到底怎么样？据最新发布的《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。
JAVA高级架构·2018-03-10 17:00

eclipse集成Hadoop开发环境配置

步骤如下1.修改系统管理员名字为了使Eclipse能正常对Hadoop集群的HDFS上的文件能进行修改和删除，所以修改你工作时所用的Win7系统管理员名字，默认一般为"Administrator"，把它修改为"root"，此用户名与Hadoop集群普通用户一致。为了不至于为权限苦恼，我们可以修改Win7上系统管理员的姓名，这样就避免出现该用户在Hadoop集群上没有权限等都疼问题，会导致在Ecli
dkjhl·2018-03-09 16:45

2018年最新Hadoop大数据开发学习路线图

下面详细介绍一下，学习Hadoop开发技术的路线图。Hadoop本身是用java开发的，所以对java的支持性非常
八斗学院·2018-01-11 14:38

Hadoop开发入门与实践(一)

Hadoop开发入门与实践(一)一、Hadoop简介  Hadoop是一个由Apache基金会所开发的分布式系统基础架构。  
Gambit_hou·2017-12-28 22:30

IDEA中配置hadoop开发环境

IDEA中整合hadoop开发环境前言：hadoop程序运行在分布式环境下，运行调试MapReduce只需要对应的hadoop相应的依赖jar包就可以，下面以是在伪分布模式下hadoop程序的开发与调试
chaoping315·2017-12-26 17:42
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他