hadoop开发

Spark and Hadoop认证考试大纲CCA175

阅读更多认证准备建议：SparkandHadoop开发者培训考试形式：120分钟；70%通过；解决10~12基于CDH5机群上需通过实际操作的问题考试大纲数据采集这包括以下内容：使用Sqoop将数据从MySQL
ClouderaHadoop·2017-11-30 15:00

Spark and Hadoop认证考试大纲CCA175

阅读更多认证准备建议：SparkandHadoop开发者培训考试形式：120分钟；70%通过；解决10~12基于CDH5机群上需通过实际操作的问题考试大纲数据采集这包括以下内容：使用Sqoop将数据从MySQL
ClouderaHadoop·2017-11-30 15:00

手动生成 hadoop-eclipse-plugin-2.x 插件

学习过程想搭建eclipse下的hadoop开发环境，几经搜索么找到合适的插件。
chenyulancn·2017-11-08 11:14

CCA131/CCA159/CCA175认证考试代报名

分钟；70%通过；基于一个预配置的Cloudera企业版集群，解决8~12个场景下的任务2、CCASparkandHadoopDeveloper(CCA175)开发者认证认证准备建议：SparkandHadoop
ClouderaHadoop·2017-10-19 15:00

【大数据系统架构师】学习目录

0.大数据相关预备课程0.1Java编程基础0.2Linux基础0.3MySQL基础1.Hadoop开发技术基础1.1.Linux基础1.2大数据基础Hadoop2.X1.3大数据仓库Hive1.4大数据协作框架
沙漏哟·2017-10-07 13:00

eclipse上搭建hadoop开发环境

一、概述1.实验使用的Hadoop集群为伪分布式模式，eclipse相关配置已完成；2.软件版本为hadoop-2.7.3.tar.gz、apache-maven-3.5.0.rar。二、使用eclipse连接hadoop集群进行开发1.在开发主机上配置hadoop①将hadoop-2.7.3.tar.gz解压到本地主机上②使用windows版本的hadoop中的bin替换目标中的bin文件夹③配
一语成谶灬·2017-09-07 11:45

使用Java操作Hadoop API

Hadoop的环境一旦搭建完成，我们就可以进行Hadoop应用开发了，可以进行Hadoop开发的程序语言有多种选择，比如JAVA，python，ruby等等。
kestiny·2017-08-08 18:37

使用chukwa的自定义数据类型收集日志配置问题

chukwa是基于hadoop开发的数据采集与分析的框架，我最近在看陈康贤编著的《大型分布式网站架构设计与实践》，书中最后一章数据分析讲到如何使用chukwa收集nginx下的日志信息access.log
风雨诗轩·2017-07-14 18:22

Ubuntu Linux hadoop开发环境搭建详细教程 一、安装Linux虚拟机

最近,开始学习大数据处理技术，由于以前没有接触过这个领域，刚开始学的时候还是蛮费劲的，尤其是环境搭建就有很多细则地方需要注意。此处，我把自己环境搭建过程作了一个完整的教程，为有需要的同仁们提供些许参考。本教程写的比较详细，为了便于理解，截取了很多界面图形，适合于所有有志于于进行大数据处理技术学习的编程开发人员(包括linux、hadoop零基础起步的人员)，有一定基础的可以跳过相关细则步骤。所用的
james9668·2017-06-20 23:19

Eclipse连接远程Hadoop集群&运行WordCount例程

hadoop开发主要分为两种，第一种是脱离集群开发；第二种是连接远程Hadoop集群，将我们开发的API提交hadoop执行；http://www.aboutyun.com/thread-6950-1-
nyyjs·2017-06-20 16:52

eclipse通过hdfs提供的api对hdfs进行文件操作

第一步需要获取eclipse进行hadoop开发的插件支持，hadoop第一代和第二代不同，第二代貌似没直接给插件，需要网上找，第一代的有，怎样去获取呢？想必大家很关心，我开始也纳闷这玩意儿在哪里？
荒唐的程序猿·2017-05-18 17:07

eclipse通过hdfs提供的api对hdfs进行文件操作

第一步需要获取eclipse进行hadoop开发的插件支持，hadoop第一代和第二代不同，第二代貌似没直接给插件，需要网上找，第一代的有，怎样去获取呢？想必大家很关心，我开始也纳闷这玩意儿在哪里？
pangliang_csdn·2017-05-18 17:00

Cygwin搭建hadoop开发环境

这篇文章不具体讲一些细的概念东西，如要了解cygwin和hadoop可以去参考其他的文章，该文阐述从下载cygwin到搭建hadoop环境，里面的图片部门来自网上资料，因为本人当时部署时没有保存自己运行图片，但是步骤是一样的。对于hadoop是个庞大的生态系统，里面光一些技术要点多达几十种，但所谓千里之行，始于足下，对于我这样的技术小白来说，如果想弄一个完全分布式的hadoop环境无异天方夜谭，首
pangliang_csdn·2017-05-17 16:00

我为什么不继续做java，用4个月转做了Hadoop开发？

在网上看看Hadoop开发呢？相对java来说好太多，Hadoop开发这个职位公司很舍得投入，而且对经验要求也不高。
ExceptionMapping·2017-05-09 14:41

Hadoop的认证考试体系（CDH相关）

120分钟；70%通过；基于一个预配置的Cloudera企业版集群，解决8~12个场景下的任务CCASparkandHadoopDeveloper(CCA175)开发者认证认证准备建议：SparkandHadoop
CDHandHadoop·2017-05-03 13:52

Hadoop大数据平台架构与实践 | hadoop概述与安装

-基础篇目录内容概要Hadoop前生Hadoop的功能与优势Hadoop的生态系统和版本Hadoop安装内容概要1、大数据技术的相关概念2、Hadoop的架构和运行机制3、Hadoop的安装和配置4、Hadoop
拾壹北·2017-04-28 13:06

Windows7操作系统下使用Eclipse来搭建hadoop开发环境

一、步骤：1、安装jdk（略）2、安装eclipse（略）如有问题请参考http://blog.csdn.net/crazytaliban/article/details/689580003、在windows7中安装hadoop-2.7.3。只需将hadoop-2.7.3.tar.gz解压即可，我解压到d:\hadoop-2.7.3。4、安装eclipse的hadoop插件。从网上下载hadoop
crazytaliban·2017-04-16 01:04

（第6篇）大数据发展背后的强力推手——HBase分布式存储系统

因为链接经常被和谐，需要的朋友请加微信ganshiyun666来获取最新下载链接，注明“OSC”教程已帮助300+人成功转型Hadoop开发，90%起薪超过20K，工资比之前翻了一倍。
chitan2235·2017-03-22 13:00

Ubuntu设置SSH免密登录(不同于CentOS)

Ubuntu设置SSH免密登录(不同于CentOS)1.遇到的坑之前一直在CentOS系统进行Hadoop开发，SSH免密登录配置过N次，今天在Ubuntu平台下设置免密登录遇到了坑：kylin@uk0
程裕强·2017-03-03 16:28

W10下，基于myeclipse的hadoop开发环境的配置

起因：在搭建过程中，出现Myeclipse和HDFS无法连接的问题，因为，网络上的博客都说单击finish按钮，关闭窗口，如果左侧的projectexploreDFSLocations下会展现hdfs集群中的文件表示连接成功。现实相当骨干残忍，我倒腾了好几遍，projectexplore下都没有出现DFSLocations。有问题百度啊！百度后，发现网络上只要带myeclipse+hadoop插件
love_chenfeng·2017-02-21 11:40

Hadoop开发常用的API汇总

HDFSJAVAAPIversion273HBASEJAVAAPIversion124MAPREDUCEJAVAAPIversion273HDFSJAVAAPI(version2.7.3)HDFS分布式文件系统JAVAAPI。与local的java文件系统的API类似。NameDescriptionorg.apache.hadoop.conf.configurationhadoop中javaAPI
Allocator·2017-02-15 16:38

virtualbox＋linux 增强工具安装出现问题（mount vboxsf 未知）

virtualbox安装了centos6.3要做hadoop开发用然后要做和主机的共享文件夹。
hongye_main·2017-01-17 03:15

【Hadoop】hadoop2.7.3-spark2.0.2集群部署总结

elasticSearch的系统应该已经配置好了JDK环境;推荐JDK7scala开发包br>spark依赖于scala运行,scala是开发spark统计程序的官方语言;推荐安装scala-2.11版本hadoop
moxiaomomo·2017-01-10 09:33

hadoop单机快速入门

由于hadoop开发一般是基于j
Armmyer·2017-01-05 00:39

hadoop开发环境搭建时出现的一些问题

hadoop开发环境搭建时出现的一些问题一、向eclipse添加hadoop插件时，将插件拷贝到plugs文件夹下却不起作用。
HW--0919·2016-12-30 10:09

在linux中搭建hadoop开发环境

在linux中搭建hadoop开发环境一、在windows上安装linux双系统hadoop是运行在linux下的并行计算框架，在windows上搭建也是通过cygwin模拟linux的环境来运行，所以个人觉得直接在
HW_0919·2016-12-27 13:00

Hadoop开发过程中所遇到的那些坑

核心内容：1、Hadoop开发过程中常见问题即解决方案在Hadoop开发的过程中，我们总是遇到各种各样的问题，今天就整理总结一下：万能的解决方案：6个检查+具体日志在Hadoop开发的过程中如果遇到各种异常
安静的技术控·2016-12-25 15:21

使用Maven搭建Hadoop开发环境

关于Maven的使用就不再��嗦了，网上很多，并且这么多年变化也不大，这里仅介绍怎么搭建Hadoop的开发环境。1.首先创建工程复制代码代码如下:mvnarchetype:generate-DgroupId=my.hadoopstudy-DartifactId=hadoopstudy-DarchetypeArtifactId=maven-archetype-quickstart-Dinteract
kongxx·2016-10-13 11:58

Cloudera官方课程CDH管理员（CCAH）、开发者（CCA175）、数据分析

SparkandHadoop开发者培训培训时长：4天/28课时认证考试：CCA175了解ApacheSp
ClouderaHadoop·2016-10-11 17:00

64位CentOS6.8安装hadoop伪分布与64位win10Eclipse的Hadoop开发框架配置

64位CentOS6.8安装hadoop伪分布与64位win10Eclipse的Hadoop开发框架配置一：centos6.8安装在相关网站下载centos6.8后，用vmware虚拟机安装选择稍后安装操作系统打开虚拟机前
geekcug·2016-10-09 19:00

hadoop基础----hadoop实战(四)-----myeclipse开发MapReduce---myeclipse搭建hadoop开发环境并运行wordcount

hadoop实战(三)-----hadoop运行MapReduce---对单词进行统计--经典的自带例子wordcount其实hadoop学习可以分成2部分，一部分是hadoop的运维性能优化，一部分就是hadoop
张小凡vip·2016-09-18 19:33

基于Docker搭建Hadoop集群(ubuntu操作系统)

我这个项目的目标是将Hadoop集群运行在Docker容器中，使Hadoop开发者能够快速便捷地在本机搭建多节点的Hadoop集群，即通过一台Ubuntu节点运行Hadoop集群环境。针对项目的环境
Free World·2016-09-17 08:06

windows 32位eclipse远程hadoop开发环境搭建

本文假设hadoop环境在远程机器(如linux服务器上)，hadoop版本为2.5.2注：本文eclipse/intellijidea远程调试hadoop2.6.0主要参考了并在其基础上有所调整由于我喜欢在win764位上安装32位的软件，比如32位jdk，32位eclipse，所以虽然本文中的操作系统是win764位，但是所有的软件都是32位的。软件版本：操作系统：win764位eclipse
lele5000·2016-07-14 09:59

Hadoop开发----经验总结3

之前在Hadoop的开发过程中，一直犯了一个比较严重的错误：一直将windows下的hadoop的本地运行模式理解为hadoop的集群运行模式，现将Hadoop的运行模式总结如下：1、独立模式即本地运行模式（standalone或localmode）无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开
a2011480169·2016-07-05 21:00

Hadoop开发---经验总结2

最近一段时间又在忙hadoop了，针对最近开发过程中遇到的问题总结一下：(1)HDFS命令hadoopfs-rmr/*的一个漏洞问题实例如下：解决方案：将HDFS的具体访问路径在命令行中写出：hadoopfs-rmrhdfs://hadoop20:9000/*(2)HDFS中block块的具体理解:我们都知道文件在HDFS中是以block块的形式来进行存储的，但归根到底文件最终还是存储在了本地文件
a2011480169·2016-06-25 13:00

MapReduce基础开发之二数据去重和排序

因Hadoop集群平台网络限制，只能在eclipse里先写好代码再提交jar到集群平台namenode上执行，不能实时调试，所以没有配置eclipse的hadoop开发环境，只是引入了hadoop的lib
fjssharpsword·2016-06-23 11:00

hadoop实践（四） hadoop伪分布式发布

集群发布试验后，后续要转向hadoop开发，所以下面要进行伪分布式发布和eclipse结合的实践。
虎纠卫·2016-06-14 00:24

hadoop实践（四） hadoop伪分布式发布

集群发布试验后，后续要转向hadoop开发，所以下面要进行伪分布式发布和eclipse结合的实践。
csolo·2016-06-14 00:00

Hadoop开发环境搭建

               之前稍微了解了一下大数据方面的知识，在搭建环境的时候我很惆怅的，因为那时候没有弄好，刚好这几天有时间，于是把以前没有弄好的又来配置了一下，没想到居然成功了，这个过程走了很多的弯路，查阅了网上大量资料，终于直接也来整理一下了。              hadoop是分为3种安装模式的，单机模式，伪分布模式和完全分布模式。众所周知，完全分布模式是企业真实开发用的，会需要
sdksdk0·2016-05-25 16:00

初步掌握Yarn的架构及原理

在过去的几年中，hadoop开发团队做了一些bug的修复，但是这些修复的成本越来越高，这表明对原框架做出改变的难度越来越大。为从根本上解决旧MapReduce框架的性能
ljc520313·2016-05-14 16:00

maven构建CDH开发环境

使用clouderahadoop开发hadoop程序，官方文档上有两种方法。第一种即把相应jar包拷贝到工程目录中去，另一种即使用maven管理依赖jar包。
trucyluce·2016-05-12 12:00

Ubuntu14上安装配置Hadoop2.6.0

Hadoop是使用java编写的，所以在进行Hadoop开发之前，需要安装配置java环境： JAVA安装和配置jdk下载地址（我下载的是jdk1.8.0_92）：http://www.oracle.com
tianmaxingkong_·2016-05-11 17:00

windows上搭建hadoop开发环境

                                                                         windows上搭建hadoop开发环境 前言 Windows
yangwenxue_admin·2016-05-06 16:00

linux ubuntu系统下基于eclipse的hadoop开发环境搭建

hadoop是基于linux操作系统的。本文在linuxubuntu系统下，在eclipse下配置hadoop的开发环境。这个开发环境对linux下的hadoop伪分布式配置有效，其他配置情况不明。如果是完全分布式环境，需要重新设置core-site.xml,hdfs-site.xml,mapred-site.xml(如果启动了yarn，还是需要设置yarn-site.xml)主要是从这几个文件中
qq_23617681·2016-04-26 00:00

linux maven的配置小结

hadoop开发需要用到eclipse、maven。这里介绍linuxubuntu环境下如何安装、配置maven.如何与eclipse连接。如何编写一个简单的maven工程。
qq_23617681·2016-04-25 21:00

有一种面试叫-----别人的面试

第一周：第一个面试（天融信）拿到了offer，面试职位为Hadoop开发工程师，面试主要问题：问了一些项目中的并发、数据量、规模，Hadoop中Yarn的架构、数据流，REST的定义和优势，写一个单例模式
lazypark·2016-04-23 19:00

Hadoop学习之第三章节：Myeclipse连接Hadoop配置安装

环境为window64系统1、安装Hadoop开发插件下载hadoop-eclipse-plugin-2.4.0.jar，拷贝到myeclipse根目录下/dropins目录下。
iqdutao·2016-04-22 19:07

hadoop运行环境安装与配置+hadoop开发环境配置（二）

本篇主要小结windows下基于Eclipse的hadoop程序开发环境搭建。hadoop的运行环境是Linux。开发环境可以选择Linux+Eclipse。也可以选择Windows+Eclipse。个人建议还是选择Windows+Eclipse，毕竟Windows还是友好些，上网查资料也方便。先决条件：1、安装好JDK，并设置好环境变量。2、安装好Eclipse。配置步骤：1、下载hadoopE
qq_23617681·2016-04-19 23:41

hadoop运行环境安装与配置+hadoop开发环境配置（二）

本篇主要小结windows下基于Eclipse的hadoop程序开发环境搭建。hadoop的运行环境是Linux。开发环境可以选择Linux+Eclipse。也可以选择Windows+Eclipse。个人建议还是选择Windows+Eclipse，毕竟Windows还是友好些，上网查资料也方便。先决条件：1、安装好JDK，并设置好环境变量。2、安装好Eclipse。配置步骤：1、下载hadoopE
qq_23617681·2016-04-19 23:00

hadoop运行环境安装与配置+hadoop开发环境配置（一）

这两篇主要小结在hadoop学习过程中，Linux(ubuntu)下hadoop安装与环境配置+window下开发环境的配置。这是第一篇，主要小结hadoop在ubuntu环境下的安装与配置。不对之处，请指正。一、hadoop介绍hadoop时一个分布式开源计算框架。是当前大数据领域最炙手可热的分布式计算框架。有志于大数据方向的同学，不可能不知道hadoop。hadoop主要为Linux而设计，运
qq_23617681·2016-04-19 23:00
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他