大数据编程hadoop系列第8页

（三）hadoop系列之__CRT(SecureCRTPortable)的使用

　　SecureCRTPortable 属于终端仿真程序，支持SSH（查看此处http://blog.csdn.net/macrossdzh/article/details/5691924）协议。利用CRT可以很方便操作虚拟机终端。进入正题...... 1. 首先，下载SecureCRTPortable软件。 2.直接执行SecureCRTPortable.exe文件即可。 3.执行效果图。

·2015-11-07 10:18

（二）hadoop系列之__linux虚拟机搭建JDK和Eclipse环境

　　搭建JDK和Eclipse环境,首先需要把文件挂载或共享到linux虚拟机上。方式有两种： 1. 利用vwware自带的文件共享功能（建议用iso方式）。 2. 可以利用另外的软件工具。我这里用的是SSH(SshClient).大家可以打网上下载。我再这里用的是挂载的方式，也就是把需要的软件打包为iso镜像文件，然后通过vmware的cd/dvd挂载到linu

·2015-11-07 10:17

（一）hadoop系列之__XP环境下搭建linux虚拟机

1.有关vmware worksation9的安装查找网上相关资料。（我的版本：VMware-workstation-full-9.0.2-1031769.exe）下载地址：http://pan.baidu.com/share/link?shareid=377762&uk=3842943586 2.安装RedHat Linux9.需要下载的相关软件：　　 A

·2015-11-07 10:16

spring hadoop系列二（MapReduce and Distributed cache）

关于MapReduceandDistributedCache一、创建HadoopJob在前面的系列一里面我们已经知道如何配置hadoop了，在完成配置工作之后，我们如何提交job，并运行这些job将是接下来我们讲述的使用SHDP创建job是相当简单的指定reduce 和我们用spring定义bean操作的写法很相似。上面的代码可以看到没有指定hadoopconfiguration，在默认情况下，则

dalan_123·2015-11-06 15:00

spring hadoop系列二（MapReduce and Distributed cache）

dalan_123·2015-11-06 15:00

spring hadoop系列一

一、要求1、对于springhadoop2.1构建在jdk7上面（最低要求：jdk6及其以上），hadoop2.6默认构建在springframework4.1上。2、springforApachehadoop2.1支持如下hadoop版本 ApacheHadoop2.4.1 ApacheHadoop2.5.2 ApacheHadoop2.6.0 PivotalHD2.1 ClouderaCDH

dalan_123·2015-11-05 23:00

spring hadoop系列一

dalan_123·2015-11-05 23:00

HBase: 看上去很美

缘起随着hadoop系列的兴起，基于HDFS的大规模KV存储系统HBase也进入“大规模使用阶段”。网上的Hbase资料很多，学习成本正在下降。

·2015-11-02 11:31

Facebook为何选择云计算开源Hadoop

前段时间Facebook的新版消息系统发布，Facebook对HBase的成功使用也使得很多的HBase案例得以出现，下文是Facebook的 Hadoop工程师Dhruba Borthakur发表的Hadoop

·2015-10-31 11:54

Hadoop系列相关优秀网站收集

Hadoop技术论坛：http://www.hadoopor.com HBase相关技术收集：http://hbase.info/ 趋势科技中国研发中心 SPN研发团队技术博客：http://www.spnguru.com/ 淘宝搜索技术博客：http://www.searchtb.com/ Alex的个人博客：http://www.gemini5201314.net/ 逖靖寒的世界：h

·2015-10-30 15:19

Python/Numpy大数据编程经验

Python/Numpy大数据编程经验 1.边处理边保存数据，不要处理完了一次性保存。不然程序跑了几小时甚至几天后挂了，就啥也没有了。

·2015-10-30 13:12

Hadoop系列之实验环境搭建

实验环境基本配置硬件：硬盘单节点50GB，1G内存，单核。操作系统：CentOS6.4 64bit Hadoop：2.20 64bit(已编译) JDK：jdk1.7 磁盘分区： / 5GB /boot 100MB /usr 5GB /tmp 500MB swap 2GB /

·2015-10-27 13:23

我关注的一周技术动态 2015.10.25

hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io要点: 一直非常不喜欢hadoop系列对JVM的重度依赖,可能是我不熟悉java的原因吧

zhengran_baidu·2015-10-25 08:00

从零自学Hadoop系列索引

本文版权归mephisto和博客园共有，欢迎转载，但须保留此段声明，并给出原文链接，谢谢合作。文章是哥(mephisto)写的，SourceLink从零自学Hadoop(01)：认识Hadoop从零自学Hadoop(02)：环境准备从零自学Hadoop(03)：Linux准备上从零自学Hadoop(04)：Linux准备下从零自学Hadoop(05)：Ambari从零自学Hadoop(06)：集群

sinodzh·2015-09-24 16:00

Hadoop之倒排索引

本文作为Hadoop系列的第二篇，将介绍分布式情况下搜索引擎的基础实现，即“倒排索引”。1.问题描述将所有不同文件里面的关键词进行存储，并实现快速检索。

Sea_Sky·2015-09-19 00:00

Hadoop系列之十：Hadoop配置文件及常用配置参数详解(未完成)

马哥教育Linux·2015-09-12 16:00

Hadoop系列之六：分布式文件系统HDFS

magedu_Linux·2015-09-11 11:57

Hadoop系列之九：Hadoop集群伪分布式模式的实现详解

马哥教育Linux·2015-09-11 10:00

Hadoop系列之九：Hadoop集群伪分布式模式的实现详解

马哥教育Linux·2015-09-11 10:00

Hadoop系列之八：Hadoop集群

马哥教育Linux·2015-09-11 10:00

Hadoop系列之七：分布式文件系统HDFS(2)

马哥教育Linux·2015-09-11 10:00

Hadoop系列之六：分布式文件系统HDFS

马哥教育Linux·2015-09-11 10:00

Hadoop系列之五：MapReduce进阶(2)

马哥教育Linux·2015-09-11 10:00

Hadoop系列之四：MapReduce进阶

马哥教育Linux·2015-09-10 21:00

hadoop系列：zookeeper（3）——zookeeper核心原理（事件）

1、概述上一篇文章，我们对zookeeper中的数据组织结构、Leader选举原理进行了讲述（http://blog.csdn.net/yinwenjie/article/details/47613309）。这篇文章我们紧接上文讲解zookeeper中的事件机制。并通过示例代码告诉读者怎么使用zookeeper中的事件通知器：watcher。2、zookeeper中的监听机制按照上文中的讲解，我们

yinwenjie·2015-08-18 20:00

hadoop系列：zookeeper（2）——zookeeper核心原理（选举）

1、前述上篇文章《hadoop系列：zookeeper（1）——zookeeper单点和集群安装》（http://blog.csdn.net/yinwenjie/article/details/47361419

yinwenjie·2015-08-15 13:00

hadoop系列：zookeeper（1）——zookeeper单点和集群安装

1、概述8月份的第一周，忙得晕头转向，为了解决OSGI-Felix下hibernateJPA的ClassLoader问题，就耽误了至少两天时间，还好在周五系统成功在servicemix上运行了。已经几天时间没有碰博客了，刚好下周有安排给实验室的几个大神讨论zookeeper相关技术。我这么一想，咦~~刚好这周末准备PPT的时候，还不如就预先做几篇关于zookeeper的文章，这样既可以两件工作合成

yinwenjie·2015-08-08 23:00

Htrace on Hadoop, Hbase and HbaseClient

Hadoop2.6的新特性包含了Trace功能，一个类似于GoogleDapper的分布式跟踪工具，为Hadoop系列应用提供请求跟踪和性能分析。

hustsselbj·2015-06-23 11:00

设置XX_HOME环境变量的目的

安装Hadoop系列工具的时候，动不动就要设置XX_HOME，有时候很是费解。因为我在MacOSX上用brew套件安装器去安装这些工具，然后我没有设置XX_HOME也能在终端运行命令。

liaoqianwen123·2015-05-02 17:00

Hadoop 2.2.0和HBase 0.98.11伪分布式

前期准备Hadoop系列软件软件功用HBase数据库Hive数据仓库Mahout机器学习算法、数据挖掘Pig数据分析Avro数据序列化Chukwa日志处理、监控系统Zookeeper协调服务Hadoopversionsupportmatrix

liuyuan185442111·2015-04-21 16:00

Hadoop系列－IPC之代码实现

整体结构：在IPC包中，最重要的3个类是Server，Client和RPC，它们具有层次化的结构。 RPC类是对Server、Client的具体化。在RPC类中规定，客户程序发出请求调用时，参数类型必须是Invocation；从服务器返回的值类型必须是ObjectWritable。为了加强理解，可以查看测试类TestIPC。在那里，规定的参数类型与返回值类型都是LongWrita

arenzhj·2015-03-15 11:00

Hadoop系列之一：小象诞生

提及Hadoop这一大数据存储和处理工具，自然要从它的爸爸Doug Cutting说起。Doug Cutting不仅仅是Hadoop的创始人，还是大名鼎鼎的搜索引擎工具Lucene的开创者。一个程序员能有一个开源软件为千万人所用，而且历久弥新，已经是十分难得。兼具多个的就更是寥寥了。有类似经历的如Linus Torvalds，即是Linux发明者同时也开发了Git。2002年，Doug Cutti

tongqingqiu·2014-12-25 03:00

Hadoop系列之二：三足鼎立

上次说到了Hadoop是目前最流行的大数据工具，其核心是HDFS来存储数据和MapReduce来处理数据，但它又不仅仅如此。后来，围绕着Hadoop相继出现了一系列的应用。比如存储结构化数据的HBase，用于和传统数据实现数据迁移的Spooq，SQL接口Hive，用于工作调度的Ozzie，以脚本取代代码完成MapReduce的Pig，机器学习工具集Mahout等等。羽翼渐丰的Hadoop已经一步步

tongqingqiu·2014-12-25 03:00

Hadoop系列之三：技术未来

Hadoop的未来如何，一个重要的影响因素是技术的更新和进步。从最近几年Hadoop和其他大数据相关技术的发展，我们可以看出一些端倪。数据存储 – 前景乐观从文件存储技术来看，HDFS稳定而健壮，已然是海量文件存储的实际标准。当然也有一些分布式文件存储技术值得关注，如GlusterFS, Tachyon等等。但对HDFS尚不构成实质性的威胁。相比文件存储的一家独大，结构化数据的存储，目前呈现出的是

tongqingqiu·2014-12-25 03:00

hadoop系列

深度学习：http://f.dataguru.cn/topic-deep-learning.html 伯乐在线： http://blog.jobbole.com/ spark:http://rdc.taobao.org/?p=2024 google ip: 203.208.46.147 技术博客： hadoop,hbase,hive分类:http://www.shangx

lixuguang·2014-10-10 10:00

Hadoop系列之zookeeper(分布式协调服务)安装配置

Hadoop系列之zookeeper(分布式协调服务)安装配置1.安装cd/root/softtarzxvfzookeeper-3.4.6.tar.gzmvzookeeper-3.4.6/usr/local

cd_azhuang·2014-09-18 11:22

Hadoop系列之zookeeper(分布式协调服务)安装配置

Hadoop系列之zookeeper(分布式协调服务)安装配置1.安装cd/root/softtarzxvfzookeeper-3.4.6.tar.gzmvzookeeper-3.4.6/usr/local

cd_azhuang·2014-09-18 11:22

Hadoop系列之HBASE(分布式数据库)安装配置

1.hbase安装 cd/root/soft tarzxvfhbase-0.98.5-hadoop2-bin.tar.gz mvhbase-0.98.5-hadoop2 /usr/local/hadoop/hbase2.添加环境变量(所有节点都增加) #vim/etc/profile exportHBASE_HOME=/usr/local/hadoop/hbase exportPATH=$PA

cd_azhuang·2014-09-18 09:49

Hadoop系列之HBASE(分布式数据库)安装配置

1.hbase安装cd/root/softtarzxvfhbase-0.98.5-hadoop2-bin.tar.gzmvhbase-0.98.5-hadoop2/usr/local/hadoop/hbase2.添加环境变量(所有节点都增加)#vim/etc/profileexportHBASE_HOME=/usr/local/hadoop/hbaseexportPATH=$PATH:/usr/l

cd_azhuang·2014-09-18 09:49

Hadoop系列之Hive(数据仓库)安装配置

Hadoop系列之Hive(数据仓库)安装配置1.在NameNode安装 cd/root/soft tarzxvfapache-hive-0.13.1-bin.tar.gz mvapache-hive

cd_azhuang·2014-09-16 14:34

Hadoop系列之Hive(数据仓库)安装配置

Hadoop系列之Hive(数据仓库)安装配置1.在NameNode安装cd/root/softtarzxvfapache-hive-0.13.1-bin.tar.gzmvapache-hive-0.13.1

cd_azhuang·2014-09-16 14:34

Hadoop系列之MapReduce(分布式计算测试)

MapReduce分布式计算测试1.统计文本单词数量1.1.查看当前hdfs分布式系统存储内容[root@hdfs-masterhadoop]#hdfsdfs-ls-R/drwxr-xr-x -rootsupergroup 02014-09-1509:05/test-rw-r--r-- 2rootsupergroup 42014-09-1509:05/test/

cd_azhuang·2014-09-15 15:19

Hadoop系列之MapReduce(分布式计算测试)

MapReduce分布式计算测试1.统计文本单词数量1.1.查看当前hdfs分布式系统存储内容[root@hdfs-masterhadoop]#hdfsdfs-ls-R/drwxr-xr-x-rootsupergroup02014-09-1509:05/test-rw-r--r--2rootsupergroup42014-09-1509:05/test/aa.txt-rw-r--r--2roots

cd_azhuang·2014-09-15 15:19

Hadoop系列之hdfs(分布式文件系统)安装配置

Hadoop系列之hdfs(分布式文件系统)安装配置环境介绍: ip 节点192.168.3.10 hdfs-master192.168.3.11

cd_azhuang·2014-09-12 22:32

Hadoop系列之hdfs(分布式文件系统)安装配置

Hadoop系列之hdfs(分布式文件系统)安装配置环境介绍:ip节点192.168.3.10hdfs-master192.168.3.11hdfs-slave1192.168.3.12hdfs-slave21

cd_azhuang·2014-09-12 22:32

Hadoop系列教程收录

为何有些公司在机器学习业务方面倾向使用R+Hadoop方案？你不知道的十个Hadoop的应用场景Hadoop教程：Hadoop的源起和体系架构Hadoop教程：Hadoop核心架构详细解析Hadoop教程：Hadoop集群和网络的基本原理(一)Hadoop教程：Hadoop集群和网络的基本原理(二)Hadoop教程：Hadoop集群和网络的基本原理(三)Hadoop教程：Hadoop基本流程和代码

雷阵子·2014-08-06 16:00

Hadoop系列之Terasort

TeraSort是Hadoop的测试中很有用的一个工具，但以前只是粗略的知道它的功能和用法，简单的用它做了几个测试用例。实际上，对于这种比较通用的工具，如果能够了解它更多一些的话，对于理解Hadoop是很有帮助的，同时也可以更好的利用它来帮助测试。最近有点时间，就了解了一些它的背景，代码实现原理等等，就先记录下来吧。1. Hadoop与SortBenchmarksSortBenchmark(htt

gjt19910817·2014-06-10 23:00

Hadoop系列之Terasort<转>

TeraSort是Hadoop的测试中很有用的一个工具，但以前只是粗略的知道它的功能和用法，简单的用它做了几个测试用例。实际上，对于这种比较通用的工具，如果能够了解它更多一些的话，对于理解Hadoop是很有帮助的，同时也可以更好的利用它来帮助测试。最近有点时间，就了解了一些它的背景，代码实现原理等等，就先记录下来吧。1. Hadoop与SortBenchmarksSortBenchmark(htt

yongjian_luo·2014-03-04 15:00

\(^_^)/ 技术

css dojo dwr eclipse ehcache esayui esb etl eucalyptus extjs freemarker ftp git hadoop hadoop

yanguz123·2014-02-28 21:00

IT技术资料集锦：技术精英由此开始

IT技术资料集锦：技术精英由此开始IT技术资料集锦：技术精英由此开始：篇一：Hadoop系列资料；篇二：JAVA开发系列资料；篇三：NOSQL系列资料；篇四：数据结构系列资料；篇五：云架构系列资料对其内容详细阅读

李航421·2014-01-09 11:00

推荐频道

大数据编程hadoop系列

（三）hadoop系列之__CRT(SecureCRTPortable)的使用

（二）hadoop系列之__linux虚拟机搭建JDK和Eclipse环境

（一）hadoop系列之__XP环境下搭建linux虚拟机

spring hadoop系列二（MapReduce and Distributed cache）

spring hadoop系列二（MapReduce and Distributed cache）

spring hadoop系列一

spring hadoop系列一

HBase: 看上去很美

Facebook为何选择云计算开源Hadoop

Hadoop系列相关优秀网站收集

Python/Numpy大数据编程经验

Hadoop系列之实验环境搭建

我关注的一周技术动态 2015.10.25

从零自学Hadoop系列索引

Hadoop之倒排索引

Hadoop系列之十：Hadoop配置文件及常用配置参数详解(未完成)

Hadoop系列之六：分布式文件系统HDFS

Hadoop系列之九：Hadoop集群伪分布式模式的实现详解

Hadoop系列之九：Hadoop集群伪分布式模式的实现详解

Hadoop系列之八：Hadoop集群

Hadoop系列之七：分布式文件系统HDFS(2)

Hadoop系列之六：分布式文件系统HDFS

Hadoop系列之五：MapReduce进阶(2)

Hadoop系列之四：MapReduce进阶

hadoop系列：zookeeper（3）——zookeeper核心原理（事件）

hadoop系列：zookeeper（2）——zookeeper核心原理（选举）

hadoop系列：zookeeper（1）——zookeeper单点和集群安装

Htrace on Hadoop, Hbase and HbaseClient

设置XX_HOME环境变量的目的

Hadoop 2.2.0和HBase 0.98.11伪分布式

Hadoop系列－IPC之代码实现

Hadoop系列之一：小象诞生

Hadoop系列之二：三足鼎立

Hadoop系列之三：技术未来

hadoop系列

Hadoop系列之zookeeper(分布式协调服务)安装配置

Hadoop系列之zookeeper(分布式协调服务)安装配置

Hadoop系列之HBASE(分布式数据库)安装配置

Hadoop系列之HBASE(分布式数据库)安装配置

Hadoop系列之Hive(数据仓库)安装配置

Hadoop系列之Hive(数据仓库)安装配置

Hadoop系列之MapReduce(分布式计算测试)

Hadoop系列之MapReduce(分布式计算测试)

Hadoop系列之hdfs(分布式文件系统)安装配置

Hadoop系列之hdfs(分布式文件系统)安装配置

Hadoop系列教程收录

Hadoop系列 之Terasort

Hadoop系列之Terasort<转>

\(^_^)/ 技术

IT技术资料集锦：技术精英由此开始

Hadoop系列之Terasort