hadoop编程

Hadoop编程——第三章：（3）Linux常用命令

概述命令属于死东西，属于多用多会，不用就忘的知识，孰能生巧；Tab键可以实现自动补全和提示，要合理使用；history命令可以显示历史执行记录，或者使用方向键来切换前后执行过的命令常用Linux命令包括:文件和目录管理命令磁盘空间命令文件压缩备份命令查看系统信息命令管理用户和权限的命令网络操作命令一、文件和目录管理命令pwd该命令的英文解释为printworkingdirectory(打印工作目录
罗伊女士·2023-11-19 09:26

如何使用Hive集成Solr?

（1）简单：如果单纯的使用Hadoop编程或者Spark编程来构建索引，当然也
三劫散仙·2023-11-02 08:55

HDFS编程 IDEA创建一个Maven的scala的模板工程

Hadoop编程创建一个Maven的scala的模板工程新的项目对Maven进行设置选择scala-tools填写信息修改路径修改项目名称和项目路径，点击【确定】复制代码内容拷贝文件到IDEA上这4个去官网下载个
ly稻草·2023-04-14 00:05

大数据系统与大规模数据分析--第二次作业操作，hadoop编程、同步图计算

大数据第二次作业操作大家好，我是【豆干花生】，这次我带来了大数据的第二次实践作业~主要内容为hadoop编程，使用GraphLite进行同步图计算可以说十分具体了，包含了具体操作、代码指令、各个步骤截图
豆干花生·2021-08-11 16:40

hadoop集群，如何运行Java jar包---如何运行mapreduce程序

下面详细讲一下：1.一种是打包，在hadoop集群运行首先我们要打包程序，打包具体可以参考（hadoop编程：解决eclipse能运行，打包放到集群上ClassNotFoundException:经验
TerryWater·2020-09-15 03:48

经典Hadoop家族系列文章

Hive学习路线图学习hadoop到上手工作线路指导（中级篇）零基础学习hadoop到上手工作线路指导（编程篇）Mahout学习路线图二编程实践Hadoop历史版本安装用Maven构建Hadoop项目Hadoop
Thomas-yang·2020-09-11 15:28

Hadoop综合编程

一、hadoop编程1、工具：idea：社区版和终极版（注册，参见https://blog.csdn.net/qq_35246620/article/details/79050895）maven：跟linux
HBinz·2020-08-25 06:16

【八】hadoop编程之基于用户的协同过滤推荐算法UserCF

基于用户的协同过滤推荐算法UserCF：给用户推荐和他兴趣相似的其他用户喜欢的物品模拟情景用户ABCDEF商品123456行为点击1.0分搜索2.0分收藏5.0分付款10.0分用户行为列表如下用户物品行为A1点击A3收藏A4搜索B2搜索B5搜索C1收藏C6付款D1付款D5收藏E3收藏E4点击F2收藏F3搜索F6点击算法步骤1.根据用户行为列表计算物品、用户的评分矩阵123456A105300B03
jy02268879·2020-08-24 14:33

Hadoop--两个简单的MapReduce程序

blog.csdn.net/huhui_cs/article/details/9907951源代码下载：http://download.csdn.net/detail/huhui_bj/5909575这周在学习Hadoop
最美的词·2020-08-17 10:50

Ubuntu环境下搭建Hadoop Eclipse开发环境

在安装插件、配置Hadoop的相关信息之后，如果用户创建Hadoop程序，插件会自动导入Hadoop编程接口的Jar文件，这样用户就可以在Eclipse
Bob Liu·2020-08-16 05:48

【九】hadoop编程之基于内容的推荐算法

基于内容的协同过滤推荐算法：给用户推荐和他们之前喜欢的物品在内容上相似的其他物品物品特征建模（itemprofile）以电影为例1表示电影具有某特征，0表示电影不具有某特征科幻言情喜剧动作纪实国产欧美日韩斯嘉丽的约翰成龙范冰冰复仇者联盟：10010010100绿巨人：10010010000宝贝计划：00110100011十二生肖：00010100010算法步骤1.构建itemprofile矩阵物品
jy02268879·2020-08-14 17:44

【Hadoop需要的Jar包】Hadoop编程-pom.xml文件

JDK版本的要求Hadoop2.7以及之后的版本，需要JDK7；Hadoop2.6以及之前的版本，支持JDK6；对于Hadoop1.x.x版本，只需要引入1个jar：hadoop-core对于Hadoop2.x.x版本，需要引入4个jar：hadoop-commonhadoop-hdfshadoop-mapreduce-client-corehadoop-clientjdk.tools（一般需要引
weixin_33875839·2020-08-11 23:50

hadoop编程：解决eclipse能运行，打包放到集群上ClassNotFoundException:经验总结

本文之所以称之为经验，是因为我们经常碰到莫名其妙的问题，从原理上是说不通的。但是我们却确确实实碰到了。在刚开始运行的时候，碰到了下文所表示的错误。本想作为经验总结留下来。为了让错误重现，所以又重新操作了一遍。这时候已经换环境，但是环境与原先没做任何的更改，也就是说他们的配置完全是一样的，神奇的是mapreduce执行的完全正确。对于如果碰到下面问题的同学，可以参考。对于原理性的内容，以后在更新。对
wbj0110·2020-08-10 22:26

MapReduce之 WordCount 源码分析和操作流程

在之前的工作中，主要做了三件事情：1如何完成Hadoop的完全分布式集群搭建2如何运行Hadoop自带示例WordCount，验证集群的运行3如何基于eclipse插件实现Hadoop编程完成每一件事都需要经过谨慎的操作
行路南·2020-08-08 22:13

hadoop idea 本地上传文件到hdfs

最近在学习hadoop编程，其中需要将数据上传到hafs仓库，但是要先复制到centos下再上传上去，比较麻烦，所以直接写了一个上传的程序，这个代码不能实现循环上传多个文件，有相应的函数，你可以试一下，
ming_514·2020-08-02 13:37

Hadoop编程学习5--PageRank算法实现

PageRank网页排名的算法，曾是Google发家致富的法宝。用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度。PageRank的设计思路如下：初始化过程：将原始文档的每个Page行末尾加上1.0表示的PageRank值初始化为1迭代计算过程：经过Map方法处理后，每行存放的数据格式为page_name\tlist_page_name(用,隔开)\tpagerank，在Map中迭代计
xiedelong·2020-08-01 07:45

大数据系统与大规模数据分析 之 作业二

大数据系统与大规模数据分析之作业二问题描述Hadoop编程程序源码大数据系统与大规模数据分析之作业二问题描述作业二：Hadoop编程总体任务输入文件：文本文件sourcedestinationtime这
a550461053·2020-07-27 18:17

零基础学习Hadoop，该如何下手？

hadoop编程，hadoop是一个Java框架，同时也是编程的一次革命，使得传统开发运行程序由单台客户端（单台电脑）转换为可以由多个客户端运行（多台机器）运行，使得任务得以分解，这大大提高了效率。
weixin_34210740·2020-07-15 05:52

hadoop实现简单的倒排索引

最近在学习hadoop编程，在大概理解了wordcount之后又接触了一个叫倒排索引的东东，所以就用它来练练手吧！首先介绍一下什么是倒牌索引！
iteye_7298·2020-07-13 06:42

Hadoop Invalid byte 1 of 1-byte UTF-8 sequence

在hadoop编程的时候出现了下面的问题（使用myeclipse调用hadoop集群的方式）：14/03/0311:19:31WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform
fansy1990·2020-07-04 15:19

零基础学习hadoop到上手工作线路指导（编程篇）

2019独角兽企业重金招聘Python工程师标准>>>问题导读：1.hadoop编程需要哪些基础？2.hadoop编程需要注意哪些问题？3.如何创建mapreduce程序及其包含几部分？
weixin_33859844·2020-06-28 06:23

Hadoop编程、分布式文件系统结构与设计

ch1Hadoop编程入门Hadoop是GoogleMapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。
slx965·2020-06-26 13:23

学习笔记 | 大数据 | Hadoop分布式系统基础架构 简介

数据存量和增量极大，极大数据需要存储和分析Hadoop可以存储并处理大量数据Hadoop编程简单易学02Hadoop生态系统更好的学习其他大数据技术HBase、Hive、SparkHadoop可以理解为是一个计算机集群的操作系统
大虎牙·2020-06-03 15:30

Hadoop阿里云部署保姆级教程 云计算Cloud Computing实践(二)

实验题目：面向分布式存储和计算的Hadoop部署，具体包括：配置和部署Hadoop编程环境，完成实验环境及实验工具的熟悉这里使用自己租用的年费阿里云服务器来搭建伪分布式Hadoop主要参考了官方安装教程阿里云
小方总·2020-03-25 19:14

总体计划 -- Whatever It Takes

tensorflow，写文章深度学习、神经网络、人脸识别基于CNN的推荐算法优化3找工作，这个是二类事物Java基础、算法、数据结构、4毕业论文：Hadoop+Spark+推荐算法Hadoop环境搭建Hadoop
艾剪疏·2019-12-23 07:39

大数据学习笔记——Hadoop编程实战之Mapreduce

Hadoop编程实战——Mapreduce基本功能实现此篇博客承接上一篇总结的HDFS编程实战，将会详细地对mapreduce的各种数据分析功能进行一个整理，由于实际工作中并不会过多地涉及原理，因此，掌握好
终极菜鸡·2019-12-05 21:00

大数据学习笔记——Hadoop编程之SequenceFile

SequenceFile(Hadoop序列文件)基础知识与应用上篇编程实战系列中本人介绍了基本的使用HDFS进行文件读写的方法，这一篇将承接上篇重点整理一下SequenceFile的相关知识及应用1.SequenceFile简介SequenceFile是Hadoop自带的一种键值对文件格式，它具有以下几个特点：1.由于该文件类型是Hadoop自带的，因此对Hadoop环境具有最强的兼容性2.由于H
终极菜鸡·2019-11-19 00:00

大数据学习笔记——Hadoop编程实战之HDFS

HDFS基本API的应用(包含IDEA的基本设置)在上一篇博客中，本人详细地整理了如何从0搭建一个HA模式下的分布式Hadoop平台，那么，在上一篇的基础上，我们终于可以进行编程实操了，同样，在编程前需要做一些准备工作，好了，那我们就开始吧！1.编程准备在后续的学习中，我们基本都是在用IntelliJIDEA这款集成开发环境，所以在Windows端，我们首先需要准备以下这三款软件：1）Intell
终极菜鸡·2019-11-11 01:00

Hadoop编程——Elasticsearch for Apache Hadoop从HDFS导入数据到Elasticsearch

Hadoop编程——从HDFS导入数据到Elasticsearch一、ElasticsearchforApacheHadoop安装1.1官网下载zip安装包1.2maven方式下载1.3将ES-hadoop
1-只小猴子·2019-07-18 15:51

hadoop编程实践（一）

Hadoop操作基础与IDE环境配置。Hadoop操作目录操作在操作之前，需要在hadoop根目录下创建与Linux用户同名的user目录./bin/hdfsdfs-mkdir-p/user/hadoop之后，所有的文件都默认放入这个目录下面，很多命令与Linux命令一致，比如查看当前文件夹：这个input是这样创建的：./bin/hfsdfs-mkdirinput若/input，表示在HDFS的
crazy_scott·2018-09-30 15:18

hadoop动态增加和删除节点方法介绍

上一篇文章中我们介绍了Hadoop编程基于MR程序实现倒排索引示例的有关内容，这里我们看看如何在Hadoop中动态地增加和删除节点（DataNode）。
liuyazhuang·2017-10-20 14:54

Hadoop编程基于MR程序实现倒排索引示例

相信接触过搜索引擎开发的同学对倒排索引并不陌生，谷歌、百度等搜索引擎都是用的倒排索引，关于倒排索引的有关知识，这里就不再深入讲解，有兴趣的同学到网上了解一下。这篇博文就带着大家一起学习下如何利用Hadoop的MR程序来实现倒排索引的功能。一、数据准备1、输入文件数据这里我们准备三个输入文件，分别如下所示a.txthellotomhellojerryhellotomb.txthellojerryhe
liuyazhuang·2017-10-20 14:01

hadoop编程-maven环境搭建

maven：配置maven环境①将maven解压到一个没有空格没有中文的路径上②添加环境变量M2_HOME，并添加PATH路径M2_HOME=C:\mysoft\apache-maven-3.5.0PATH=%M2_HOME%\bin③测试（mvn-version）编辑pom.xml文件org.apache.hadoophadoop-client2.7.4maven基础命令mvncleancomp
AricaCui·2017-09-19 08:09

Ruby调用Hadoop集群实战(草稿)

Java的编程语言,如Ruby,Python,php目录:一个例子一个python的WordCountHadoopStreaming的机制只要使用Unix标准输入输出任何语言都可以使用Hadoop几种Hadoop
caib1109·2016-06-20 09:00

Hadoop源码分析：Hadoop编程思想

60页的ppt讲述Hadoop的编程思想 下载地址 http://download.csdn.net/detail/popsuper1982/9544904
popsuper1982·2016-06-14 20:00

hadoop编程遇到的jvm问题为内存不够的解决办法

在ubuntu系统下开发hadoop程序时，遇到几个问题，小结如下。问题：内存不足，报错：ThereisinsufficientmemoryfortheJavaRuntimeEnvironmenttocontinue解决方法如下：1、使用进程查看命令：ps-e|grepjava。然后删除过多的java进程，释放出内存资源。这种方法治标。打开系统的限制文件：vi /etc/security/limi
qq_23617681·2016-04-26 16:00

Hadoop编程-自定义Hadoop数据类型报错：NoSuchMethodException

    Hadoop拥有自己一个I/O机制，要用Mapper、Reducer对数据进行处理，就离不开Hadoop提供的I/O基础数据类型，Hadoop提供了BooleanWritable、ByteWritable、IntWritable、FloatWritable、DoubleWritable、LongWritable等。用Hadoop提供的这些基础数据类型，可以解决一些简单的数据处理，如：最常见
Veechange·2016-03-27 17:00

如何使用Hive集成Solr?

（1）简单：如果单纯的使用Hadoop编程或者Spark编程来构建索引，当然也是可以的，只不过比
qindongliang1922·2016-03-17 15:00

如何使用Hive集成Solr?

（1）简单：如果单纯的使用Hadoop编程或者Spark编程来构建索引，当然也是可以的，只不过比
qindongliang1922·2016-03-17 15:00

Hive 基础及安装

于是Hadoop提供了两个解决方案（Pig&Hive），使得Hadoop编程变得更加容易。Hive在Hadoop中扮演
lanchunhui·2016-03-10 14:00

hadoop编程小技巧（5）---自定义输入文件格式类InputFormat

Hadoop代码测试环境：Hadoop2.4应用：在对数据需要进行一定条件的过滤和简单处理的时候可以使用自定义输入文件格式类。Hadoop内置的输入文件格式类有：1）FileInputFormat这个是基本的父类，我们自定义就直接使用它作为父类；2）TextInputFormat这个是默认的数据格式类，我们一般编程，如果没有特别指定的话，一般都使用的是这个；key代表当前行数据距离文件开始的距离，
ido·2016-02-18 14:00

Hadoop编程准备篇

学习Hadoop，了解了搭环境，总得要开始学习编程了（当然我没有条件去搭集群的Hadoop环境） Hadoop 的编程模型 Google 引用 MapReduce 的概念作为处理或生成大型数据集的编程模型。在规范模型中，map 函数处理键值对，这将得出键值对的中间集。然后 reduce 函数会处理这些中间键值对，并合并相关键的值（请参考图 1）。输入数据使用这样一种方法进行分区，即在并行处理的
·2015-11-13 01:41

hadoop编程技巧（3）---定义自己的区划类别Partitioner

Hadoop代码测试环境：Hadoop2.4 原则：在Hadoop的MapReduce过程。Mapper阅读过程完成后数据。它将数据发送到Partitioner。由Partitioner每个记录应当采取以确定哪些reducer节点，它用于通过缺省HashPartitioner。其核心代码例如以下： /** Use {@link Object#hashCode()} to partition
·2015-11-11 04:51

面试总结

4、hadoop编程，问了几道题，多个日志文件，根据id做数据链接，类似对数据表之间链接。还有一道是对10亿个整数数据进行排序，用mapreduce实现。 5、hadoop的容
·2015-11-11 02:35

Hadoop学习笔记（一）之示例程序：计算每年的最高温度MaxTemperature

另外设计到hadoop编程方面的请查阅另一个笔记系列：《Hadoop编程笔记》。如
·2015-10-31 11:03

Hadoop编程学习（四）：使用FileSystem类进行文件读写及查看文件信息

　　在这一节我们要深入了解Hadoop的FileSystem类——这是与与hadoop的文件系统交互的重要接口。虽然我们只是着重于HDFS的实现，但我们在编码时一般也要注意代码在FileSystem不同子类文件系统之间的可移植性。这是非常有用的，比如说你可以非常方便的直接用同样的代码在你的本地文件系统上进行测试。 使用hadoop URL读数据 　　从hadoop文件系统中读取文件的最简单的方法
·2015-10-31 11:03

Hadoop编程学习（四）：使用FileSystem类进行文件读写及查看文件信息

　　在这一节我们要深入了解Hadoop的FileSystem类——这是与与hadoop的文件系统交互的重要接口。虽然我们只是着重于HDFS的实现，但我们在编码时一般也要注意代码在FileSystem不同子类文件系统之间的可移植性。这是非常有用的，比如说你可以非常方便的直接用同样的代码在你的本地文件系统上进行测试。 使用hadoop URL读数据 　　从hadoop文件系统中读取文件的最简单的方法
·2015-10-31 08:03

Hadoop编程学习（三）：namenode内部关键数据结构介绍

1 概述 本文档目的在于对namenode中各种关键的数据结构进行剖析和解释，以方便更好的对namenode的各种处理逻辑和代码结构进行理解。其中包括对namenode中Namenode和FSNameSystem的程序代码结构，FSDirectory，BlocksMap， CorruptReplicationMap，excessReplicateMap， UnderReplicatedBloc
·2015-10-31 08:02

Hadoop学习笔记（一）之示例程序：计算每年的最高温度MaxTemperature

另外设计到hadoop编程方面的请查阅另一个笔记系列：《Hadoop编程笔记》。如
·2015-10-31 08:02

Hadoop1.2.0开发笔记（九）

（历代对本句训诂汗牛充栋，还不如本人的解释来得直接 ，顺便鄙视一下那些训诂专家，小题大做，愚不可及） 而本文要描述的是，先来模仿几个hadoop的example，以增强hadoop编程的感悟能力 从下面几个
·2015-10-30 14:10
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他