hadoop学习

Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Wi

目前是hadoop学习初期想通过本地直接运行不再用打成jar包的形式进行测试win10配置hadoop的时报错这里对hadoop安装配置就不再多说了大家可以参考这里Win10安装Hadoop详解做了简单的配置后在本地运行时报
旋奘·2020-07-10 00:03

Hadoop学习笔记—18.Sqoop框架学习

一、Sqoop基础：连接关系型数据库与Hadoop的桥梁1.1Sqoop的基本概念Hadoop正成为企业用于大数据分析的最热门选择，但想将你的数据移植过去并不容易。ApacheSqoop正在加紧帮助客户将重要数据从数据库移到Hadoop。随着Hadoop和关系型数据库之间的数据移动渐渐变成一个标准的流程，云管理员们能够利用Sqoop的并行批量数据加载能力来简化这一流程，降低编写自定义数据加载脚本的
dcw626·2020-07-09 15:08

Hadoop学习总结

初识HadoopHadoop历史雏形开始于2002年的Apache的Nutch，Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。随后在2003年Google发表了一篇技术学术论文谷歌文件系统（GFS）。GFS也就是googleFileSystem，google公司为了存储海量搜索数据而设计的专用文件系统。2004年Nutch创始人
bcbobo21cn·2020-07-09 13:55

零基础小白入手hadoop学习路线和教程分享

这里写图片描述Hadoop技术本身并不是新技术，而是互联网时代成就了它，互联网产生了大量的数据，传统的服务器解决方案成本太高，Hadoop分布式处理技术可以解决这个问题，随着BAT等知名公司的成功案例，越来越多互联网公司也都开始使用。Hadoop是云计算的基础。而绝大部分的云计算中的分布式存储和计算都是使用hadoop的。云计算在国家十二五规划中也有重要章节讨论，云计算已经被提高到国家中长期发展战
大数据导师·2020-07-09 12:09

Hadoop学习四十三：MapReduce的二次排序

一.概述关于二次排序的文章，网上很多，比喻http://www.cnblogs.com/xuxm2007/archive/2011/09/03/2165805.html就写的不错。在此文基础上补充几点。二.job.setPartitionerClass在什么地方被用到mapper里每一次write，都会调用到collector.collect(key,value,partitioner.getPa
zy19982004·2020-07-09 06:07

hadoop学习总结

hadoop学习总结：1.hadoop简介：（1）分布式存储系统。HDFS(HadoopDistirbutedFileSystem)#分布式存储系统。#提供了高可靠/高拓展/高吞吐率的数据存储服务。
一夜了·2020-07-09 03:11

Hadoop学习——MapReduce的job机制和job链介绍

  前边写了MapReduce的介绍、以及四大组件、序列化机制和排序。  这一篇记录一下MapReduce相关的job机制，对于在代码里，我们总要有一个Driver，比如下边：publicstaticvoidmain(String[]args)throwsException{Configurationconf=newConfiguration();//获取job对象Jobjob=Job.getIn
JAVA码上飘·2020-07-09 00:55

Hadoop学习（四）：资源调度管理系统YARN

YARN简介YARN是Hadoop2.0引进的，前身是MapReduce本身的资源调度框架，Hadoop2.0后将MapReduce计算框架和YARN资源调度框架做了分离。YARN核心组件ResourcesManager是YARN主从架构下的master，是整个集群资源的调度者和管理者。Client提交作业后，首先是向RM提交资源申请。RM负责给用户提交的所有应用程序分配资源，它根据应用程序优先级
有理想的番茄·2020-07-08 21:51

Hadoop学习(7)-hive的安装和命令行使用和java操作

Hive的用处，就是把hdfs里的文件建立映射转化成数据库的表但hive里的sql语句都是转化成了mapruduce来对hdfs里的数据进行处理，并不是真正的在数据库里进行了操作。而那些表的定义则是储存在了mysql数据库中，他只是记录相应表的定义所以你的集群中要有一台机器装了mysql装hive，装到哪都行然后解压tar–zxvfxxxxx–Capps然后进入到这个目录里下的conf里创建hiv
weixin_30323961·2020-07-08 13:18

Hadoop学习(6)-HBASE的安装和命令行操作和java操作

使用HABSE之前，要先安装一个zookeeper我以前写的有https://www.cnblogs.com/wpbing/p/11309761.html先简单介绍一下HBASEHBASE是一个数据库----可以提供数据的实时随机读写他是一个nosql数据库，并不是结构化的，他只能粗略的进行一些查询，像多表之间的连接查询他是很难做到的（至少我这辣鸡不会）。我也是第一次接触这种nosql，人家的表结
weixin_30323961·2020-07-08 13:18

hadoop学习之ZooKeeper

1.什么是ZooKeeper？ZooKeeper是一组工具，用来配置和支持分布式调度。以我的理解，就是一个网管软件和库，一个重要功能就是对所有节点进行配置的同步。它能处理分布式应用的“部分失败”问题。什么是部分失败？部分失败是分布式处理系统的固有特征，即发送者无法知道接收者是否收到消息，它出现的可能性有网络传输出现问题、接收进程已经死掉等。ZooKeeper是Hadoop的分布式协调服务，ZooK
viewcode·2020-07-08 12:03

Hadoop学习系列之Hadoop、Spark学习路线（很值得推荐）

Hadoop学习系列之Hadoop、Spark学习路线（很值得推荐）文章出自：http://www.cnblogs.com/zlslch/p/5448857.html1Java基础：视频方面：推荐毕老师
暴走的后端·2020-07-08 10:20

大数据之Hadoop学习（八）HBase Shell数据库表创建

HBaseShell数据库表创建一、启动Hadoop和HBase1.启动Hadoop2.启动HBase3.进入shell二、创建表三、插入数据①新增学号为2015001的学生的所有信息②、新增学号为2015002的学生的所有信息③、新增学号为2015003的学生的所有信息四、查看表的数据①、新增学号2015001的学生信息过后表的数据②、新增学号为2015002的学生信息过后表的数据③、学生信息全
w²大大·2020-07-08 02:11

大数据hadoop学习【6】-----通过JAVA编程实现对HDFS文件操作的JAVA整体项目

大数据hadoop学习【6】-----通过JAVA编程实现对HDFS文件操作的JAVA整体项目目录一、JAVA项目的整体结构介绍1、项目目录展示2、项目中类的功能的解释3、项目文件数据准备二、题目要求内容的分步讲解
陈一月的编程岁月·2020-07-08 02:17

Hadoop学习之路(三)：Hadoop排序之二次排序的原理及实现

Hadoop实现二次排序一、二次排序简介二、二次排序的原理三、二次排序的实现1.构建Java工程，添加Maven支持1.编写ComboKey类2.编写分区类3.编写排序对比器类4.编写分组对比器类5.编写Map类6.编写Reducer类7.编写主类8.打包代码在集群运行四、总结一、二次排序简介MapReduce框架在记录到达Reducer之前按键对进行排序，但是键对所对应的值没有被排序。甚至在不同
萧邦主·2020-07-08 02:04

hadoop学习笔记（六）MapReduce常见实例三：Join操作（Map端join、Reduce端join、单表join）

目录什么是join？Map端Join任务描述流程分析代码执行结果Reduce端Join任务描述流程分析代码执行结果单表Join任务描述流程分析代码执行结果什么是join？Map端JoinMapReduce提供了表连接操作其中包括Map端join、Reduce端join还有单表连接，现在我们要讨论的是Map端join，Map端join是指数据到达map处理函数之前进行合并的，效率要远远高于Reduc
晴是有风·2020-07-07 22:17

Hadoop学习第三天-------HDFS和Yarn命令详解

HDFS文件系统的命令：hdfsdfs(推荐使用)hadoopfshadoopdfs以上文件都在%Hadoop_HOME%/bin/目录下主要命令列表：命令名称命令使用命令作用copyFromLocal%Hadoop_HOME%/bin/hdfsdfs-copyFromLocalLinux本地文件位置HDFS文件位置从Linux本地文件系统中拷贝文件到HDFS文件系统中，注意，如果HDFS文件系统
非秃程序员·2020-07-07 22:08

[Hadoop] 出现 localhost: sleep: cannot read realtime clock: Invalid argument 问题

最近重新拿起Hadoop学习，发现了一些新的问题，如标题所示。
小罗_LXB·2020-07-07 19:43

Hadoop学习---HDFS的常用shell命令详解

注意:访问hdfs系统的指令hadoopdfs---已过时hadoopfs--使用范围更大hdfsdfs--范围相对较小hadoopfs和hdfsdfs之间没有太大的区别1.在命令行中输入hdfs，回车后，就会提示hdfs后可以使用哪些命令，其中有一个是dfs。2.在命令行中输入hdfsdfs，回车后，就会提示dfs后可以添加的一些常用shell命令常用shell命令注意：分布式文件系统的路径在命
QF大数据·2020-07-07 19:58

hadoop学习总结（一）

一、如何安装配置apache的一个开源hadoop集群使用root账户登录修改IP修改host主机名配置SSH免密码登录关闭防火墙安装JDK并配置jdk环境变量解压hadoop安装包配置hadoop的核心文件hadoop-env.sh，core-site.xml,mapred-site.xml，hdfs-site.xml，yarn-site.xml，slaves配置hadoop环境变量格式化had
⑨笙清栀·2020-07-07 16:25

Hadoop学习之一： MapReduce简介

MapReduce用于大规模数据集（大于1TB）的并行运算。Google三叉戟：GFS、MapReduce、BigTable说的简单点，MapReduce是将一个大作业拆分为多个小作业的框架（大作业和小作业应该本质是一样的，只是规模不同），用户需要做的就是决定拆成多少份，以及定义作业本身。就字面意思来说，MapReduce分为两大部分（也是用户可以去实现的），"Map（映射）"和"Reduce（归
进击的小鹿·2020-07-07 14:59

hadoop学习之使用HDFS API的方式来操作HDFS文件系统-1-项目环境

IDEA中：1.创建工程不要选错差不多就是这个亚子2.添加hadoop依赖包org.apache.hadoophadoop-client2.6.0-cdh5.15.1但是由于库里没有cdh，所以需要添加repositoryUTF-81.71.72.6.0-cdh5.15.1clouderahttps://repository.cloudera.com/artifactory/cloudera-re
level_Tiller·2020-07-07 13:47

hadoop学习之HDFS命令行操作

[root@hadoop000~]#hadoopfsUsage:hadoopfs[genericoptions][-appendToFile...][-cat[-ignoreCrc]...][-checksum...][-chgrp[-R]GROUPPATH...][-chmod[-R]PATH...][-chown[-R][OWNER][:[GROUP]]PATH...][-copyFromLo
level_Tiller·2020-07-07 13:47

hadoop学习之HDFS API-2-通过编写java接口操作hdfs

1.创建文件夹工程的test包中java->com.imooc.bigdata->hadoop.hdfs.HDFSApp注意包：importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;importjava.net.URI;/***
level_Tiller·2020-07-07 13:47

hadoop学习之hadoop安装--HDFS安装

http://archive.cloudera.com/cdh5/cdh/5/1.下载：拷贝本地安装包hadoop-2.6.0-cdh5.15.1.tar.gz到服务器的software安装包目录使用[email protected]:~/software/此时服务器端的情况：2.解压：~/app在softwa
level_Tiller·2020-07-07 13:15

Hadoop学习总结之三：Map-Reduce入门

1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第25位是符号+/-0067011990999991950051507+0000+0043011990999991950051512+0022+0043011990999991950051518-00
diebiaosang4496·2020-07-07 06:08

Hadoop学习之--Capaycity Scheduler源码分析

CapacityScheduler调度策略当一个新的job是否允许添加到队列中进行初始化，判断当前队列和用户是否已经达到了初始化数目的上限，下面就从代码层面详细介绍整个的判断逻辑。Capaycity添加一个job，会通过注册的监听器org.apache.hadoop.mapred.JobQueuesManager向队列中添加JOB，添加JOB过程中会检查当前队列和用户是否已经达到资源上限了。下面详
aoweihua4847·2020-07-07 03:36

Hadoop学习（三）— hdfs ： NameNode与DataNode的实现机制

数据量越来越多，在一台PC的范围存不下了，那么就分配到更多的PC中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。分布式文件管理系统很多，Hadoop的HDFS只是其中一种。HDFS主要分为两大角色，NameNode与DataNode，NameNode主要负责管理元数据，DataNode主要负责存储文件块。NameNode来管理datanode与文件块
Tracker_wjw·2020-07-07 00:37

Hadoop学习总结（一）

1.SNNcheckpoint多久？什么参数配置？参数在哪？3600s参数：dfs.namenode.checkpoint.period:3600秒hdfs-default.xml2.ZooKeeper是做什么的？统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理、Leader选举、队列管理等3.ZooKeeper的作用？Zookeeper分布式服务框架是ApacheHadoop的一个子
聒噪鱼·2020-07-07 00:14

Hadoop学习之虚拟机网络配置

NAT原理（虚拟机上网原理）#define：虚拟机的hostname为hadoop100,ip地址为：192.168.100.100#define：本机（Window系统）VMnet8的ipv4地址为：192.168.100.5问：为什么虚拟机可以连接外网呢？比如www.baidu.com。其实此处的192.168.100.100与192.168.100.5都是虚拟ip地址，其中192.168.1
阿言在学习·2020-07-06 21:59

HADOOP学习笔记总结三：zookeeper

在学习Hbase时，官方文档说hbase依赖于zookeeper来管理与跟踪其分布式数据的状态，hregionserver与hmaster都需要向它注册。那什么是zookeeper呢？今天学习一下：1、zookeeper是什么ZooKeeper是一种分布式协调服务，用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。ZooKeeper通过其简单的架构和API解决了这个问题。ZooKee
DanyYan·2020-07-06 21:30

大数据复习笔记——hadoop

今天主要回顾一下hadoop学习时候的重要知识点，以及mr提交作业时候的流程、数据块副本放置策略等等1、HDFS架构设计目标硬件错误a)硬件错误是常态而不是异常。
Y_BigFFFFFF·2020-07-06 15:17

hadoop新手自学视频培训 hadoop新手快速实战教程 Hadoop全套完整视频教程

最新在学习hadoop、storm大数据相关技术，发现网上hadoop、storm相关学习视频少之又少，整理了传智播客段海涛老师的hadoop学习视频，大家学习-------------------课程目录
zzzzzamminor·2020-07-06 14:22

最新hadoop大数据零基础入门新手学习视频教程

最新在学习hadoop、storm大数据相关技术，发现网上hadoop、storm相关学习视频少之又少，我这里整理了传智播客段海涛老师的hadoop学习视频，给大家学习。
山泥若啊丶·2020-07-06 14:51

Linux学习笔记——开山篇

笔者学习Linux的原因是为Hadoop学习做准备，Hadoop需要相关的JavaEE和Linux基础。话不多说，开始Linux笔记部分。
Xzreal_dlut·2020-07-06 09:12

Hadoop学习之Zookeeper安装

解压#tar-zxvfzookeeper-3.4.10.tar.gz#rm-rfzookeeper-3.4.10.tar.gz#mvzookeeper-3.4.10/zookeeper#cdzookeeper/#vi/etc/profileexportZOOKEEPER_HOME=/root/training/zookeeperexportPATH=$PATH:$ZOOKEEPER_HOME/bi
薛落花随泪绽放·2020-07-06 03:11

Hadoop学习之路（十三）MapReduce的初识

MapReduce是什么首先让我们来重温一下hadoop的四大组件：HDFS：分布式存储系统MapReduce：分布式计算系统YARN：hadoop的资源调度系统Common：以上三大组件的底层支撑组件，主要提供基础工具包和RPC框架等MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架MapReduce核心功能是将用户编写的业务逻辑代码和自带默
weixin_34117211·2020-07-06 00:30

Hadoop学习之路（十）HDFS API的使用

HDFSAPI的高级编程HDFS的API就两个：FileSystem和Configuration1、文件的上传和下载1packagecom.ghgj.hdfs.api;23importorg.apache.hadoop.conf.Configuration;4importorg.apache.hadoop.fs.FileSystem;5importorg.apache.hadoop.fs.Path
weixin_33896726·2020-07-05 23:24

Hadoop学习笔记（四）Hadoop伪分布式配置

Linux配置可以查看Hadoop学习笔记（三）Linux环境配置Hadoop1.0配置介绍Hadoop的五个核心守护进程有：NameNode，SecondaryNameNode，DataNode,JobTracker
weixin_33774883·2020-07-05 23:13

hadoop学习笔记(六)——hadoop2.5.2全分布模式实现的部署

环境：centos7+hadoop2.5.2+jdk1.7已经在前两篇博客中出现的步骤具体细节一笔带过，不再展示，具体可以参考ssh免密码登陆，伪分布1)SSH免密码登陆2)主节点安装jdk和hadoop，并配置环境变量3)配置主节点hadoop配置文件除了需要额外配置slave，其他的跟伪分布一致。yarn-site.xml配置文件需要额为一下信息yarn.nodemanager.aux-ser
thinkpadshi·2020-07-05 14:23

hadoop学习之环境搭建03-Virtualbox虚拟机的网络配置

接下来，我们要进行网络配置，方便你的主机（windows）可以使用远程连接工具连接你的虚拟机。在默认情况下，Virtualbox虚拟机选择的上网方式是：网络地址转换（NAT），这种方式虚拟机可以上外网，但是主机不能访问虚拟机，如果想要使用putty或者xshell连接虚拟机是办不到的。下面介绍三种联网方式，即可以主机与虚拟机之间相互访问，虚拟机也可访问外网注意，要进入虚拟机网络设置界面时，需要先关
tangyi2008·2020-07-05 14:05

Hadoop学习-Windows下使用eclipse开发测试MR程序的方法

2018-07-02Hadoop一般安装在Linux上，写好的MR程序放到Linux上运行。在编写的过程中，有时需要测试程序的正确性，每次都需要放到Linux上运行又太麻烦，今天讲解一种在Windows下使用eclipse开发并测试MR程序的方法。1、下载并安装插件hadoop-eclipse-plugin-2.6.0.jar下载地址：链接：https://pan.baidu.com/s/1maf
风笑天2013·2020-07-05 11:25

hadoop学习笔记（四）HA环境

我们先来看一下hadoop1.x的架构图image可以看到，有且只有一个namenode，集群可靠性会受到影响，当namenode出现问题时会影响到整个集群工作，所以，在hadoop2.x中解决了这个问题。Hadoop2.0产生背景hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题HDFS存在的问题1.NameNode单点故障，难以用于在线场景2.NameNode压力过
桐间纱路·2020-07-05 09:56

大数据之Hadoop学习（六）利用Shell命令对HBase数据库基本操作

HBase数据库基本操作一、启动Hadoop和HBase1.打开Hadoop2.启动HBase3.进入Shell界面二、HBase中创建表三、HBase数据库基本操作1.添加数据2.删除数据3.查看数据4.删除表5.查询表历史数据6、退出HBase数据库表操作一、启动Hadoop和HBase1.打开Hadoopcd/usr/local/hadoop/./sbin/start-dfs.sh2.启动H
w²大大·2020-07-05 09:56

hadoop学习笔记

前言hadoop系列下的HDFSArchitecture,本文主要介绍了hadoop的整体架构，包括但不限于节点概念、命名空间、数据容错机制、数据管理方式、简单的脚本命令和垃圾回收概念。一、介绍HadoopDistributedFileSystem（HDFS）是高容错、高吞吐量、用于处理海量数据的分布式文件系统。二、假设与目的1、机器故障处理HDFS一般由成百上千的机器组成，每个机器存储整个数据集
遇见百分百·2020-07-05 05:15

hadoop基础----hadoop实战(四)-----myeclipse开发MapReduce---myeclipse搭建hadoop开发环境并运行wordcount

hadoop基础----hadoop实战(三)-----hadoop运行MapReduce---对单词进行统计--经典的自带例子wordcount其实hadoop学习可以分成2部分，一部分是hadoop
张小凡vip·2020-07-05 02:56

HADOOP学习笔记——JAVA使用API将本地文件上传到HDFS

HDFSAPI详解：https://www.cnblogs.com/alisande/archive/2012/06/06/2537903.htmlHadoopHDFS文件访问权限问题导致JavaWeb上传文件到Hadoop失败的原因分析及解决方法：https://blog.csdn.net/bikun/article/details/25506489?utm_medium=distribute.
管妖妖·2020-07-04 20:59

最新hadoop视频教程培训 Hadoop入门培训全套完整视频教程

最新在学习hadoop、storm大数据相关技术，发现网上hadoop、storm相关学习视频少之又少，我这里整理了传智播客段海涛老师的hadoop学习视频，给大家学习。
jjjjjzzzzzaaaa·2020-07-04 19:38

hadoop学习--hbase0.96整合到hadoop2.3.0安装过程

问题导读1.hbase安装在什么情况下会发生，启动之后自动宕机2.hbase安装目录该如何选择？3.hbase目录如果出现权限不一致，会发生什么情况？4.如果只有一个节点有临时目录会出现什么情况？Hbase集群安装前注意1）Java：（hadoop已经安装了），2）Hadoop0.20.x/Hadoop-2.x已经正确安装（hadoop安装参考hadoop2完全分布式最新高可靠安装文档），并且可以
奋斗的鱼·2020-07-04 19:51

Hadoop学习总结

最近学习了hadoop这个框架，把自己的理解总结如下：1、hadoop通过一个jobtracker分派任务到一系列tasktracker来运行，tasktracker同时向jobtracker返回任务运行结果。jobtracker对作业的输入数据进行分片，然后为每个分片创建一个map任务，同时创建一定数量的reduce任务，并指派空闲的tasktracker来执行这些任务。tasktracker从
无忧V·2020-07-04 16:59
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他