hadoop系列

hive简单查询优化总结

hive作为hadoop系列的计算模型，在公司的数据清洗和报表开发广泛使用，合理的优化自己的语句结构可以节省计算时间，优化集群的计算资源，下面总结下日常工作中自己碰到的一些问题和别人总结的一些方法。
huobumingbai1234·2018-10-20 20:25

hadoop系列之完全分布式+HA 环境搭建及测试验证

前置条件：已制作好CentOS虚拟机模板。该模板安装好OracleJDK，且JAVA_HOME值为/usr/java/jdk1.8.0_171-amd64/jre。CentOS模板安装可参考博客：https://blog.csdn.net/gobitan/article/details/80993354准备三台虚拟机搭建完全Hadoop分布式+HA最少需要三台服务器，假设三台服务器的IP地址如下：
搬砖学习·2018-10-09 14:41

Hadoop系列之完全分布式环境搭建及测试验证

前置条件：已制作好CentOS虚拟机模板。该模板安装好OracleJDK，且JAVA_HOME值为/usr/java/jdk1.8.0_171-amd64/jre。CentOS模板安装可参博客：https://blog.csdn.net/gobitan/article/details/80993354准备三台虚拟机搭建完全Hadoop分布式最少需要三台服务器，假设三台服务器的IP地址如下：192.
搬砖学习·2018-10-08 14:08

Hadoop系列之hadoop环境搭建本地模式

1.1Hadoop环境搭建Hadoop的环境可以有多种方式，比如本地模式（standalone）、伪分布式、完全分布式以及HA模式。参考：http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SingleCluster.htmlhttps://blog.csdn.net/qq_26442553/article/
搬砖学习·2018-10-07 15:40

hadoop系列： hive优化篇

hive优化:表设计,mr作业linux系统下，在用户当前目录创建配置文件~/.hiverc，加入配置参数#显示头，db:sethive.cli.print.current.db=true;sethive.cli.print.header=true;part1:本地模式#本地模式：sethive.exec.mode.local.auto=true;sethive.exec.mode.local.a
根哥的博客·2018-10-03 20:23

JDK动态代理-超详细源码分析

本文已授权Java知音公众号独家发布前言：最近学习Hadoop系列的知识，免不了和RPC打交道，而RPC又使用动态代理来实现。沿着这条脉络，秉着钻研的精神，准备深入学习一下动态代理。
小北觅·2018-09-01 00:02

windows下eclipse项目KPIUrlViewerCounter操作hadoop2.8.3 mapreduce(4)

hadoop环境搭建详情见hadoop系列第一篇与第三篇博客(hadoop配置直接影响到本程序的运行)数据准备(https://download.csdn.net/download/elmo66/10636257
_lichaoxi·2018-08-31 11:24

windows下eclipse项目wordcount操作hadoop2.8.3 mapreduce(3)

hadoop环境搭建详情见hadoop系列第一篇博客(hadoop配置直接影响到本程序的运行)另外，windows环境下运行mapreduce程序需要hadoop.dll与winutils.exe的支持
_lichaoxi·2018-08-30 09:37

Hadoop系列（四）MapReduce 传递自定义bean并对结果排序、对mapper和reducer并发数的分析

案例要求：实现对手机号的上行和下行流量统计并分组测试数据如下图所示：分析：通常情况下，mapper和reducer的输入输出类型可以为LongWritable,Text等，如果我们要传递自定义的bean，则需要符合hadoop的序列化规范。查看LongWritable源码可以看到其实现了WritableComparable接口：/**AWritableComparableforlongs.*/@I
nasuf·2018-08-26 00:00

Hadoop系列（三）MapReduce Job的几种提交运行模式

Job执行可以分为本地执行或者集群执行。hadoop集群安装部署在远程centos系统中。使用经典的WordCount代码为例。1.本地执行模式（本地为MacOS环境），无需启动远程的hadoop集群，本地job会提交给本地执行器LocalJobRunner去执行。1）输入输出数据存放在本地路径下：首先，MapReduce代码如下：Mapperpackagecom.nasuf.hadoop.mr;
nasuf·2018-08-26 00:00

大数据与Hadoop系列之分布式文件系统（一）

文件系统早在1965年开发的Multies(UNIX的前身）就详细地设计了文件系统，这使得文件系统成为多用户单节点操作系统的重要组成部分。最初的文件系统用于解决信．息的长期存储，并达到如下要求：1.能够存储大量的信息。2.使用信息的应用终止时，信息必须保存下来。3.多个应用可以并发地存储信息。解决这些问题的通常方法，是把信息以一种单元，即"文件"(file)的形式存储在磁盘或者其他外部介质上，一个
有梦想的人不睡觉121·2018-06-14 10:51

百度百万工程师讲解：大数据和java哪个好就业？

大数据主要集中在后台和数据库方面，掌握内存数据库、关系数据库和非关系数据库以及Hadoop系列的使用。数据量一般在T级以上，因此对性能的要求比较高，维护工作
大数据群722680258·2018-06-14 10:11

大数据与Hadoop系列之压缩(一)

Hadoop压缩简介Hadoop作为一个较通用的海量数椐处理平台，在使用压缩方式方面，主要考虑压缩速度和压缩文件的可分割性.所有的压缩算法都会考虑时间和空间的权衡，更快的压缩和解压缩速度通常会耗费更多的交间（压缩比较低）例如：通过gzip命令压缩数据时，用户可以设置不同的选项来选择速度优先或空间优先.选项-1表示优先考虑速度，选项-9表示空间最优，可以获得最大的压缩比。需要注意的是：有些压缩算法的
有梦想的人不睡觉121·2018-06-11 10:49

常用的几种大数据架构剖析

随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统
博得66·2018-06-07 18:22

大数据与Hadoop系列之Hadoop版本认知与架构

作为学习Hadoop的第一步，就是根据实际情况选择最合适的Hadoop版本。而目前由于Hadoop的飞速发展，功能更新和错误修复在不断地迭代着，所以Hadoop的版本非常多，显得有些杂乱。对于初学者来说，选择一个合适的Hadoop版本进行学习非常重要，本文主要理清各个Hadoop版本之间的关系与不同。ApacheHadoopHadoop目前是Apache软件基金会的顶级项目，目前由Apache软件
有梦想的人不睡觉121·2018-06-06 07:50

hadoop系列之Storm入门

并发编程网有更好的翻译一.Javadocjavadoc二.概念下面介绍storm的一些基本概念和一些资源的相关链接，包括Topologies、Streams、Spouts、Bolts、Streamgroupings、Reliability、Tasks和Workers。1.Topologies（拓扑）在storm中，实时应用的逻辑会被打包成storm拓扑，storm拓扑和MapReduce的job类
time刺痛你的眼·2018-01-19 11:31

Hadoop系列之HDFS架构

前言本篇文章翻译了Hadoop系列下的HDFSArchitecture，原文最初经过笔者翻译后大概有6000字，之后笔者对内容进行了精简化压缩，从而使笔者自己和其他读者们阅读本文时能够更加高效快速的完成对
time刺痛你的眼·2017-12-28 10:40

Hadoop实战（9）_Hive进阶及UDF开发

CDHHadoop系列目录：Hadoop实战（3）_虚拟机搭建CDH的全分布模式Hadoop实战（4）_Hadoop的集群管理和资源分配Hadoop实战（5）_Hadoop的运维经验Hadoop实战（8
padluo·2017-11-16 16:43

Hadoop实战（8）_CDH添加Hive服务及Hive基础

CDHHadoop系列目录：Hadoop实战（3）_虚拟机搭建CDH的全分布模式Hadoop实战（4）_Hadoop的集群管理和资源分配Hadoop实战（5）_Hadoop的运维经验Hive体系结构Hive
padluo·2017-11-14 21:26

hadoop系列之一虚拟机安装

准备条件1、安装VMwareWorkstationPro2、下载CentOS-7-x86_64-DVD-1611.iso3、下载jdk-8u121-linux-x64.tar.gz4、下载hadoop-2.8.1.tar.gz安装模板操作系统1、操作系统安装过程参考该博客http://blog.csdn.net/zhaokaiqiang1992/article/details/380582372、
qq_29534155·2017-08-06 22:23

hadoop系列之一集群规划篇

主机名IP数据目录安装软件运行进程备注nmmaster192.168.1.107/opt/hadoop/zookeeperNamenode数据/opt/hadoop/hdfs/nameDatanode数据/opt/hadoop/hdfs/datajournalnode数据/opt/hadoop/journal临时数据/opt/hadoop/tmpjdk、hadoopQuorumPeerMainJo
qq_29534155·2017-08-06 21:55

Hadoop系列--Hadoop基本架构之HDFS架构

1Hadoop基本架构Hadoop由两部分组成，分别是分布式文件系统HDFS和分布式计算框架MapReduce。在Hadoop中，MapReduce底层的分布式文件系统是独立模块，用户可按照约定的一套接口实现自己的分布式文件系统，然后经过简单的配置后，存储在该文件系统上的数据便可以被MapReduce处理。Hadoop默认使用的分布式文件系统是HDFS（HadoopDistributedFileS
高自强·2017-08-04 20:37

hadoop系列三:mapreduce的使用(一)

当前使用的hadoop版本为2.6.4上一篇:hadoop系列二：HDFS文件系统的命令及JAVA客户端API在下面可以看到统计一本小说(斗破苍穹)哪些词语出现了最多。
gongxiaojiucom足球资讯网·2017-07-30 13:40

Hadoop系列--Linux下Hadoop安装与配置

1环境配置1.1JDK配置在这里使用的是Oracle的JDK1.8。1.下载安装JDK2.配置环境变量以上两个步骤不再展开赘述。3.验证JDK是否安装成功分别使用echo$JAVA_HOME和java-version命令查看JDK的版本信息，若二者的信息一致，则证明JDK配置成功。4.手动设置系统默认JDK通常系统默认的jdk为openjdk，在这里需要手动修改系统默认的JDK为我们上文安装的JD
高自强·2017-07-20 21:57

hadoop系列文档3-配置Hdfs高可用HA

版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[-]背景架构设计如何配置HAQJM分配每个节点需要安装的服务hdfs-sitexml中的配置信息Core-sitexml中的配置如何启动Step1启动JournalNode集群Step2格式化NameNodeStep3转成ActiveZookeeper应用自动灾难恢复Step1首先你得配置好Zookeeper集群Step2hdfs-s
czp11210·2017-07-18 11:29

Hadoop系列~环境搭建，单机/伪分布式配置（一）

下载前往下载最新的Hadoop安装包ApacheDownloadMirrors我使用的版本是2.7.3安装JDK环境这个自行网上查，配置文章很多，这里不过多赘述。#验证方式java-version#启动hadoophadoop安装目录/bin/hadoopHadoop支持三种模式:本地模式（单机）伪分布式模式分布式模式-集群本文章只介绍前面两种StandaloneOperation本地模式（单机）
MinboHe·2017-06-26 16:03

hadoop系列之四hadoop集群安装

hadoop集群安装前提:关闭防火墙安装jdk免密登录hadoop安装包:链接：http://pan.baidu.com/s/1kU8mjAn密码：q8mo1)安装hadoop1.上传hadoop的包sz-y2.创建一个目录mkdirapps3.解压hadoop包tar-zxvfhadoop-2.6.4.tar.gz-Capps/cdapps/hadoop-2.6.4/4.配置hadoop-env
kgdxwy1·2017-06-16 10:00

hadoop系列之三安装JDK与环境准备

安装JDK准备好jdk.tar.gz链接：http://pan.baidu.com/s/1c2jEiQW密码：slaurz-y选择jdk.tar.gz文件创建公共目录:mkdir/usr/local/common/移动到src目录下:mvjdk-7u45-linux-x64.tar.gz/usr/local/src/解压到指定目录:cd/usr/local/src/tar-zxvfjdk-7u45
_静水·2017-06-15 11:13

hadoop系列之三安装JDK与环境准备

安装JDK准备好jdk.tar.gz 链接：http://pan.baidu.com/s/1c2jEiQW密码：slaurz-y 选择jdk.tar.gz文件创建公共目录:mkdir/usr/local/common/移动到src目录下:mvjdk-7u45-linux-x64.tar.gz/usr/local/src/解压到指定目录:cd /usr/local/src/tar-zxvfjdk-7
kgdxwy1·2017-06-15 11:00

hadoop系列之二配置Linux系统

网络配置SecureCRT工具下载1)配置IP地址vi/etc/sysconfig/network-scripts/ifcfg-eth0ONBOOT=yes 设置开机启用网上BOOTPROTO=static设置使用静态IP地址IPADDR=192.168.33.65NETMASK=255.255.255.0GATEWAY=192.168.33.12)配置DNSvi/etc/resolv.confn
kgdxwy1·2017-06-14 17:00

hadoop系列之一安装linux系统CentOS6.7

安装Linux系统前提:安装VMware12虚拟机软件地址: 点击下载创建虚拟机安装Linux系统开启虚拟机--按Enter回车开始安装,等待中输入root按Enter回车输入密码,刚刚设置的密码到这里linux安装就完成了!
kgdxwy1·2017-05-23 21:00

Hadoop系列之（二）JDK和Hadoop安装配置

配置jdk和hadoop的原则为，先将Master安装并且配置好，然后再统一将其发送给所有的Slave，Slave如果需要单独配置则单独改变。1.JDK安装配置之前在有篇博客是搭建apachetomcat+nutch+solr的已经讲过jdk的详细搭建，此次在这里采用第一种搭建方式，即在/etc/profile里进行环境变量的配置。1).JDK解压安装我所有的软件包，全部在mac上通过termin
triumphao·2016-11-21 20:47

Hadoop系列-HDFS HA高可用集群

前言：在HDFS集群的时候我们知道，NameNode只有一个，如果现在NameNode挂掉了，或者NameNode需要硬件或者软件的升级，那么势必就有单点问题。那么HDFSHA就是来解决这个问题的。HA架构图： 集群需要考虑的问题：1我们要考虑两个NM之间的元数据是共享或者同步的NM启动的时候，会去读取fsimage和edits文件，那么备份NM也需要读取这两个文件而且随着ActiveNM会记录元
zhanglh046·2016-10-23 19:00

Hadoop系列-分布式集群

一分布式集群机器规划本机物理机：内存32G，硬盘1T,CPUi7四核我规划三台虚拟机参与集群，每一台分配3G内存，30G硬盘，CPU单核。   二克隆虚拟机clone-->修改机器名称-->FullDone-->clone然后vim/etc/udev/rules.d/70-persistent-net.rules把第一行删掉把第二条记录NAME="eth1"改成eth0然后复制MAC地址；sudo
zhanglh046·2016-10-23 11:00

hadoop系列：zookeeper（3）——zookeeper核心原理（事件）

版权声明：欢迎转载，但是看在我辛勤劳动的份上，请注明来源：http://blog.csdn.net/yinwenjie（未经允许严禁用于商业用途！）目录(?)[+]1、概述上一篇文章，我们对zookeeper中的数据组织结构、Leader选举原理进行了讲述（http://blog.csdn.net/yinwenjie/article/details/47613309）。这篇文章我们紧接上文讲解zo
jbaowei2000·2016-10-14 16:11

【Hadoop系列】linux下 root用户免密码登录远程主机 ssh

SSH原理：【Hadoop系列】linuxSSH原理解析操作环境：CentOS6.5操作对象：用户A主机和远程主机B正文部分：斜体加粗代表linux指令。
MichaelZhu·2016-08-15 11:42

网站下载地址

JDK7下载二、Hadoop系列1. 吴超沉博客2. HDFS客户端的权限错误3. Hadoop过往记忆4. 大数据教程5. 传智播客Hadoop从入门到上手6. 
pfnie·2016-05-29 15:00

hadoop转自马哥linux

Hadoop系列之一：大数据存储及处理平台产生的背景：http://mageedu.blog.51cto.com/4265610/1102191Hadoop系列之二：大数据、大数据处理模型及MapReduce
祖比凸陛·2016-05-04 10:41

hadoop转自马哥linux

Hadoop系列之一：大数据存储及处理平台产生的背景：http://mageedu.blog.51cto.com/4265610/1102191Hadoop系列之二：大数据、大数据处理模型及MapReduce
祖比凸陛·2016-05-04 10:41

运营、报表、分析三位一体化，什么样的SQL引擎能经得住挑战？

本文是Hadoop系列约稿之一，本文讲述了SQL-on-H
杨旸·2016-04-27 00:00

zookeeper核心原理（选举）

hadoop系列：zookeeper（2）——zookeeper核心原理（选举）2015-08-1513:13 本站整理 浏览(421)1、前述上篇文章《hadoop系列：zookeeper（1）——zookeeper
Flood_Dragon·2016-03-23 18:00

Hadoop系列七：Hadoop之sqoop篇

Sqoop安装和运行sqoop是一个把关系型数据库数据抽向hadoop的工具。同时，也支持将hive、pig等查询的结果导入关系型数据库中存储。1）安装和配置Ubuntu操作系统，主机名hp。官网http://sqoop.apache.org/下载sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz并解压。复制mysql的jdbc驱动mysql-connector-
fjssharpsword·2016-03-14 17:00

Hadoop系列六：Hadoop之HBase篇

HBase安装和运行1）HBase理解HBase是一个开源的、分布式的、多版本的、面向列的存储模型。可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。HBase存储的数据介于映射（key/value）和关系型数据之间。Hadoop整体生态系统示意图：HBase位于结构化存储层，围绕HBase，各部件对HBase的支持情况：Hadoop部件作用HDFS高可靠的底层存储支持MapRe
fjssharpsword·2016-03-14 15:27

Hadoop系列六：Hadoop之HBase篇

HBase安装和运行1）HBase理解HBase是一个开源的、分布式的、多版本的、面向列的存储模型。可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。HBase存储的数据介于映射（key/value）和关系型数据之间。Hadoop整体生态系统示意图：HBase位于结构化存储层，围绕HBase，各部件对HBase的支持情况：Hadoop部件作用HDFS高可靠的底层存储支持MapRe
fjssharpsword·2016-03-14 15:00

Hadoop系列五：Hadoop之Zookeeper篇

ZooKeeper安装和运行Zookeeper是一个高性能、分布式的、开源分布式应用协调服务，具有命名服务、配置管理、同步和组服务等基本功能。Zookeeper服务自身组成一个集群(2n+1个服务允许n个失效)。Zookeeper服务有两个角色，一个是leader，负责写服务和数据同步，剩下的是follower，提供读服务，leader失效后会在follower中重新选举新的leader。ZooK
fjssharpsword·2016-03-14 10:00

Hadoop系列四：Hadoop之Hive篇

Hive安装和运行Pig与RDBMS、Hive比较PigLatin是一种数据流编程语言，而SQL是一种描述性编程语言。换句话说，Pig程序是相对于输入的一步步操作，其中每一步是对数据的一个简答的变换。相反，SQL语句是一个约束的集合，这些约束的集合在一起，定义了输出。Hive介于Pig和传统RDBMS(关系数据库管理系统RelationalDatabaseManagementSystem)之间，H
fjssharpsword·2016-03-11 16:38

Hadoop系列四：Hadoop之Hive篇

Hive安装和运行Pig与RDBMS、Hive比较PigLatin是一种数据流编程语言，而SQL是一种描述性编程语言。换句话说，Pig程序是相对于输入的一步步操作，其中每一步是对数据的一个简答的变换。相反，SQL语句是一个约束的集合，这些约束的集合在一起，定义了输出。Hive介于Pig和传统RDBMS(关系数据库管理系统RelationalDatabaseManagementSystem)之间，H
fjssharpsword·2016-03-11 16:00

Hadoop系列三：Hadoop之Pig篇

Pig安装和运行Pig包括两部分：—用于描述数据流的语言，称为PigLatin。—用于执行PigLatin程序的执行环境，当前有两个环境：单JVM中的本地执行环境和Hadoop集群上的分布式执行环境。 Pig内部，每个操作或变换是对输入进行数据处理，然后产生输出结果，这些变换操作被转换成一系列MapReduce作业，Pig让程序员不需要知道这些转换具体是如何进行的，这样工程师可以将精力集中在数据上
fjssharpsword·2016-03-11 09:00

Hadoop系列二：Hadoop单节点伪分布部署并执行mapreduce示例wordcount

HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。1）部署单节点伪分布单节点Ubuntu，主机名hp第一步：先安装JDK和SSH，并配置SSH无密码登录
fjssharpsword·2016-03-10 17:00

Hadoop系列一：Hadoop集群分布式部署

1、环境准备VirtualBox虚拟机上分布部署三套Ubuntu15.10操作系统（Linux64位），命名为Ubuntu_Hadoop（用户名hp）、Ubuntu_C（用户名c）、Ubuntu_PHP（用户名php），并建立通信。Ubuntu虚拟机之间通信建立：1）三套Ubuntu虚拟机在VirtualBox的网络设置为内部（Internal）模式；2）Ubuntu_Hadoop虚拟机IPV4设
fjssharpsword·2016-03-09 15:00
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他