Hadoop相关

hadoop面试题之HDFS

广义上hadoop是指与hadoop相关的大数据生态圈。包含hive、spark、hbase等。狭义上hadoop指的是apache的开源框架。
becooner·2020-04-05 23:23

dir.who is not allowed to impersonate hadoop的问题

之前用java做Hadoop相关项目没有遇到这种问题，今天使用python操作HDFS遇到这个问题，首先是权限之类的问题，在core-site.xml中配置可以访问的hosts和groups，具体：hadoop.proxyuser.xxx.hosts
Super~me·2020-03-28 12:00

（十一）HDFS进程PID相关知识点

secondarynamenode的进程号2.pid的作用：可以通过查询pid精准关闭hadoop的某进程之前介绍过使用ps-ef|grephadoop查询进程号从而kill某进程的方法，该方法的弊端在于与hadoop
白面葫芦娃92·2020-03-25 14:06

[hadoop从0开撸] 1、运行环境搭建

从今天起，关心hadoop因工作需要，需要了解一些hadoop相关内容，记下来希望以后可以作为一个参考，帮助像我这样的新手欢迎拍砖~~~:)1、下载必要软件包http://hadoop.apache.org
sirocco·2020-03-13 17:08

青云的云计算和人工智能生意经

创建QingCloud之前，曾在IBM参与Hadoop相关的研究和优化项目；2010年加入腾讯搜索的图片搜索项目组，参与图片搜索的相关性算法研究与开发、海量图片分析和挑选等工作。
AIOPstack·2020-03-10 22:38

D001.6 Docker搭建Hadoop集群（资源篇）

0x00教程内容Dockerfile的编写Hadoop相关配置文件构建脚本启动脚本0x01Dockerfile的编写1.Dockerfile文件FROMubuntuMAINTAINERshaonaiyishaonaiyi
邵奈一·2020-02-27 06:01

linux定时任务执行hadoop脚本问题

脚本单独执行没有任何问题，但是一旦执行hadoop相关操作，如hive、Hadoop相关命令，就莫名其妙的失败。
故里良田·2020-01-07 10:36

数据结构与算法汇总

文章作者博客微信公共账号：hadoop123（微信号为：hadoop-123），分享hadoop技术内幕，hadoop最新技术进展，发布hadoop相关职位和求职信息，hadoop技术交流聚会、讲座以及会议等
Albert陈凯·2020-01-06 07:52

flume介绍与原理（转载）

1.背景flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。
晴天哥_374·2019-12-19 18:34

从零开始学Hadoop大数据分析之HDFS 实战

开发环境1.java环境：jdk1.82.IDEA编辑器3.maven集成环境清单开发hadoop相关项目基础集成包主要为：hadoop-common，hadoop-hdfs，hadoop-mapreduce-client-core
渝聆墨·2019-12-15 07:25

【大牛体验】HBase committer谈如何参与到开源项目的开发

先自我介绍一下，我是西七楼公众号创始人的大学ACM队友，现就职于小米云平台计算组.自2012年参与到Hadoop相关开源项目的开发以来，主要参与过的项目包括HBase，Spark，HadoopHDFS，
西七楼·2019-12-02 04:19

spark sql

1.首先检查Hadoop相关进程，是否已经启动。若未启动，切换到/apps/hadoop/sbin目录下，启动Hadoop。viewplaincopyjpscd/apps/hadoop/sbin.
赵大暖·2019-11-29 20:00

在Docker中跑Hadoop与镜像制作

  重复造轮子，这里使用重新打包生成一个基于Docker的Hadoop镜像；  Hadoop集群依赖的软件分别为：jdk、ssh等，所以只要这两项还有Hadoop相关打包进镜像中去即可；配置文件准备1、
AiFly·2019-11-25 08:00

Hadoop相关学习笔记

大数据架构体系结构及开源组件HadoopHDFS：大数据存储Mapreduce：大数据计算-批量计算Spark：计算引擎,速度快于HadoopHbase：存储对形式和格式；查询非常快，与Hive比较Zookeeper：管理「小动物」Nutch：分布式数据采集Storm：内存计算，流式计算RHive:提供交互式查询，基于MapReduceImpala:同交互，速度快于Hive，麒麟大数据架构体系Li
咸鱼干lili·2019-11-06 18:48

部署开启了Kerberos身份验证的大数据平台集群外客户端

具体部署步骤如下所示：1、拷贝集群内hadoop相关组件包到客户端本地创建目录/opt/cloudera/parcelsmkdir–R/opt/cloudera/parcel
大数据技术进阶·2019-11-05 01:31

本地用HDFS的javaAPI访问云服务器Hadoop过程及问题（总结）

之前写了一篇在云服务器上搭建Hadoop单节点的文章，实现了浏览器查看Hadoop相关的界面，文章链接如下：CDH版Hadoop云服务器的单节点和集群安装（附CDH自编译版本）如果要在本地通过用HDFS
北山璎珞·2019-10-20 22:46

mac上使用虚拟机网络配置总结

2014年初，公司让探索hadoop相关技术，一直以来有种习惯，不管什么技术，必须自己玩下，然后感觉心里才有底，玩hadoop，单机是没啥意思的，分布式就要多台机器，然后看了mactalk后，上面有段有了
王子自强男·2019-10-02 20:00

Hadoop操作HDFS的相关命令（python）

Hadoop操作HDFS的相关命令（python）本文是基于CentOS7系统环境，搭建Hadoop集群环境，并在主节点上进行测试CentOS7python3.6.8hadoop-2.7.1一、Hadoop
哈工大的许政·2019-09-27 08:58

目前大数据工具主要哪些？

一、hadoop相关工具1.HadoopApache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来，已成为一个完整的生态系统，众多开源工具面向高度扩展的分布式计算。
duozhishidai·2019-09-26 19:14

Hadoop MapReduce 入门实例

一、准备工作从hadoop官网下载了最新的3.1.2版本的hadoop配置hadoop相关的环境变量exportHADOOP_HOME=/work/dev_tools/hadoop-3.1.2exportPATH
bruce128·2019-09-04 02:54

HDFS的安装配置及工作流程

HDFS2.2.1Hadoop相关概念Hadoop是一个由Apache基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
jhchengxuyuan·2019-08-29 20:56

Hadoop运行原理总结（详细）

本编随笔是小编个人参照个人的笔记、官方文档以及网上的资料等后对HDFS的概念以及运行原理进行系统性地归纳，说起来真的惭愧呀，自学了很长一段时间也没有对Hadoop知识点进行归纳，有时候在实战中或者与别人交流Hadoop
buildings·2019-07-27 02:00

Linux脚本，一键关闭启动hadoop中相关进程，启动MapReduce程序

废话最近学习hadoop方面的知识，每次开启Linux时都要启动hadoop相应的四个进程用命令行打着实有点麻烦，而且有时一个不小心打错字母，还得从头来一遍于是想了下面这几个脚本文件，帮助启动关闭hadoop
无名一小卒·2019-07-03 21:49

(小结)日志框架

说明开发spark相关项目的时候,在日志框架的选用上踩了一些坑,记录如下:原本计划使用logback,slf4j提示异常.尝试在maven设置exclusions,以排除原有的log4j框架.但是hadoop
IAmListening·2019-07-03 15:58

hadoop相关

19.7.1hadoop从本地上传，下载文件到hdfs里面下载：hadoopfs-get/user/biz_ai/zhurunlong/pass_isv/train/huicong/2019-06-18/train_data~/-gethdfs地址+文件名本地地址上传：hadoopfs-put~/train_data/user/aiboot/passonline/train_data-put本地h
静心安分读书·2019-07-01 13:00

大数据集群资源监控（二）—— Hadoop相关指标获取

本篇文章接着上篇内容继续，地址：IDC集群相关指标获取在获取了对应的IDC机器自身的指标之后，还需要对Hadoop集群中HDFS和YARN的指标进行采集，大体思路上可以有2种：第一种当然还是可以延用CMAPI去获取，因为CM中的tssql提供了非常丰富的各种指标监控第二种即通过jmxJ去获取数据，其实就是通过访问上述这些相关的URL，然后将得到的json进行解析，从而获取到我们需要的数据，最终将这
疯狂呼呼呼·2019-06-30 14:25

大数据集群资源监控（二）—— Hadoop相关指标获取

本篇文章接着上篇内容继续，地址：IDC集群相关指标获取在获取了对应的IDC机器自身的指标之后，还需要对Hadoop集群中HDFS和YARN的指标进行采集，大体思路上可以有2种：第一种当然还是可以延用CMAPI去获取，因为CM中的tssql提供了非常丰富的各种指标监控第二种即通过jmxJ去获取数据，其实就是通过访问上述这些相关的URL，然后将得到的json进行解析，从而获取到我们需要的数据，最终将这
疯狂呼呼呼·2019-06-30 14:25

Hadoop相关概念

Hadoop是什么Hadoop是一个开源的大数据框架Hadoop是一个分布式计算的解决方案Hadoop=HDFS（分布式文件系统）+MapReduce（分布式计算）Hadoop核心HDFS分布式文件系统：存储是大数据技术的基础MapReduce编程模型：分布式计算是大数据应用的解决方案Hadoop基础架构 HDFS概念  数据块  NameNode  DataNode数据块：抽象块而非整个文件作为
么啥好说的·2019-06-10 22:26

Flume 案例实操 - 实时读取本地文件到HDFS

开启监控模拟日志产生，日志文件/opt/module/datas/flume_tmp.log查看HDFS上的数据实现步骤拷贝相关Hadoop包到Flumelib目录Flume要想将数据输出到HDFS，必须持有Hadoop
yljphp·2019-05-19 10:00

基于Hadoop的简易数据云盘系统的实现【升级版】

1.引言项目来源《Hadoop大数据开发案例教程与项目实战》开发一款基于Hadoop的数据云盘，来理解开发的原理和Hadoop相关知识点，学会Hdoop、HDFS的操作以及JavaWeb的开发。
樊领·2019-05-06 15:54

CentOS6.5中安装Hadoop

2、将hadoop包进行解压缩：tar-zxvfhadoop-2.4.1.tar.gz3、对hadoop目录进行重命名：mvhadoop-2.4.1hadoop4、配置hadoop相关环境变量vi~/.
huaicainiao·2019-05-05 20:44

数据研发岗位常见面试题

Hadoop相关：1.谈谈数据倾斜是如何发生的，并给出优化方案。
lililydia·2019-04-16 16:14

大数据开发Hadoop相关的工具，主要有哪些？

1.HadoopApache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来，已成为一个完整的生态系统，众多开源工具面向高度扩展的分布式计算。支持的操作系统：Windows、Linux和OSX。2.Ambari作为Hadoop生态系统的一部分，这个Apache项目提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。有些开发人员想把Ambari的功能整合到自己的应用程序当中
duozhishidai·2019-04-10 10:17

9、MapReduce程序Java示例

，Combiner以及Reducer过程1、创建Eclipse的Hadoop程序新建程序，选择JavaProject即可选择下一步，命名为MapReduce项目名，然后点击finish结束即可2、导入Hadoop
贝壳里的沙·2019-03-30 15:55

centos Hadoop 3.1.2伪分布式配置 实践

正文：hadoop的安装http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/hadoop相关环境变量配置：（这一步很关键！！！）
枪枪枪·2019-03-23 11:25

七、GP安装-搭建hadoop环境

hadoop集群版本而定，执行如下命令进行解压：tar-xvzfhadoop-2.6.0-cdh5.7.6.tar.gz修改/opt/greenplum/hadoop-2.6.0-cdh5.7.6/etc/hadoop
荷籽花结·2019-03-20 19:43

【Hadoop】Ubuntu 16.04 VMware hadoop 2.7.4 集群安装

一、前言hadoop在分布式计算，大数据领域一直享有盛名，也零零碎碎看过一些hadoop相关的东西，但却没有真正实战过，一是工作还暂时未涉及到hadoop，二是安装hadoop集群没有那个硬件基础。
w1992wishes·2019-03-07 17:12

Hadoop入门

HDFSBigTable-->HBase缺点优点hadoop组成MapReaduce(计算)Yarm(资源调度)HDFS(数据存储)Common(辅助工具)hadoop组成重要目录（1）bin目录：存放对Hadoop
白纸糊·2019-02-25 09:58

spring boot整合Hadoop

背景呢是因为需要在web中上传文件到hdfs，所以需要在springboot中加入hadoop相关的jar包。
zzzzMing·2019-02-19 17:00

Mac 安装 Hadoop 3.x

转自：https://blog.csdn.net/fox64194167/article/details/80617527brew安装也可以，但是个人感觉还是自己去hadoop官网上下载hadoop相关包
微风中的一只小刺猬·2019-01-16 17:34

Hadoop相关项目Hive-Pig-Spark-Storm-HBase-Sqoop

学习Hadoop相关项目Hive-Pig-Spark-Storm-HBase-Sqoop目录HivePigSparkStormHBaseSqoopHivePig和Hive的对比摘要:PigPig是一种编程语言
boonya·2019-01-13 16:55

基于Kafka+SparkStreaming+HBase实时点击流案例

，记录下自己的工作和学习路程，希望能跟大家互相交流成长本文章更倾向于实战案例，涉及框架原理及基本应用还请读者自行阅读相关文章，相关在本文章最后参考资料中关于Zookeeper/Kafka/HBase/Hadoop
Mask_V·2019-01-11 16:44

实战Hive本地文件系统导入数据

前言最近了解到大数据Hadoop相关内容，正好项目中需要与hive数据仓库交互，前提需要导入数据到Hive中，下面来看下本地文件系统导入hive的实战过程。
大白快跑8·2019-01-06 14:56

Hadoop相关技术

一.Hadoop简介Hadoop是由Apache软件基金会所开发的分布式系统架构，用户可以将自己所开发的分布式程序部署其上面，充分利用集群的优势对海量数据进行高速运算和存储。Hadoop的框架最核心的设计是：HDFS和MapReduce。HDFS为海量数据提供了存储，MapReduce为海量数据提供了运算。二.HDFS分布式文件系统HDFS是一种分布式文件系统。它出现的目的是为了解决海量数据存储问
Kobe_DHP·2019-01-05 19:42

使用3台虚拟机搭建Hadoop HA集群（2）

Hadoop权威指南学习笔记：总章基础环境搭建：使用3台虚拟机搭建HadoopHA集群（1）HA环境搭建：使用3台虚拟机搭建HadoopHA集群（2）本部分包含以下基本分内容安装部署zookeeper安装部署Hadoop
IT代码民工·2018-12-18 12:11

Hadoop相关配置文件-命令

Hadoop相关配置文件-命令HadoopShell命令hadoop格式化hadoopnamenode-format启动hadoop$HADOOP_HOME/sbin/start-all.sh进入安全模式
__Simon_·2018-12-05 19:54

大数据入门之hadoop相关概念知识点整理

今天整理了一些关于hadoop相关概念的知识点，觉得文章有用的小伙伴可以直接收藏~我还是要推荐下我自己创建的大数据资料分享群142973723，这是大数据学习交流的地方，不管你是小白还是大牛，小编都欢迎
qq_43713878·2018-12-02 12:24

Flume架构

分布式的海量日志采集、聚合和传输的系统：Flume介绍Flume是由cloudera软件公司产出的高可用、高可靠、分布式的海量日志收集系统、聚合和传输的系统、于2009年被捐赠了apache软件基金会，为Hadoop
cpongo333·2018-11-16 16:36

0003-如何在CDH中使用LZO压缩

1.问题描述CDH中默认不支持Lzo压缩编码，需要下载额外的Parcel包，才能让Hadoop相关组件如HDFS，Hive，Spark支持Lzo编码。
Hadoop实操·2018-11-14 00:43

Ambari2.7整体编译+安装使用

最近Ambari发布了新版本——v2.7.1，支持HDP_3.0.1版本，较Ambari2.6相比，最直观的感觉就是WebUI有了很大的改变，更加的美观；支持的hadoop相关组件，也是较新的版本；同时也增加了很多新特性等等
CREATE_17·2018-11-12 23:21
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他