Hadoop相关第4页

玩转大数据计算之Hadoop

Hadoop官方文档提供了3种安装模式：单机安装：Hadoop所有服务都在一个JVM进程运行单机伪分布式安装：Hadoop服务都在一台机器上每个独立JVM进程运行完全分布式安装：在多个物理机或虚拟机分别安装Hadoop

pptb·2020-07-12 03:32

基于Kafka+SparkStreaming+HBase实时点击流案例

，记录下自己的工作和学习路程，希望能跟大家互相交流成长本文章更倾向于实战案例，涉及框架原理及基本应用还请读者自行阅读相关文章，相关在本文章最后参考资料中关于Zookeeper/Kafka/HBase/Hadoop

MichaelFly·2020-07-11 13:31

azkaban web-server源码解析

注：请先看azkaban官方文档，然后安装好azkaban-web-server并熟悉使用流程后，再往下看一、概述azkaban主要用于hadoop相关job任务的调度，但也可以应用任何需要调度管理的任务

盖世天才·2020-07-11 06:52

hadoop集群搭建四 hadoop高可用集群的安装

基本安装配置该项操作均在集群用户admin下进行，只在一台主机上进行操作其他的主机进行同步安装与步骤#mkdir~/hadoop#cdhadoop#tar-xzf~/setups/hadoop-2.7.3.tar.gz配置hadoop

离人散·2020-07-10 00:46

点点滴滴的记录·2020-07-09 21:16

如何合理设置hadoop相关组件的jvm Xmx

1.这个问题不是很简单么？直接设置不久好了，java-Xmx2000m像这样不就好了。No,我说的不仅仅是这个问题，比如，你看到/usr/local/bigdata/jdk/bin/java-Xmx2048m-Djava.net.preferIPv4Stack=true-Dhadoop.log.dir=/usr/local/bigdata/hadoop/logs-Dhadoop.log.file=

梅降雪·2020-07-09 19:02

Mr.WiG·2020-07-08 19:21

Hadoop启动顺序 | jps对应进程 | hadoop | zookeeper | hbase | spark

Hadoop启动hadoop集群后，可以通过jps命令显示当前所有java进程pid的命令，也就显示了所有与Hadoop相关的进程。

stone_fall·2020-07-08 06:04

java实现hadoopRPC协议，模拟namenode和datanode的通信

RPC是hadoop中提供的框架，所以如果自己设计一个RPC框架，必须要引入hadoop相关的依赖。二、原理简介RPC作用和RMI(remotemethodi

moshang_3377·2020-07-07 17:48

zookeeper 分布式锁服务

zookeeper是hadoop下面的一个子项目,用来协调跟hadoop相关的一些分布式的框架,如hadoop,hive,pig等,其实他们都是动物,所以叫z

weixin_33830216·2020-07-06 19:12

开源大数据，Hadoop相关的工具有哪些

1.HadoopApache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来，已成为一个完整的生态系统，众多开源工具面向高度扩展的分布式计算。支持的操作系统：Windows、Linux和OSX。相关链接：http://hadoop.apache.org2.Ambari作为Hadoop生态系统的一部分，这个Apache项目提供了基于Web的直观界面，可用于配置、管理和监控Hadoop集群。

人工智能爱好者·2020-07-06 12:36

Hadoop解决两个问题

Hadoop解决两个问题海量数据的存储--HDFS海量数据的分析--MapReduceHadoop=TheHadoopprojects和Hadoop相关的一些项目Common,Avro,MapReduce

wuyanlinwangli·2020-07-06 08:02

「已注销」·2020-07-05 10:07

大数据面试题个人整理（一）

大数据面试题个人整理（一）Hadoop相关试题1、MapTask并行机度是由什么决定的？由切片数量决定2、MR是干什么的？

如何释然╰╮·2020-07-05 09:15

[大数据]Hadoop大数据开发基础----环境配置(一)

大数据的概念就不在此赘述了，自己看书了解一下~下面说一下Hadoop集群的搭建及配置1.Hadoop相关软件及版本软件版本备注LinuxOsCentOS6.864位JDK1.7+64位VMware14pro

qq_36563021·2020-07-05 06:40

Hadoop之HDFS文件操作Java实现

新建一个Java工程导入hadoop相关包，具体为hadoop/share/common/lib、hadoop/share/common/hadoop-common-2.6.1.jar、hadoop/share

DataSheep·2020-07-05 06:10

weixin_30485291·2020-07-04 02:58

spark、hadoop大数据计算面试题汇总

utm_content=g_1000084791Hadoop相关试题Hive相关试题hive表关联查询，如何解决数据倾斜的问题?

灰二和杉菜·2020-07-02 15:58

HDFS配置Kerberos认证

HDFS配置Kerberos认证2014.11.04本文主要记录CDHHadoop集群上配置HDFS集成Kerberos的过程，包括Kerberos的安装和Hadoop相关配置修改说明。

wulantian·2020-06-29 21:30

hadoop面试问题

原来是阿付·2020-06-29 04:47

Flume的简介、原理与安装

1、前言flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。

俊杰梓·2020-06-28 19:11

看完肯定会系列之——CentOS7下安装和配置Hadoop以及Hadoop集群

文章目录一、事前准备1、CentOS虚拟机2、虚拟机安装好JDK3、Hadoop相关压缩包（包含Zookeeper、HBase、Hive，本篇文章只下载Hadoop即可）二、一些事前配置1、关闭防火墙2

日写BUG八百行·2020-06-27 20:43

MapReduce工作原理图文详解

MapReduce工作原理图文详解前言：前段时间我们云计算团队一起学习了hadoop相关的知识，大家都积极地做了、学了很多东西，收获颇丰。可是开学后，大家都忙各自的事情，云计算方面的动静都不太大。

weixiaolu123·2020-06-27 15:28

hadoop伪分布式环境搭建

前言：由于博主之前没有从事过hadoop相关的开发工作，最近正好遇到一个hadoop相关的项目，于是决定自学研究一下，博主整理的东西绝对是最全最详细的，不要问为什么，因为博主为了搭建hadoop环境几乎以及把网上所有的教程都看了一遍

会说话的丶猫·2020-06-27 10:00

Centos7下安装Cloudera Manager以及Hadoop

安装HadoopCM安装前准备系统设置安装CM安装CDH-HADOOP相关页面安装Hadoop（CM）警告：在执行以下命令时，如果出现ssh相关命令(此处只记录了一次)，则需要在操作机器上向每台机器都发起一次

胖蚂蚁_alleyz·2020-06-26 21:52

Flume实现读取文件

一、需求分析二、上传jar包因为本案例要读到hdfs里，所以，就要hadoop相关jar包支持。

student__software·2020-06-26 15:15

大数据013——Flume

1.Flume简介Flume是由Cloudera软件公司提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。

JankoWilliam·2020-06-26 11:21

大数据面试题及答案

_Jack_LI·2020-06-25 23:35

Flume实时监控Hive输出的日志信息并且读取吧到Hdfs文件系统

第一步：既然Flume想要输出数据到Hdfs文件系统，必然会依赖Hadoop相关的jar包，所以我们首先把Flume依赖的jar包导入flume安装目录下的lib

Now-just-do-it·2020-06-25 13:52

字节跳动C++研发实习生

一面（1h30min）一开始看了我的简历里有关于hadoop的项目经历，所以一开是问了hadoop相关的问题1问：先介绍以下hadoop的简单原理答：map从hdfs获取数据，处理成键值对，然后可以经过

UpUper2019·2020-06-25 13:30

hadoop、spark各大数据组件介绍

戰士·2020-06-25 11:23

我的大数据之路 - Flume 案例：监听上传Hive日志文件到HDFS

目录Goal：监听上传Hive日志文件到HDFSHow：1.拷贝Hadoop相关jar到Flume的lib目录下：2.创建flume-hive-hdfs.conf文件：3.开启你的集群然后执行监控配置：

有一个码农，他叫封子·2020-06-25 03:31

Hadoop分布式集群环境搭建

小生很忙·2020-06-24 17:54

hadoop学习笔记之一：初识hadoop

引言最近了解到淘宝使用hadoop的项目多了起来，hadoop对于许多测试人员来说或许是个新鲜玩儿，因此，把自己之前整理的学习笔记整理发上来，希望通过此系列文章快速了解Hadoop的基本概念和架构原理，从而助于hadoop

liuxinglanyue·2020-06-24 07:04

Flume概念与原理、与Kafka优势对比

blog.csdn.net/gyshun/article/details/797105341.背景flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop

吃鱼的羊·2020-06-23 13:28

简单介绍Hadoop实操

Hadoop实操这是Fayson创建的学习交流的公众号,包含非常多优质hadoop相关的文章.新的一年希望自己能够好好学习Hadoop实操里的所有内容,并整理出对应的文档,整理对应的blog.加油!

天南第一剑修·2020-06-23 12:27

spark分布式大数据计算7一spark和pyspark的安装和启动

本文参考自：https://blog.csdn.net/ouyangyanlan/article/details/52355350原文中有Hadoop相关内容，我这边没有使用相关功能，于是忽略Hadoop

小茹_1107·2020-06-23 09:44

爬虫学习之1：初试scrapy:爬取应届生求职网招聘信息

下面直接贴过程：一、安装Scrapy本来在Linux比较方便，但我电脑里的Ubuntu由于搭建了很多Hadoop相关的东西

cskywit·2020-06-23 01:32

基于Hadoop海量日志的入侵检测技术

基于Hadoop海量日志的入侵检测技术Hadoop相关技术Web日志基于Hadoop海量日志的入侵检测算法基于Hadoop量日志的入侵检测系统的实现Hadoop简介Hadoop是一个项目的总称，是开源实现的谷歌的集群系统

listone_sec·2020-06-23 00:58

大数据运维文档

ciqingloveless·2020-06-22 23:17

京东大数据平台进化之路

导读时下大数据技术趋于成熟与稳定的今天,hadoop相关服务也不再高高在上,已是作为如同数据库般的作为基础软件设施提供计算与存储服务,京东大数据平台从无到有,从量到质,从微创到革新经历五年的时间,集群规模一步步

Hadoop技术博文·2020-06-22 16:09

org.apache.hadoop.ipc.RemoteException(java.io.IOException)异常

最近在调试flink程序时，发现程序起不来，查看错误日志和hadoop相关，我的程序与hadoop相关的只有设置了checkpoint的路径是hdfs的一个目录路径。

沧海笑007·2020-06-22 09:36

Flume之HDFS Sink使用案例

CentOS7Java版本：1.8.0_221Flume版本：1.8.0HDFS版本：2.7.7Flumeagent配置：NetcatTCPSource、MemoryChannel、HDFSSink具体步骤a)拷贝Hadoop

TomAndersen·2020-06-22 06:28

flume介绍与原理(一)

1.背景flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。

weixin_33958585·2020-06-21 11:41

大数据平台搭建（一）：虚拟机环境配置

闹闹的BaBa·2020-06-21 08:58

Flume快速入门系列(3) | 如何实时读取本地/目录文件到HDFS上

目录一.实时读取本地文件到HDFS1.1需求：1.2需求分析1.3实现步骤1.Flume要想将数据输出到HDFS，必须持有Hadoop相关jar包2.创建flume-file-hdfs.conf文件3.

不温卜火·2020-06-21 04:12

Hadoop相关面试题知识点总结

美食江湖·2020-06-21 03:49

CDH6.3.2 开启Kerberos 认证

CDH6.3.2开启Kerberos认证标签（空格分隔）：大数据平台构建一：如何安装及配置KDC服务二：如何通过CDH启用Kerberos三：如何登录Kerberos并访问Hadoop相关服务一：如何安装及配置

flyfish225·2020-05-29 22:38

hadoop面试题之HDFS

广义上hadoop是指与hadoop相关的大数据生态圈。包含hive、spark、hbase等。狭义上hadoop指的是apache的开源框架。

becooner·2020-04-05 23:23

dir.who is not allowed to impersonate hadoop的问题

Super~me·2020-03-28 12:00

推荐频道

Hadoop相关