Hadoop集群

Hive UDF作业

首先准备工作，搭建好hive环境，保证hadoop集群是启动的。这个就不多说了。第一步：将数据导入Hive中在hive中，创建stock表结构。
weixin_30758821·2020-07-28 17:32

Hadoop 2.0生产环境（多机）安装部署方法（HDFS HA）

启动Hadoop集群：Step1:在各个JournalNode节点上，输入以下命令启动journalnode服务：sbin/hadoop-daemon.shstartjournalnodeStep2:在
weixin_30642561·2020-07-28 16:56

Hadoop集群上搭建Ranger

Therearetwotypesofpeopleintheworld.Ihatebothofthem.Hadoop集群上搭建Ranger在搭建Ranger工程之前，需要完成https://www.cnblogs.com
weixin_30486037·2020-07-28 16:38

Hadoop集群应用于大数据分析优势和挑战

对于这个问题，一个可能的解决方案就是搭建Hadoop集群，但它并不适合所有情况。让我们了解一下使用Hadoop集群的优缺点。Hadoop集群是什么？
wbj0110·2020-07-28 15:12

Linux配置ssh免密登录（大数据服务搭建必备）

比如我们在做Hadoop集群搭建的时候，它内部需要集群的机器需要相互信任，如果不配置SSH免密登录的话，就需要我们在启动Hadoop集群的时候，手动去输入机器的密码，如果集群实例数少还可以接受，但是当集群实例多的时候
wFitting·2020-07-28 15:56

唯品会 1000+ 台 Hadoop 集群优化经验

我们发现Hadoop集群升级（2.5.0-cdh5.3.2-->2.6.0-cdh5.13.1）以后，NameNodeRPC（remoteprocedurecall）queuetime在持续的在间隔一周左右性能恶化
过往记忆·2020-07-28 15:44

Hadoop集群管理之内存管理

1、内存Hadoop为各个守护进程(namenode,secondarynamenode,jobtracker,datanode,tasktracker)统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。大部分情况下，这个统一设置的值可能并不适合。例如对于namenode节点，1000M的内存只能存储几百万个文件的数据块的引用。如果我想单独设
jack-zhu·2020-07-28 14:45

大数据基准测试BigDataBench4.0安装及使用

环境准备hadoop集群环境已经正确安装，可通过50070端口访问namenode和datanode在这里也是使用BigDataBench_V4.0_Hadoop进行的测试下载wgethttp://prof.ict
wychen_sunshine·2020-07-28 14:23

Hadoop与eclipse连接

为了开发调试方便，本文介绍在eclipse下搭建开发环境，连接和提交任务到hadoop集群。
jukuistar·2020-07-28 13:41

Hadoop集群配置

本文为笔者安装配置过程中详细记录的笔记1．下载hadoophadoop-2.7.1.tar.gzhadoop-2.7.1-src.tar.gz64位linux需要重新编译本地库2．准备环境Centos6.464位，3台hadoop0192.168.1.151namenodehadoop1192.168.1.152datanode1Hadoop2192.168.1.153datanode21）安装虚
jukuistar·2020-07-28 13:10

hadoop学习记（2）--HDFS+yarn+MapReduce关系与原理

Hadoop无非就是：HDFS(文件系统)，yarn(任务调配)，mapReduce(编程模型，大数据并行运算)，我们安装完hadoop就已经包括了以上；Hadoop集群其实就是HDFS集群，说到HDFS
菜 头·2020-07-28 13:40

大数据案例分享《网站点击量排名统计分析》

).功能简述：实战云提供免费的服务器集群环境体验，现已配置好hadoop集群环境（更多的大数据环境，正在准备中......）并提供现成的案例：如《网站点击量排名分析》(更多案例正在研发中......)详细操作手册和技术解决方案
thinktotings·2020-07-28 12:20

Hadoop集群中添加硬盘

Hadoop工作节点扩展硬盘空间接到老板任务，Hadoop集群中硬盘空间不够用，要求加一台机器到Hadoop集群，并且每台机器在原有基础上加一块2T硬盘，老板给力啊，哈哈。
sun_168·2020-07-28 12:34

hadoop集群测试mapreduce程序的各种坑

Error1:datanode未能启动，namenode和datanode的clusterID不一致原因：datanode日志显示java.io.IOException:IncompatibleclusterIDsin/opt/hadoop-2.7.3/tmp/dfs/data:namenodeclusterID=CID-add6cc33-56f0-4d7c-8484-60740bf85c7c;d
RedLeague·2020-07-28 12:01

Ganglia监控Hadoop集群的安装部署

一、安装环境Ubuntuserver12.04安装gmetad的机器：192.168.52.105安装gmond的机器：192.168.52.31，192.168.52.32，192.168.52.33，192.168.52.34，192.168.52.35，192.168.52.36，192.168.52.37，192.168.52.38，192.168.52.105浏览监控web页面的机器：1
Jimmy Song·2020-07-28 10:22

Ambari (Apache Hadoop集群的供应、管理和监控的web工具) 基本概念

AmbariApacheAmbari是一种基于Web的工具，支持ApacheHadoop集群的供应、管理和监控。
ronmy·2020-07-28 10:50

MapReduce实现数据的二级排序并统计指定字段

引言在搭建了hadoop集群后，可以把实现聚焦于业务的具体实现，以一个实例为引子，巩固mapreduce的编程实践。如何配置hadoop集群，且看上一篇博客文章目录引言对运营商基站数据进行排序、统计。
ChanZany·2020-07-28 09:53

群起hadoop集群脚本（开启，关闭）

通过执行shell脚本语句，实现群起hadoop集群1.start.sh#!
如初⁰·2020-07-28 08:25

Docker入门（十三）：制作hbase2.1.0集群镜像

文章目录一、环境二、运行hadoop集群镜像三、配置环境变量（三台服务器同步操作）四、修改配置文件（三台服务器同步操作）4.1配置hbase-env.sh文件4.2配置hbase-site.xml文件4.3
刘李404not found·2020-07-28 08:34

hadoop集群环境搭建之完全分布式集群环境搭建（二）

hadoop集群环境搭建之完全分布式集群环境搭建（二）我们在上一篇hadoop集群环境搭建之伪分布式集群环境搭建（一）中介绍了hadoop伪分布式集群环境的搭建，下面我们介绍下完全分布式集群环境搭建。
zhang_widsom·2020-07-28 07:22

IDEA向hadoop集群提交作业

1.说明本地环境：IntellijIDEA15.0.2、jdk-7u65-windows-x64.exe、hadoop-2.6.1.tar.gz集群环境及其配置详情请见：http://blog.csdn.net/qq_28039433/article/details/78147172本文原先是根据http://blog.csdn.net/uq_jin/article/details/5223512
ZereChen·2020-07-28 06:10

hadoop集群动态扩展

Hadoop集群节点的动态增加与删除Hadoop集群节点的动态增加1.安装配置节点具体过程参考《Hadoop集群实践之(1)Hadoop(HDFS)搭建》2.在配置过程中需要在所有的Hadoop服务器上更新以下三项配置
ht_stonebridge·2020-07-28 04:13

Hadoop离线项目处理技术

介绍一个Hadoop生态离线项目：涉及到的技术：Hadoop：HDFS（数据存储的地方）MapReduce(用来做数据清洗)YARNHadoop集群Hive：数据清洗之后，数据放在hdfs上，需要使用外部表
liweihope·2020-07-28 02:26

Hadoop平台架构--存储篇

刚刚开始使用Hadoop集群的时候,目录没有有个规范,大家都根据自己的喜好创建各种不同的目录,权限控制也没有开启,随着应用越来越多，使用的人员也多了起来，导致目录混乱,终于在新规划集群的时候,对目录做了规范和权限控制
茄肥猫·2020-07-28 02:54

hadoop集群监控总结

1、取自ResourceManagerRESTAPI’s指标；https://hadoop.apache.org/docs/r2.8.4/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.htmlhttp:///ws/v1/cluster/metricshttp://**.**.***.208:8088/ws/v1/cluster/metrics集群
lin502·2020-07-28 02:52

hadoop（一）---安装centos

最近学hadoop集群搭建所以装Linux虚拟机centos装到吐从一开始的茫然百度到两天后的熟练。纪念一下，也许有一天别人能用得上。
lilyouyanglove·2020-07-28 02:18

Ganglia单播模式配置

为了监控Hadoop集群，为集群装了ganglia，一直用的好好的。
leongfans·2020-07-28 01:19

(转)hadoop jar xxxx.jar的流程

hi.baidu.com/dtzw/blog/item/64a6f3f2dff0511eb17ec5b0.html搞清楚hadoopjarxxxx.jar执行的流程：jar文件是如何分发的JobClient(不一定是hadoop
laiahu·2020-07-28 01:36

docker安装分布式hadoop

工作环境都是在多台服务器上安装hadoop集群的，但是对于个人未必会购买多台服务器。
k55·2020-07-28 01:25

hadoop+hive三节点环境搭建

OracleVirtualBox操作系统：centos7.6JDK：1.8.0_201MySql：5.7.25Hadoop：hadoop-2.8.1Hive：apache-hive-1.2.2-binHadoop
jmz19910110·2020-07-28 01:32

大数据-impala

1.impala概述：impala是一个查询引擎（MPP），使用场景是存储在hadoop集群中的数据，主体是用C++开发的开源大数据组件，与其他大数据领域的SQL引擎相比有高性能与低延迟的效果。
j_ys·2020-07-28 00:44

我是怎么玩hadoop的(一)--运行自己的mapreduce

他是一个开源框架，可以编写和运行分布式应用处理大规模数据，通过建立hadoop集群和运行一些mapred例子，我所感到只有就个字：“方便”、“健壮”、
iteye_4537·2020-07-28 00:43

ubuntu16.04安装jdk并配置

最终目标是在hadoop集群环境下并运行python。
~nAn~·2020-07-28 00:40

Hadoop节点的磁盘RAID

当搭建hadoop集群的时候首先要注意的是节点的磁盘选型，这对hadoop集群的读写和高可用有着很重要的影响以下是对Hadoop集群节点的磁盘配置建议：HDFSNameNode作为重要的节点，其元数据存储区最好做
kris37·2020-07-28 00:02

hadoop-examples-0.20.2-cdh3u6.jar wordcount 例子运行出现的问题记录

1.hadoop集群已经能够运行，报告正常，在之前的文章中记录了搭建和启动过程。
驰驰的老爸·2020-07-27 23:30

使用Eclipse插件连接配置Mapreduce说明与教程(hadoop-eclipse-plugin 2.6)

1.前言网上的很多教程都是基于hadoop单机或者是伪分布式的,在HA集群的hadoop是有些不一样的;所以写个hadoop-eclipse-plugin连接HAhadoop集群的说明;2.查看hadoop
且_听_风_吟·2020-07-27 23:24

hadoop集群部署，内存，存储配置

翻译自：http://blog.octo.com/en/hadoop-in-my-it-department-how-to-plan-a-cluster/和http://blog.cloudera.com/blog/2013/08/how-to-select-the-right-hardware-for-your-new-hadoop-cluster/一推荐配置每100万块存储，需要1GB的Nam
春夏秋冬又一年·2020-07-27 23:03

Apache Ranger初识

1、Apacheranger简介Apacheranger是一个Hadoop集群权限框架，提供操作、监控、管理复杂的数据权限，它提供一个集中的管理机制，管理基于yarn的Hadoop生态圈的所有数据权限。
fjssharpsword·2020-07-27 22:25

Hadoop集群动态扩容、缩容

一、Hadoop集群动态扩容、缩容随着公司业务的增长，数据量越来越大，原有的datanode节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。也就是俗称的动态扩容。
dingqiu6346·2020-07-27 21:20

hadoop三大核心组件

Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。
dengfeng6722·2020-07-27 21:22

学习 sparksql 遇到的异常问题

sc.textFile("/person.txt").map(_.split(""))读取hdfs上的文件将RDD转换成DataFrame执行rdd.toDF方法报错执行lineRDD.collect方法仍然报错才发现hadoop
yala说·2020-07-27 21:20

hadoop集群中zkfc的作用和工作过程

作用：（1）健康检测：zkfc会周期性的向它监控的namenode（只有namenode才有zkfc进程，并且每个namenode各一个）发生健康探测命令，从而鉴定某个namenode是否处于正常工作状态，如果机器宕机，心跳失败，那么zkfc就会标记它处于不健康的状态；（2）会话管理：如果namenode是健康的，zkfc机会保持在zookeeper中保持一个打开的会话，如果namenode是ac
小爷欣欣·2020-07-27 20:16

唯品会HDFS性能挑战和优化实践

我们发现Hadoop集群升级（2.5.0-cdh5.3.2–\u0026gt;2.6.0-cdh5.13.1）以后，NameN
客服小羊·2020-07-27 20:12

HDFS集群数据迁移方案-distcp

HDFS集群数据迁移方案-distcp1.原理distcp原理是在Hadoop集群中使用MapReduce分布式拷贝数据。
cjfeii·2020-07-27 20:32

Hadoop2.6.4搭建笔记

自己搭建一个Hadoop集群，小型的。我在台式机上新建了3台虚拟机，一台用于Master，两台用于Slave。系统用的Ubuntu14.04.系统准备好之后。
cptbtptpss·2020-07-27 19:50

Hadoop2.6.0运行mapreduce之Uber模式验证

前言在有些情况下，运行于Hadoop集群上的一些mapreduce作业本身的数据量并不是很大，如果此时的任务分片很多，那么为每个map任务或者reduce任务频繁创建Container，势必会增加Hadoop
泰山不老生·2020-07-27 19:47

spark on yarn【在yarn上提交spark 程序配置及实现方式】

最近老是忘记东西，，，在这里简单记录一下1、在yarn上启动spark程序修改spark-env.sh文件，配置hadoop的配置文件，或者yarn的配置文件即可（两者选择其中一种即可）指向包含Hadoop
阿龙学堂·2020-07-27 18:07

用 Ganglia 监控hadoop集群

随着数据中心的增长和管理人员的缩减，对计算资源使用有效监视工具的需求变得比以往更加迫切。术语监视在应用到数据中心时可能会让人混淆，因为它的含义会根据具体的说话者和听众而有所不同。例如：在集群中运行应用程序的人员会思考：“我的作业什么时候运行？它什么时候会完成？以及与上一次相比，它是怎样执行的？”网络运营中心（NOC）的操作员会思考：“什么时候会出现表示需要解决问题的红灯并安排服务电话？”系统工程部
第九滴眼泪·2020-07-27 18:24

Spark ON YARN 官方中文版

在YARN上启动Spark确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群（客户端）配置文件的目录。这些配
菜鸟级的IT之路·2020-07-27 17:37

RC ORC Parquet之大数据文件存储格式的一哥之争

背景  大数据如火如荼的发展中，以hadoop集群为基础的数据存储和计算框架也日新月异的精进，而如何减少存储空间又提升计算效率，一直是大数据集群老生常谈的问题，今天就一起聊聊最基本的大数据文件存储格式的区别对比
╭⌒若隐_RowYet·2020-07-27 16:30
上一页 42 43 44 45 46 47 48 49 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他