大数据集群

CDH集群的关闭与开启

周末要关闭大数据集群步骤如下：1、在主页上clouderamanager上关闭cluster和service即可；2、远程关闭centos，命令如下：sudoshutdown-hnow3、开启集群如下：
小小燕穿花衣·2016-11-14 10:13

大数据集群环境搭建——HDFS HA篇

本次我们迎来了《大数据集群环境搭建》的第三篇——HDFSHA篇。HDFS想必大家都不陌生，中文全称是“Hadoop分布式文件系统”（什么，你说中文全称里面为什么会有英语单词？
dreamtecher·2016-10-21 00:00

Spark Runtime内幕

一、HadoopYarn解析1，Yarn是Hadoop推出整个分布式（大数据）集群的资源管理器，负责资源的管理和分配，基于Yarn我们可以在同一个大数据集群上同时运行多个计算框架，例如Spark、MapReduce
sundujing·2016-05-15 16:00

大数据集群工作流及任务管理组件对比

1、传统crontab管理任务crontab-e注意日志的重定向，方便排错*/5****/opt/bin/hive_opt/synclog_5min.sh>/cronlog/syn_by_5min/synclog_5min.log2>&12、开源工作流Azkaban与Oozie对比功能二者都可以调度mapreduce,pig,java,脚本工作流任务二者都可以定时履行工作流任务工作流定义Azkab
kwu_ganymede·2016-04-28 11:00

明略技术合伙人任鑫琦：关系挖掘激发深层数据价值

任鑫琦于2009年毕业于京大学计算机科学与技术系，2009年至2012年在SLB从事核心软件开发与架构设计工作；2012年加入秒针系统，负责大数据集群运维和系统架构工作，在两年的时间中完成了公司计算架构的转变
InfoQ·2016-04-01 00:00

day27：Spark on Yarn彻底解密

、SparkonYarn两种运行模式3、SparkonYarn工作流程4、SparkonYarn 工作内幕5、SparkonYarn最佳实践一：Hadoop解析1、Yarn是Hadoop推出整个分布式大数据集群的资源管理器
·2016-03-02 23:00

Chef在大数据集群部署中的应用

Chef在大数据集群部署中的应用Chef Server存储配置各个节点所需的所有信息，以REST API接口提供服务，Chef Nodes是指那些安装了chef-client的节点，chef-client
fuchao1·2016-01-17 15:24

hadoop spark 大数据集群环境搭建（一）

大数据云计算现在比较热门，未来的一个发展方向，在此分享下技术,有不对的地方欢迎指出1、软件环境(会分享到网盘)centos6.5jdk1.7hadoop2.4.1(这里只用到hdfs,namenode不走ha)zookeeper3.4.5spark1.3.0(直接从官网下载已经编译好的32bit)scala 2.10.42、软件安装软件分配主机名称安装软件备注pc-01jdk、hadoop、zoo
albert_lz·2015-11-21 01:00

猛犸系统

目录前言猛犸系统特点猛犸抽象分层猛犸原型猛犸如何和已知应用交互猛犸如何提供高可用存储支持组件猛犸打通应用集群和大数据集群前言统一的，高效的分布式系统诞生的条件已经成熟：资源管理/调度系统。
祝威廉·2015-11-03 17:00

做一场有温度的技术活动，难吗？

VMware通过大数据集群享受运
烧碱Jusef·2015-10-24 00:00

Linux配置时间服务器

[Author]:kwu Linux配置时间服务器，大数据集群时间同步是非常关键的，误差超过500ms就会有问题，通常配置内网的时间服务器。
kwu_ganymede·2015-10-13 11:00

记一次云计算测试实验-openstack-icehouse-安装sahara

在两个节点都要配置这就是所说的大数据集群。
麦林泡泡·2015-06-03 09:36

大数据流式处理一个不能忽视的问题

大家都知道,一个大数据集群是由很多台计算机连上网络组成的。计算机里面都有CPU、内存、硬盘，计算机
laxcus·2015-05-04 06:25

大数据流式处理一个不能忽视的问题

大家都知道,一个大数据集群是由很多台计算机连上网络组成的。计算机里
laxcus·2015-05-04 06:00

分布式系统迁移Docker云案例分享

为了找到这风口，腾讯数据平台部开始全面拥抱Docker，基于多年的大数据集群管理经验，倾力打造DockerOnGaia云平台（简称Gaia云），并动员将数平自身的核心系统全面接入Gaia云。
天外有菌·2015-02-12 16:11

基于PostgreSQL的可扩展的开源大数据集群数据库：Postgres-XL

基于PostgreSQL的可扩展的开源大数据集群数据库：Postgres-XLhttp://www.postgres-xl.org/Postgres的-XL是一个基于PostgreSQL数据库的横向扩展开源
山水佳音·2014-11-07 13:38

Ironfan在大数据集群部署、配置管理中的应用

Ironfan介绍在Serengeti中，有二个最重要最关键的功能：一是虚拟机管理，即在vCenter中为一个Hadoop集群创建和管理所需要的虚拟机；另一个是集群软件安装配置管理，即在已安装好操作系统的虚拟机上安装Hadoop相关组件(包括Zookeeper，Hadoop，Hive，Pig等)，更新配置文件(例如Namenode/Jobtracker/Zookeeper结点的IP等信息)，然后启
vBigData·2013-12-09 14:31

Ironfan在大数据集群部署、配置管理中的应用

Ironfan介绍在Serengeti中，有二个最重要最关键的功能：一是虚拟机管理，即在vCenter中为一个Hadoop集群创建和管理所需要的虚拟机；另一个是集群软件安装配置管理，即在已安装好操作系统的虚拟机上安装Hadoop相关组件(包括Zookeeper，Hadoop，Hive，Pig等)，更新配置文件(例如Namenode/Jobtracker/Zookeeper结点的IP等信息)，然后启
vBigData·2013-12-09 14:31

Chef在大数据集群部署中的应用

Chef的基本架构Chef是一个C/S架构的分布式软件配置管理工具。Chef架构（源自https://wiki.opscode.com/display/chef10/Architecture+Introduction）ChefServer存储配置各个节点所需的所有信息，以RESTAPI接口提供服务，ChefNodes是指那些安装了chef-client的节点，chef-client主要用于与Che
vBigData·2013-11-15 12:20

Chef在大数据集群部署中的应用

Chef的基本架构Chef是一个C/S架构的分布式软件配置管理工具。Chef架构（源自https://wiki.opscode.com/display/chef10/Architecture+Introduction）ChefServer存储配置各个节点所需的所有信息，以RESTAPI接口提供服务，ChefNodes是指那些安装了chef-client的节点，chef-client主要用于与Che
vBigData·2013-11-15 12:20

大数据时代数据安全的挑战

当今的大数据集群将会与将来我们看到的数据集群有极大不同。适应这种新困难的安全工具也将发生变化。在采用大数据的生命周期中，业界仍处于早期阶段，但公司越早开始应对大数据的安全问题，任务就越容易。
灵玖lingjoin·2013-08-05 17:00

大数据并不是"大忽悠"

多数安全产品不能进行调整，从而无法满足大数据集群领域，也不能完全理解其面对的信息。为解决大数据的安全问题
灵玖lingjoin·2013-08-02 14:00

大数据虚拟化零起点-5基础运维第四步-部署vSphere Big Data Extensions 1.0 vApp

作为VMware推出的基于Serengeti开源技术的商业发行版，BDE的发布将延伸vSphere这一受到广泛认可的IT基础架构，使其成为部署、运行和管理大数据集群和负载的最佳基础架构平台。
vBigData·2013-07-30 16:45
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他