大数据集群

1.3 virtualbox高级应用构建本地大数据集群服务器

1.3virtualbox高级应用构建本地大数据集群服务器开源地址https://github.com/wangxiaoleiAI/big-data卜算子·大数据目录开源“卜算子·大数据”系列文章、源码
王小雷-多面手·2018-06-20 13:09

shell编程实现免密登陆以及软件自动安装和配置

之前我写过ssh自动化免密登陆，然而在大数据集群搭建过程中每个节点需要安装许多软件并且需要配置相关文件，所以现在我们实现一个自动安装软件脚本。
大象爱老鼠·2018-06-09 23:04

CentOS 7 搭建企业内网 DNS 服务器

CentOS7搭建企业内网DNS服务器在大型企业中经常要搭建自己的内部网络，在企业内部搭建内部web服务器，文件服务器，邮件发送服务器，大数据集群等，使用默认的路由器所提供的公网DNS服务器就达不到想要的效果
devalone·2018-06-05 13:44

大数据集群搭建--1 - Centos7.4 免密登录设置

Centos7.4免密登录设置=======================1.首先准备4台虚机，列表如下：>172.20.3.85ys01>172.20.3.84ys02>172.20.3.83ys03>172.20.3.82ys042在/etc/hosts/下添加如下信息3在master上执行如下命令：`ssh-keygen-trsa`执行后，全部回车完成4然后在ys01上用ssh建立连接如下
harris135·2018-06-05 13:49

大数据集群搭建--3 - Zookeeper集群搭建

1.首先准备4台虚机172.20.3.85ys01172.20.3.84ys02172.20.3.82ys03172.20.3.83ys04将以上加入到/etc/hosts中2.安装jdk参照(centos7.4安装jdk1.7)3.cd到zookeeper所存放的目录，解压包并重命名为zookeepertar-zxvfzookeeper-3.4.5.tar.gz-C/usr/local/ys/a
harris135·2018-06-05 13:33

docker容器的迁移

0.背景需要把云服务器上用docker搭建的大数据集群迁移到本地的主机上。大数据集群有一个master主节点和slave01、slave02两个计算节点。
canyue2811·2018-06-03 00:53

CDH集群oozie报错：Oozie web console is disabled

背景：最近计划大数据集群任务调度工具采用oozie，而我们CDH集群自带的oozie控制台页面打开报错，在此记录下解决方案1、错误这个问题网上也挺多人遇到，不知道是不是默认安装CDH都会有这个问题。
深寒丶·2018-05-29 23:30

饿了么大数据离线计算引擎实践

其中6人的离线团队需要维护大数据集群规模如下，Hadoop集群规模1300+HDFS存量数据40+PB，Read3.5PB+/天，Write500TB+/天14WMRJob/天，10WSparkJob/
dabokele·2018-05-29 21:04

大数据集群安装系列2：Hadoop HA 模式安装

1,基本环境配置：依赖zookeeper，请参看zookeeper的安装：大数据集群安装系列1：Zookeeper的安装欢迎留言哦，欢迎提问。
南山黑·2018-05-28 08:42

大数据集群安装系列1：Zookeeper 的安装

1，基础环境1，首先准备三台节点，(找个配置好一些的电脑，装个Vmvare虚拟机器主机就Ok了，具体方法，度娘，这是基本的功力，哈哈哈哈)2,安装好jdk，本位的jdk版本如下：javaversion"1.8.0_131"Java(TM)SERuntimeEnvironment(build1.8.0_131-b11)JavaHotSpot(TM)64-BitServerVM(build25.131
南山黑·2018-05-27 21:48

大数据平台搭建 - cdh5.11.1 - hadoop集群安装

一、前言由于线下测试的需要，需要在公司线下（测试）环境搭建大数据集群。那么CDH是什么？
nicekk·2018-05-12 12:00

大数据集群优化

集群优化一个小集群:1个master,10个datanode。最开始使用pig脚本分析作业，后面作业运行时观察发现，pig脚本执行的小作业太多导致任务调度频繁，集群效率低。小作业太多的影响:频繁新建和关闭task，频繁分配container会消耗资源。一个oozieaction先会启动一个oozielaucher作业消耗一个container，然后再启动实际的job，启动的job首先会用个cont
菜鸟级的IT之路·2018-05-11 07:12

centos7 ambari2.6.1.5+hdp2.6.4.0 大数据集群安装部署

我的原创地址：https://dongkelun.com/2018/04/25/ambariConf/前言本文是讲如何在centos7（64位）安装ambari+hdp,如果在装有原生hadoop等集群的机器上安装，需要先将集群服务停掉，然后将不需要的环境变量注释掉即可，如果不注释掉，后面虽然可以安装成功，但是在启动某些服务的时候可能会有异常，比如最后提到的hive启动异常。本文适合系统：RedH
董可伦·2018-05-08 09:16

通过VMware搭建分布式集群基础环境

一、前言在日常学习、工作当中，我们经常需要用到分布式集群环境，如zookeeper集群、redis集群、大数据集群等，而通常并没有那么多的物理机器可以使用，因此，通过虚拟机搭建一套分布式集群环境以供开发和测试
老农小江·2018-05-07 00:06

大数据集群安装（1、分布式集群准备工作）

分布式集群准备工作安装手册一、VMareWorkstation的安装二、Ubuntu的安装(必须所有系统的用户名相同,主机名不同)三、联网四、设置HOST:Sudovi/etc/hosts#forhadoop10.28.23.116ubuntu010.28.23.117ubuntu110.28.23.111ubuntu310.28.23.113ubuntu410.28.23.115ubuntu21
bug发现与制造·2018-04-25 22:43

搭建sparkmllib开发环境的一些坑-----

sparkmlib是spark用于机器学习开发的包，实现了在分布式的大数据集群上做机器学习的功能，是目前对分布式支持较好的机器学习框架，除此之外支持分布式的机器学习框架还有tensorflow和deeplearning4j
凌洪涛·2018-04-02 18:50

大数据面试遇到的问题

a)Fifoschedular默认的调度器先进先出b)Capacityschedular计算能力调度器选择占用内存小优先级高的c)Fairschedular调度器公平调度器所有job占用相同资源2.大数据集群数据丢失了如何恢复
蘑菇丁·2018-03-15 17:41

大数据集群环境搭建

安装可以参考这个老哥http://blog.csdn.net/u012185296也可以参考下面的安装cmd,下载安装包wgethttp://archive.cloudera.com/cdh5/parcels/5.12.1.3/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcelwgethttp://archive.cloudera.com/cdh5/parcels/5.1
houzhanwublog·2018-02-06 09:45

linux01-centos6.5安装配置,常用指令

使用VMware安装CentOS操作系统3.安装Linux连接工具1.Linux基本概念Linux内核GUN/GPL2.基本指令本门课程的定位1.企业环境中使用的服务器操作系统基本就是Linux系统2.大数据集群也是搭建在
Vanessa_wanglu·2018-02-02 15:54

hbase集群集成ntp时间同步

1.前言由于最近搭建的大数据集群多次自动关闭,检查发现是各几点时间不一致导致2.流程--在各个节点安装ntp#yum-yinstallntp--所有节点设置时区,中国所用时区为#timedatectlset-timezoneAsia
loopeng1·2018-01-13 15:47

链家大数据多维分析引擎实践

在架构师实践日北京站中，链家大数据集群架构组负责人邓钫元进行演讲，分享了链家在多维分析引擎方面的一些实践经验，主要从OLAP的背景和简介、链家多维分析架构演进和展望、OLAP平台链路优化这三部分来介绍。
Enmotech·2018-01-11 00:00

基于centos7搭建hadoop+zookeeper+hbase大数据集群

最近在给公司项目搭集群,顺手整理了一个文档,特别详细,相信新手看了也能一次搭好hadoop集群1.环境准备jdk1.8.0_121hadoop-2.6.5zookeeper-3.4.10hbase-1.2.4三台集群主机安装centos7系统ip分别为192.168.10.208(master)192.168.10.207(slave1)192.168.10.206(slave2)2.修改host
loopeng1·2018-01-09 13:34

Linux时间同步

在大数据集群环境中，要求每台集群的时间必须是同步的，这样我们就会要求每台集群的时间必须和一台服务的时间是同步的，有几种方式可以做时间同步的：date命令：date:查看当前时间，结果如下：[root@cdh3
Xlucas·2018-01-06 21:48

【备忘】2017Spark 2.0大型项目实战：移动电商app交互式数据分析

一、大数据集群搭建-第1讲-课程介绍1第2讲-课程环境搭建：CentOS6.4集群搭建%第3讲-课程环境搭建：hadoop-2.5.0-cdh5.3.6集群搭建3第4讲-课程环境搭建：hive-0.13.1
qq_38472057·2017-11-10 18:02

大数据集群修机器名

背景介绍：近日公司两套大数据集群，出现了主机名重复，有些程序需要同时调用，而且程序调用必须用host文件，这样问题就来了，机器名冲突，两套集群，一套是实时流，一套是离线跑批集群，评估其危险系数，只能改离线集群了
dingyanming·2017-10-25 15:46

hadoop存储hdfs磁盘余留问题

背景介绍：近日由于公司大数据集群进行了升级，新增的服务器数据盘几乎是空的，但是考虑到集群数据量较大（大概100多个TB），而且集群几乎24小时在用，考虑到以下因素，1做大规模集群负载均衡是否会造成数据丢失
dingyanming·2017-10-16 11:08

魅族大数据运维平台实践

当时只有三个节点，因为我们起步比较晚，没有赶上Hadoop1.0，直接是用YARN来跑的大数据集群，而且默认就上了HA功能；2014年9月节点增加到20个，数据日增30GB；2015年6月上线Spark
msup789·2017-10-14 10:16

大数据集群搭建之hadoop、tomcat、jdk等工具的安装（三）

目录一、准备的资源：二、安装配置过程目录本章就说下各种软件的安装和配置。一、准备的资源：1、tomcat(如用于在网页上查看HDFS的存储等)地址：http://pan.baidu.com/s/1miC93ny密码：52dd2、jdk地址：http://pan.baidu.com/s/1mhVWiM0密码：fmn13、Hadoop（最好用centos6.5系统，否则配置时会出现各种BUG）地址：h
春雨里de太阳·2017-09-18 22:12

大数据集群搭建之节点的网络配置过程（二）

紧接着上一章来设置windows的vmnet8的ip地址和虚拟机中centos的ip地址。NAT虚拟网络的配置图如下图所示：1、这里根据VMware中得到的网关地址去设置vmnet8的ip地址。网关地址查看：2、得到的网关地址后去设置vmnet8，将网关地址设置为vmnet8的网关地址，DNS地址；IP地址可以自己设置（只要在同一个局域网就行）。（参考NAT虚拟网络的配置图）例如：我得到的网关地址
春雨里de太阳·2017-09-17 15:07

大数据集群搭建之Linux的安装（一）

1、准备工具VMWare、centosmimal版本系统文件。2、工具安装1、安装vmware软件安装软件地址：VMWare：http://pan.baidu.com/s/1qYnySrE密码：3t3rcentosmimal版本：http://pan.baidu.com/s/1dE5LY6H密码：gxae2、启动vmware后的软件界面3、新建虚拟机4、选择自定义配置5、选择硬件兼容标准6、选择是
春雨里de太阳·2017-09-17 14:02

那些年，我们迁移过的大数据集群

大数据集群迁移这件事，不知道有多少同学做过。我说的不是把一个集群的数据备份到另一个集群上。我指的是整个数据平台与大数据相关的所有集群及业务的迁移工作，从一个机房到另一个机房。
彩色蚂蚁·2017-08-08 09:20

搭建两个节点的大数据集群-1.hdfs集群

0.规划两个节点：ip部署的程序备注192.168.56.2/bigdata.lzfnamenode,datanode,NodeManager，hive,presto,mysql,hive-metastore,presto-cli主节点192.168.56.3/bigdata.dn1.lzfsecondarynode,resourceManager,NodeManager,hive,presto,
正在战斗中·2017-07-24 16:00

Linux虚拟机搭建大数据集群

1.准备工具下载a）VMware虚拟机：VMwareFusion851.dmgb）Linux系统：CentOS-6.5-x86_64-bin-DVD1.isoc）CDH：cloudera-manager-el6-cm5.4.10_x86_64.tar.gzd）CDH5：CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcelCDH-5.4.10-1.cdh5.4.10.p0.16-
luo627·2017-06-25 20:35

Spark与深度学习框架——H2O、deeplearning4j、SparkNet

本文选自《Spark：大数据集群计算的生产实践》。深度学习因其高准确率及通用性，成为机器学习中最受关注的领域。这种算法在2011—201
博文视点·2017-06-21 16:36

Spark的那些外部框架

本文选自《Spark：大数据集群计算的生产实践》。SparkPackage要使用Spark库，你首先必须了解的东西是Sparkpackage。它有
broadview2006·2017-06-15 09:00

HDFS的新方向：Ozone对象存储

前言HDFS在近几年中得到了迅速的发展，作为性价比比较高的存储系统，用户、企业只需利用若干台低配廉价的节点机型，就可以构建能够承受TB甚至PB级别的大数据集群，然后在上面做各种类型任务的作业，而且在底层方面
Android路上的人·2017-04-30 15:12

Curator在大数据集群可靠性中的应用以及改进

Curator在大数据集群可靠性中的应用以及改进Curator简介大家都知道，ZooKeeper是当前大数据领域内常用的分布式协调组件。几乎在所有的大数据、分布式处理组件中都能见到它的应用。
狗叔·2017-04-25 00:27

生产环境实战spark （5）分布式集群 5台设备之间hosts文件配置 ssh免密码登录

我在整个大数据集群的安装中没有使用一些hadoop的第三方的安装包工具，这里使用笨办法，SSH配置也比较简单，就一台一台的手工安装部署：1.关闭防火墙（单台设备检查）2.hosts文件配置（集群节点按脚本分发
段智华·2017-04-18 10:44

HDP 2.5安装搭建部署

HDP全称HortonworksDataPlatform(HDP)，是Hortomworks公司提供的一个大数据平台，它整合了开源hadoop生态圈的大部分组件，能够很简单便捷的帮助我们搭建起Hadoop大数据集群环境
风格lu·2017-04-07 00:27

大数据生态圈单节点环境搭建（hadoop、hbase、spark等）

接触大数据已经有将近三年多时间了，实际项目也有将近两年多，这篇文章写给哪些和我当初刚学大数据时的朋友们，让大伙少走点弯路，千里之行始于足下，所以还是从单节点的大数据集群环境搭建开始，后续我有时间会陆续进行更新新的博客
iteye_4668·2017-04-06 23:33

大数据生态圈单节点环境搭建（hadoop、hbase、spark等）

阅读更多接触大数据已经有将近三年多时间了，实际项目也有将近两年多，这篇文章写给哪些和我当初刚学大数据时的朋友们，让大伙少走点弯路，千里之行始于足下，所以还是从单节点的大数据集群环境搭建开始，后续我有时间会陆续进行更新新的博客
三年计划·2017-04-06 23:00

技术贴——LINUX时间同步服务

在大数据集群中，一个最重要的概念就是对各个服务器做时间同步时间同步的重要性：保证集群中每台服务器的时间一致，误差可以忽略不计，同时集群之间的机器在进行通信的时候，不会导致连接超过集群中服务设置的超时时间简单点说
IT妹子2018·2017-04-06 11:05

轻松搞定virtualbox虚拟机安装centos系统集群

blog/867794  本文为博主原创文章，未经博主允许不得转载0X01vitalbox与centosminimal的选择  手头只有一台thinkpad笔记本（基本配置i516G500G），需要搭建大数据集群环境
chongchici0395·2017-03-26 11:00

CDH大数据集群部署

一、环境准备1、修改主机名（所有节点）/etc/sysconfig/network/etc/hosts2、关闭防火墙（所有节点）serviceiptablesstopchkconfigiptablesoff;3、关闭SELINUX（所有节点）vi/etc/sysconfig/selinuxSELINUX=disabled将SELINUX属性值设置为disabled（需要重启生效）4、修改内核参数（
jaymarco·2017-03-13 17:06

雅虎BigML团队开源大数据分布式深度学习框架TensorFlowOnSpark

雅虎BigML团队今日宣布开源TensorFlowOnSpark，用于在大数据集群上进行分布式深度学习。下面是该团队官方发布的开源说明。近几年，深度学习发展的非常迅速。
·2017-02-14 00:00

大数据第一季--java基础（day27）-徐培成-专题视频课程

讲师介绍徐培成更多讲师课程IT十八掌创始人兼首席大数据开发技术金牌讲师，曾任驿统金（上海）网络技术有限公司总经理，主导与光大银行总行重点合作的阳光驿站金融结算系统的研发，并指导团队在阿里公有云上规划、部署Hadoop大数据集群
十八掌教育·2017-01-22 08:13

大数据相关技术

大数据集群搭建主要基于ambari来同一管理监控集群主要安装步骤：准备机器，修改hostname，固定ip等机器间免密码登录host机器开启httpd服务，准备本地仓库安装ambarisetup访问页面
哎哟喂喽·2017-01-15 21:20

大数据相关技术

大数据集群搭建主要基于ambari来同一管理监控集群主要安装步骤：准备机器，修改hostname，固定ip等机器间免密码登录host机器开启httpd服务，准备本地仓库安装ambarisetup访问页面
哎哟喂喽·2017-01-15 21:20

manager大数据架构

越来越火的大数据时代，人工智能开创的时代，如何管理大数据集群成为一个非常重要的问题，现今通用的大数据平台大致的架构我简单说一下，希望对大家有帮助。
chj_xc·2016-12-01 14:51

[置顶] 大数据集群遇到的问题（Hadoop、Spark、Hive、kafka、Hbase、Phoenix）

大数据平台中遇到的实际问题，整理了一下，使用CDH5.8版本，包括Hadoop、Spark、Hive、kafka、Hbase、Phoenix、Impala、Sqoop、CDH等问题，初步整理下最近遇到的问题，不定期更新。启动nodemanager失败2016-09-0714:28:46,434FATALorg.apache.hadoop.yarn.server.nodemanager.NodeMa
a822631129·2016-11-15 11:00
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他