大数据集群

1. Spark架构

Spark在hadoop组件集的位置Spark是大数据集群的一种计算框架，其在大数据组件的位置如下。这里说明，Spark是对并行框架MapReduce的一种替换，而不是对整个hadoop的替换。
爱学习的小朱哥·2020-11-13 11:11

大数据入门级学习——Hadoop集群搭建总结（VM+centOS7）

步入大数据的第一步：必须学会搭建大数据集群的框架那么第一步必须要在linux系统上搭建Hadoop集群目录一、安装并配置虚拟机（centOS7）二、克隆出三台虚拟机三、安装及配置JDK四、安装Hadoop
不撸先疯。·2020-10-11 21:15

大数据集群、计算机网络、交换机、局域网、网络拓扑简要介绍

介绍集群计算机网络交换机局域网网络拓扑集群集群是一组相互独立的、通过高速计算机网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。计算机集群简称集群是一种计算机系统，它通过一组松散集成的计算机软件/硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，
qq_21853321·2020-10-05 15:35

大数据集群搭建中遇到的问题

1.在搭建集群的时候需要克隆虚拟机来作为数据节点，在克隆以后遇到了ifconfig不能出来ens33的问题，这个问题是需要到/etc/sysconfig/network-scripts/目录下来通过ifconfigens33up来启动ens33的网卡。启动网卡后发现在ens33中没有打出ip地址通过下面三个命令可以解决问题systemctlstopNetworkManager临时关闭systemc
smallgrey·2020-09-27 23:07

大数据集群迁移的那一夜是怎么过的

背景大数据集群迁移这件事，不知道有多少同学做过(反正我是第一次)。我说的不是简单的把一个集群的数据拷贝到另一个集群上，我指的是整个数据处理平台与相关的前台业务的迁移工作，是从一个机房到另一个机房。
WindyQin·2020-09-21 09:00

本地安装kylin学习环境

HDP的大数据集群环境是以docker的方式在虚拟机内运行的，相当于是VMware运行的centos虚拟机内运行一个docker，docker内就是大数据集群，我们需要在docke
渡月桥·2020-09-17 05:34

大数据集群之HDFS的简单使用（使用HDFS 简单实现云盘系统）

HDFS作为Hadoop的文件系统，具有以下特点：高容错流式文件访问适合大数据处理适合批处理高容错率可以使它构建在廉洁的机器上当然也有缺点：不擅长低延迟和高吞吐率的数据访问小文件存储并发写入和高频率修改参照：https://blog.csdn.net/woshiwanxin102213/article/details/19990487HDFS常用指令HDFS的指令很多都与Linux有相同之处。官网
bay_bai·2020-09-16 02:36

linux系统简介及命令简介

一、Linux基本概念1.本门课程的定位a.企业环境中使用的服务器操作系统基本就是Linux系统b.大数据集群也是搭建在Linxu系统之上2.Linux内核Linux是一个一体化内核（monolithickernel
我不是李寻欢·2020-09-16 01:55

Cloudera Manager集群(CDH6.2.0.1)完整搭建指南

host名与ip绑定各主机间设成免密登录安装openjdk各节点间关selinux关firewalld然后使用以下命令在各个节点禁firewalld普通用户（appadmin）sudosu提权时的免密设置大数据集群的文件打开数设置大数据使用系统最大物理内存安装离线安装时的
TGITCIC·2020-09-14 19:09

Sqoop的Import和Export操作

Sqoop将非大数据集群（关系型数据库mysql、oracle等）RDBMS向大数据集群（HDFS、Hive、HBase）传输数据，称为import；反之称为export。
攻城狮Kevin·2020-09-14 16:23

Sqoop导入与导出数据

一.导入数据在Sqoop中，"导入"指的是从非大数据集群(RDBMS)向大数据集群(HDFS,HBASE,HIVE)中传输数据，即import。
myllxy·2020-09-14 15:02

大数据集群运行过程中出现的问题解决方案

1、Exceptioninthread"main"org.apache.hadoop.ipc.RemoteException(java.io.IOException):File/user/root/.sparkStaging/application_1561599084053_0003/__spark_libs__1535509378331375892.zipcouldonlybereplicat
请叫我小叶子·2020-09-14 12:31

Hadoop+Spark 大数据集群日常1 （There are 0 datanode(s) running报错 处理）

Hadoop+Spark大数据集群日常1由于项目涉及Hadoop+Spark大数据集群，特写此文档，方便将来处理类似问题参照，也为后人提供解决方案。
VisionsofShiva·2020-09-14 09:20

大数据集群部署与管理

**内容概览一、大数据集群技术的概述二、大数据集群技术的架构与分析三、大数据集群的部署四、大数据集群的管理与监控五、结束语**一、大数据集群技术的概述让我们从有趣的“啤酒与尿布”故事说起，在美国沃尔玛连锁超市
大王小鬼hopeera·2020-09-13 20:48

[徐培成系列实战课程]-docker篇-前序

[徐培成系列实战课程]docker篇如何利用docker快速构建Spark独立模式的集群1、介绍利用docker容器技术快速构建跨节点的独立模型的Spark大数据集群。
十八掌教育·2020-09-13 20:40

大数据第一季--Hadoop（day4)-徐培成-专题视频课程

讲师介绍徐培成更多讲师课程IT十八掌创始人兼首席大数据开发技术金牌讲师，曾任驿统金（上海）网络技术有限公司总经理，主导与光大银行总行重点合作的阳光驿站金融结算系统的研发，并指导团队在阿里公有云上规划、部署Hadoop大数据集群
十八掌教育·2020-09-13 20:39

6个人如何维护上千规模的大数据集群？

本文主要介绍饿了么大数据团队如何通过对计算引擎入口的统一，降低用户接入门槛；如何让用户自助分析任务异常及失败原因，以及如何从集群产生的任务数据本身监控集群计算/存储资源消耗，监控集群状况，监控异常任务等。如果你想了解大数据的学习路线，想学习大数据知识以及需要免费的学习资料可以加群：784789432.欢迎你的加入。每天下午三点开直播分享基础知识，晚上20:00都会开直播给大家分享大数据项目实战。饿
weixin_30596165·2020-09-13 20:01

大数据集群搭建---《hive篇》 --菜鸟小回

大数据集群搭建—《hive篇》--菜鸟小回创建上传解压安装好mysql,需要在mysql里面创建一个数据集hivevi/etc/profilevi/etc/profile//添加exportHIVE_HOME
菜鸟小回·2020-09-13 19:37

ambari关闭后，再次启动失去集群节点心跳

ambari管理大数据集群，节点失去心跳，操作方法：1、在失去心跳节点打开配置vi/etc/ambari-agent/conf/ambari-agent.ini在[security]下添加force_https_protocol
Dawn_WL·2020-09-13 18:36

大数据第三季--flume（day2)-徐培成-专题视频课程

讲师介绍徐培成更多讲师课程IT十八掌创始人兼首席大数据开发技术金牌讲师，曾任驿统金（上海）网络技术有限公司总经理，主导与光大银行总行重点合作的阳光驿站金融结算系统的研发，并指导团队在阿里公有云上规划、部署Hadoop大数据集群
十八掌教育·2020-09-13 18:07

大数据集群

常见搭建方式：一、使用框架进行快速搭建，常见CDH（ClouderaManager）和HDP（Ambari）https://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/index.htmlCDH安装有几个坑：1.确保所有的hostname写正确2.初次进入时候需要取消AUTO-SSL，在配置文件里面也要将SSL改为03
weixin_30437847·2020-09-13 18:07

大数据集群搭建---《sqoop篇》 --菜鸟小回

大数据集群搭建—《sqoop篇》--菜鸟小回创建上传安装如上篇导入mysql驱动将数据库导到hdfs上面cd/opt/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/bin//导入
菜鸟小回·2020-09-13 18:37

大数据集群搭建---《flume篇》 --菜鸟小回

大数据集群搭建—《flume篇》--菜鸟小回创建：mkdir-p/opt/flume进入：cd/opt/flume上传解压：tar-zxvfapache-flume-1.8.0-bin.tar.gz修改配置文件
菜鸟小回·2020-09-13 17:13

（三）大数据集群规划简介

大数据集群规划简介1:服务器配置kafka内存：64GB（以上）DDR4；硬盘：2*600GBSAS硬盘(系统盘);12*8TSATA硬盘；磁盘推荐raid1hdfs+hbase+hive推荐配置---
猿来如此dj·2020-09-13 09:27

大数据管理：构建数据自己的“独门独院”

摘要：海量数据浪涌促成大数据集群不断升级扩容，为减少数据搬迁、避免跨集群用数，大集群出现是发展的必然。随着社会各行各业的数字化进程，未来几年，数据将指数级增长。
华为云·2020-09-11 12:42

一篇了解大数据架构及Hadoop生态圈

第一节集群规划大数据集群规划（以CDH集群为例），参考链接：https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_host_allocations.htmlhttps
小神龙q·2020-09-11 09:51

PPTV之大数据集群容器化研究

本文讲的是PPTV之大数据集群容器化研究【编者的话】如何统一调度两个集群的物理资源，有效节约成本？背景PPTV作为国内视频领域的领先者，对于大规模流媒体的存储、处理、分发及应用，有着迫切的要求。
weixin_34248487·2020-09-10 19:34

数据治理系列：大数据集群资源治理

https://mp.weixin.qq.com/s/kIuiv7qDo4yvxr-mIJf3QQ随着移动互联网和大数据的蓬勃发展，“数据即资产”的理念深入人心。大数据已发展成为具有战略意义的生产资料，在各行各业发挥着极其重要的作用，而大数据也给很多企业带来了前所未有的自豪感和自信感。但是，大数据真的是越“大”越好吗？大数据到达一定的规模，其所需承载的集群资源成本、数据开发维护成本和数据管理成本，
北国风光3214·2020-09-09 18:19

Flume原理详解

Flume处在大数据框架中的数据传输层，主要解决数据从其他服务器传输到大数据集群的问题一、Flume概述1.1Flume定义  Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集
旁观者最嗨·2020-08-26 09:44

大数据集群Linux CentOS 7.6 系统调优篇

大数据集群LinuxCentOS7.6系统调优篇作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。
weixin_34406086·2020-08-25 05:16

大数据集群搭建（一）——VMware及CentOS7配置安装

文章目录一、安装VMware二、创建Linux虚拟机三、CentOS-7安装四、Linux系统环境配置五、其他配置六、虚拟机克隆快照一、安装VMware双击打开安装包，点击“下一步”勾选“我接受许可协议中的条款”，点击“下一步”设置安装路径，建议提前新建文件夹，并重命名(不建议安装在C盘)，点击“下一步”取消掉两个勾选，点击“下一步”直接点击“下一步”点击“安装”，开始安装等待安装完成安装完成打开
no_hot·2020-08-25 03:11

CDH大数据集群Linux系统参数调优

系统版本为CentOS7。vm.swappiness设置方法：echo1>/proc/sys/vm/swappiness，或sysctl-wvm.swappiness=1，或编辑/etc/sysctl.conf文件，加入vm.swappiness=1swap即交换空间，作用类似于Windows中的虚拟内存，也就是当物理内存不足时，将硬盘上的swap分区当做内存来使用。但是，由于磁盘的读写速率与内存
LittleMagics·2020-08-25 03:33

在ARM机器上部署高可用大数据集群

一前言这是之前写的一篇文章，现在整理一下，重新发出来。由于Ambari安装在ARM机器上问题比较多。主要问题如下：ambari依赖的node.js版本是0.10.44，而aarch64机器只支持v4.x以上版本。ambari依赖的phantomjs版本是1.9.8，而aarch64机器只支持v2.1.0的以上版本呢ambari依赖的一些第三方开源项目，aarch64机器不支持。因此选择开源社区版H
IIGEOywq·2020-08-25 01:11

hbase 写操作产生的木桶效应

2.异构设备磁盘硬件I/O有时候很多利旧设备不舍得丢弃，大数据集群又是一个廉价的高性能的分布式计算平台，只要是能开机的物理机都可以并入集群，但是，随之带来的问题就是磁盘IO会严重
chenla5762·2020-08-24 13:28

做一场有温度的技术活动，难吗？

VMware通过大数据集群享受运
烧碱Jusef·2020-08-24 13:32

Analytics Zoo: 统一的大数据分析+AI 平台

京东带来的几亿张图片，存储在一个大规模分布式大数据集群里，我们做的事情是要对这些图片——识别物品。比如，这张图片上是一只鸟，然后提取特征。
往事如yan·2020-08-24 02:31

RayOnSpark：使用 Ray 和 Analytics Zoo 在大数据集群上运行新兴的人工智能应用

近年来，人工智能有了很大的发展。为了获得洞察力并基于海量数据作出决策，我们需要拥抱先进的、新兴的人工智能技术，如深度学习、强化学习、自动机器学习（AutoML）等。Ray是由加州大学伯克利分校RISELab开源的新兴人工智能应用的分布式框架。它实现了一个统一的接口、分布式调度器、分布式容错存储，以满足高级人工智能技术对系统最新的、苛刻的要求。Ray允许用户轻松高效地运行许多新兴的人工智能应用，例如
番邑喵·2020-08-24 02:59

记一次挖矿木马清除过程

忽然，微信响了，一个好久不见的朋友突然问我在不在，我觉得事有蹊跷，果不然，他公司的大数据集群被黑客用来挖矿了。出于好心，我准备晚上回家帮他处理。在拿到了该服务器的账号密码后，我登录了该服务器。
谢公子·2020-08-24 01:35

黑猴子的家：Sqoop 导入数据

在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。
黑猴子的家·2020-08-23 22:04

那些年，我们迁移过的集群

大数据集群迁移这件事，不知道有多少同学做过。我说的不是把一个集群的数据备份到另一个集群上。我指的是整个数据平台与大数据相关的所有集群及业务的迁移工作，从一个机房到另一个机房。
彩色蚂蚁·2020-08-22 23:44

大数据集群搭建（七）——Hbase-2.2.3安装

Hbase-2.2.3安装下载hbase-2.2.3压缩包将文件上传到dn1节点~/pkg目录下执行以下命令，分别在dn1、dn2、dn3三台节点安装#解压到/opt目录tar-zxvfhbase-2.2.3-bin.tar.gz-C/opt#创建hbase的软连接cd/optln-shbase-2.2.3/hbase#在hbase-env.sh中添加以下内容，然后保存exportJAVA_HOM
no_hot·2020-08-22 17:39

数据分析师涨薪70%，该如何自我提升？

、平安等一线大厂资深数据分析师倾力打造；多个企业级项目实战，为你的简历加分；名企内推、简历修改等就业服务；不定期职场及就业经验分享，每日定时答疑辅导，助你轻松学习；深度还原职场中公司数据处理流程、提供大数据集群及环境运行服务器
数据分析v·2020-08-22 12:14

大数据集群zookeeper配置教程

1下载下来解压后，然后符号链接(ln-sxxxzk)如图这符号链接我自己弄着玩的你想弄也行不想弄也行2：配置环境变量vim/etc/profile#setzkenvexportZK_HOME=/soft/zkexportPATH=$PATH:$ZK_HOME/binsource/etc/profile保存退出3：复制一份配置文件的副本4；修改配置文件5：然后就可以启动了6：检查下有没有这个端口7：
陈冲_河南漯河·2020-08-21 21:59

大数据集群搭建 - 2. CDH集群安装 - NTP,MYSQL,nginx安装

五、安装ntpd时间服务器按照Cloudera的官方建议，所有的CDH节点和CloudeaManager节点都需要启动ntpd服务。要不然会报如下错误：1.此角色的主机的运行状况为不良。以下运行状况测试不良：时钟偏差.2.Thehost'sNTPserviceisnotsynchronizedtoanyremoteserver.解决方法:配置一台ntp服务器，所有的CDH节点作为此ntp服务器的客
星空·2020-08-20 20:04

大数据集群搭建 - 2. CDH集群安装 - NTP,MYSQL,nginx安装

五、安装ntpd时间服务器按照Cloudera的官方建议，所有的CDH节点和CloudeaManager节点都需要启动ntpd服务。要不然会报如下错误：1.此角色的主机的运行状况为不良。以下运行状况测试不良：时钟偏差.2.Thehost'sNTPserviceisnotsynchronizedtoanyremoteserver.解决方法:配置一台ntp服务器，所有的CDH节点作为此ntp服务器的客
星空·2020-08-20 20:03

大数据学习笔记——大数据学习过程中的重点

1.linuxlinux系统肯定是基础了，大数据集群是运行在这上面的。linux在服务器上面一般是用centos系统，还分6.x版本
新宿一次狼·2020-08-20 05:26

解决CentOS 7 df命令卡住问题

再说问题大数据集群中某几台机器执行df-h命令会hang住，没有任何输出，CTRL+C无效。执行stracedf命令，发现是卡在了/proc/sys/fs/binfmt_misc这里。execve
LittleMagics·2020-08-20 03:24

Error in sasl_client_start (-4) SASL(-4): no mechanism available: No worthy mechs found

cdh或者hdp增加kerberos验证后，python链接大数据集群的调用都需要增加认证这一个环节：如下报错的解决方案：thriftpy.transport.TTransportException:TTransportException
tianjun2012·2020-08-18 22:54

大数据集群票据碰撞问题

kdc-kerberos票据缓存在默认的/tmp/krb5cc_*这个文件，会导致个严重的问题：linux系统会定期删除/tmp，这回导致偶发性的票据验证失败问题；多用户并发执行任务的时候，票据会碰撞导致意外结果：shell:设置环境变量exportKRB5CCNAME=/home/keytab/krb5ccpython：改变缓存票据的存放路径#!/usr/bin/envpython#-*-cod
tianjun2012·2020-08-18 22:23

给Clouderamanager集群里安装可视化分析利器工具Hue步骤（图文详解）

CDH版本大数据集群下搭建Hue（hadoop-2.6.0-cdh5.5.4.gz+hue-3.9.0-cdh5.5.4.tar.gz）（博主推荐）以下，是我在Ambari集群平台下，安装Hue。
weixin_30877755·2020-08-14 20:25
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他