大数据平台CDH 第35页

今日愚报：“茅苔币”现数据统计平台，一加手机推出“裴币”

1、愚人节数据统计平台惊现“茅苔币”4月1日凌晨，国内某数字货币行业大数据平台所有币种中现“MT-茅苔”币，一上线即代替比特币占据市值第一位置。

何玺·2023-03-22 21:12

大数据平台核心架构图鉴，建议收藏！

我们先来看看这张图，这是某公司使用的大数据平台架构图，大部分公司应该都差不多：从这张大数据的整体架构图上看来，大数据的核心层应该是：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同

玄明Hanko·2023-03-22 12:46

vue项目的搭建

vueinitwebpackhello-vue2.然后我们需要安装依赖，依次安装你所需要的依赖，这里我们需要下载的有vue-router,element-ui,sass-loader和node-sass四个插件cdhello-vue

MrH_永无BUG·2023-03-22 05:05

Cloudera Hadoop（cdh5.1.0）平台搭建2

选择免费的版本，因为免费的版本功能足够使用节点IP一般连续，采用图中的模式会比较好，然后搜索后目前有两个阶节点，选中，继续选择Parcel（离线）安装，但是CDH版本是5.3.0，我们安装的是5.1.0

鹰击长空123·2023-03-21 19:00

正确使用Impala的invalidate metadata与refresh语句

在CDH中默认是MySQL，我们可以通过showtablesinhive语句清晰地看到HiveM

LittleMagic·2023-03-21 13:13

给自己的一封信

然后到现在大数据，什么Hadoop环境搭建，大数据平台选型，数据治理，数据项目管理等等，零零散散也都经

夜丨雨·2023-03-21 05:06

Hbase三节点集群搭建

Hadoop集群以及Zookeeper集群Hadoop集群的搭建参考：Hadoop三节点集群搭建Zookeeper集群的搭建参考：Zookeeper三节点集群搭建安装中用到的软件包hbase-1.2.0-cdh5.14.2

HideOnStream·2023-03-20 17:30

CDH6.3.1 hue 配置hbase

对于hbase的可视化界面，目前比较好用的就是hue的了，刚好cdh自带了hue所以配置器来比较方便，这里记录一下配置步骤按照这篇文章的配置已经后还需要进行HBaseThriftServer的配置https

胖子捏肚子·2023-03-20 16:20

CDH 5.13 集群有2台服务器，发生自动重启，有报错

报错的日志如下，求解决的方法。2018-08-0610:28:21,732ERRORParcelUpdateService:com.cloudera.parcel.components.ParcelDownloaderImpl:(1skipped)Unabletoretrieveremoteparcelrepositorymanifestjava.util.concurrent.Execution

秦记·2023-03-20 03:47

IMPALA&HIVE大数据平台数据血缘与数据地图

https://www.freesion.com/article/1176553841/impala数据血缘与数据地图系列：1.解析impala与hive的血缘日志2.实时采集impala血缘日志推送到kafka---------------------------------解析impala与hive血缘日志--------------------------------------------

七_seven·2023-03-20 01:14

CDH 6.3.1 rpm+http安装部署

一、准备工作1.离线部署主要分为三块:a.MySQL离线部署b.CM离线部署c.Parcel⽂件离线源部署2.规划节点MySQL部署组件Parcel文件离线源CM进程大数据组件cdh001ParcelActivityMonitorNNRMDNNMcdh002MySqlAlertPublisherEventServerDNNMcdh003HostMonitorServiceMonitorDNNM3

吃货大米饭·2023-03-19 20:02

Flink-cdc写入hudi并使用hive和spark-sql查询(基于flink1.13.5和hudi0.10.0，flink-cdc2.1.1)

一、环境准备flink1.13.5flink-cdc2.1.1hudi-0.10.0spark-3.1.2、hadoop-2.6.5、hive-1.1.0(cdh5.16版本)jar包:hudi-spark3

小三你妹·2023-03-19 11:32

Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践

1.测试过程环境版本说明Flink1.13.1Scala2.11CDH6.2.0Hadoop3.0.0Hive2.1.1Hudi0.10(master)PrestoDB0.256Mysql5.72.集群服务器基础环境

大数据技术架构·2023-03-19 11:26

【Apache Phoenix简介、存储结构、基本操作、安装】

ApachePhoenix简介、存储结构、基本操作、安装（附安装包）1.简介、概述1.1phoenix特点1.2存储结构1.3Phoenix与Hbase之间的表映射关系1.4Phoenix数据类型2.基于CDH6.3.2

yuhh_·2023-03-19 11:45

CDH-离线安装记录

vim/etc/hosts172.16.13.129129.master172.16.13.130130.slave172.16.13.131131.slave永久修改服务器namehostnamectlset-hostnameyourhostname服务器设置systemctlstopfirewalld关闭防火墙systemctldisablefirewalld禁止防火墙开机自启vim/etc/

帅帅的大同人·2023-03-19 10:47

核心功能全部开源，虽霸榜GitHub，但怎么赚钱？

1：开源的目的作为物联网大数据平台，TDengine属于基础软件，可以划到数据

开源社·2023-03-19 00:17

从0到1搭建大数据平台之计算存储系统

前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。

数据社·2023-03-18 20:47

大数据技术是什么专业？前景如何

大数据的应用技术涵盖各类大数据平台、大数据指数体系等应用技术。大数据也是IT行业术语，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策

我想去吃ya·2023-03-18 07:41

知名大厂大数据平台搭建案例分享

“今天我们来看一下淘宝、美团和滴滴的大数据平台”01淘宝大数据平台淘宝可能是中国互联网业界较早搭建了自己大数据平台的公司，下图是淘宝早期的Hadoop大数据平台，比较典型。

zhouyanjun_·2023-03-18 07:34

淘宝，滴滴，美团各大厂是如何搭建大数据平台架构的？

今天我们来看一下淘宝、美团和滴滴的大数据平台，一方面进一步学习大厂大数据平台的架构，另一方面也学习大厂的工程师如何画架构图。

大数据基础入门教程·2023-03-18 07:03

IMPALA 解析JSON 结论：无法用于where条件

最近MYSQL5.7更新支持JSON语法，于是使用SQOOP同步了数据到大数据平台，准备使用IMPALA来做分析但是发现IMPALA无法使用JSON用于where条件，只能用于select，不过我未尝试使用基于嵌套表去查询作为替代方案

会长大的幸福_8bf9·2023-03-17 18:40

MAC OS程序的签名问题

如果出现如下错误:notvalidforuseinprocessusingLibraryValidation:mappedfilehasnocdhash,completelyunsigned?

dotphoenix·2023-03-17 14:19

completely unsigned? Code has to be at least ad-hoc signed

notvalidforuseinprocessusingLibraryValidation:mappedfilehasnocdhash,completelyunsigned?

Sico2Sico·2023-03-17 14:48

janusgraph 自建server使用手记

环境java8环境hadoop安装启动versionserversmastercdh-hadoop-2.6.0spark-slave10,spark-slave11,spark-slave12,spark-slave13

水他·2023-03-17 08:42

大数据知识点分享：大数据平台应用 17 个知识点汇总

Hadoop已经是大数据平台的实时标准，其中Hadoop生态中有数据仓库Hive，

haotian1685·2023-03-17 07:27

2018-09-24 wes文献阅读4

和RAD51C基因的种系突变Journal:GastroenterologyIF:20.773Articlehistory:accepted2017April摘要：10%胃癌有家族遗传倾向，目前只发现CDH1

凤凰_0949·2023-03-17 00:58

Sentry源码之HiveServer2鉴权过程

前言Sentry是Hadoop生态中的一员，扮演着“守门人”的角色，看守着大数据平台的数据安全的访问。

一点点简单·2023-03-16 18:49

go基础例子

创建模块#创建项目文件mkdirhellocdhello2.初始化模块gomodinitexample.com/hello创建接口go#创建文件vimhello.go添加代码//一个模块只能有一个main

ICEMARK·2023-03-16 18:35

Hadoop-2.6.0+Zookeeper-3.4.6+Spark-1.5.0+Hbase-1.1.2+Hive-1.2.0集群搭建

转载地址：http://blog.csdn.net/u013327467/article/details/45675705前言本博客目的在于跟大家分享大数据平台搭建过程，是笔者半年的结晶。

ZBaby_1988·2023-03-16 18:49

ijkplayer支持rtmp

一、视频文件推流方式：这个是ffmpeg本地路径cdH:\第三方插件\ffmpeg-20200802-b48397e-win64-static\ffmpeg-20200802-b48397e-win64

gold_tq·2023-03-16 02:02

CDH6.3配置HDFS高可用，多NameNode

概述搭建HDFS的NameNode集群,在单个NameNode宕机或繁忙时,可以做故障转移和压力平摊;配置的过程比较复杂,网上的可查资料也很少步骤1.停止运行中的所有hdfs角色,并删除SecondaryNameNode开启了高可用,不需要SecondaryNameNode,该角色并不具备故障转移的功能,可以理解为一个备份点,解读SecondaryNameNode的功能;在只有一个NameNode

清蒸三文鱼_·2023-03-16 02:40

如何在Vue或React项目中使用自定义字体,以及字体打包

年轻人多学点·2023-03-15 21:33

How to use gitk on Mac OS X 10.15.4

Thereisnogitkingit2.26.0whichisinstalledinMacOSX10.15.4Ihavetomovegitbackto2.23withstepsbelowbrewunlinkgitcdhomebrew-corecdFormulagitcheckoutd04b60b58git.rbbrewinstallgit.rbgit

默默熊·2023-03-15 17:39

环境准备（03）HDFS核心配置文件

1.解压hadooptar-zxvfhadoop-2.6.0-cdh5.7.0.tar.gz-C~/app/2.配置文件位置/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/

乌鲁木齐001号程序员·2023-03-15 13:27

常见的网络安全设备及功能汇总

态势感知与安全运营平台态势感知与安全运营平台以大数据平台为基础，通过收集多元、异构的海量日志，利用关联分析、机器学习、威胁情报等技术，帮助企业持续监测网络安全态势，实现从被动防御向积极防御的进阶，为安全管理者提供风险评估和应急响应的决策支撑

securitypaper·2023-03-15 12:50

pyspark系列2-linux安装pyspark

Scale1.1安装java1.2安装Scala1.2.1安装1.2.2配置1.2.3启动二.安装ApacheSpark三.pyspark案例参考:一.安装Java和Scale1.1安装java因为我这个环境是CDH6.3.1

只是甲·2023-03-15 12:12

【pyspark】CDH升级后Spark写入Hbase报错问题

【pyspark】CDH升级后Spark写入Hbase报错问题前言报错一找不到StringToImmutableBytesWritableConverte类分析解决办法报错二找不到org.apache.hadoop.hbase.client.Put

Jack_Roy·2023-03-15 12:33

运维统一脚本门户（新版）

文章目录Run脚本介绍使用架构旧版本介绍及脚本内容当前支持服务1.基础环境检查2.Ansible自动化3.常见服务部署4.自定义脚本5.Yum仓库配置6.基础环境配置7.docker镜像构建8.大数据平台

北城半夏·2023-03-15 11:27

CDH6.3.2整合DolphinScheduler3.0.0

注意事项zookeeper版本兼容要查看dolphinscheduler的libs目录下zookeeper的jar包CDH6.3.2DolphinScheduler3.0.0使用CDH或其他大数据平台,

Zakza·2023-03-15 02:16

亚信科技通信、交通行业数据库项目入选“星河”标杆、优秀案例

CCSATC601）共同组织的第六届大数据“星河”案例评选结果公示，亚信科技及旗下亚信安慧支持完成的中国移动通信集团上海有限公司“业务支撑系统核心数据库迁移改造项目”、中国移动通信集团山东有限公司“湖仓一体大数据平台研究和实践

亚信安慧AntDB数据库·2023-03-15 02:44

CDH之ntp、chronyc 时间同步问题

1.cdh集群版本5.12.3CentOS7.52、错误提示建议这是主机运行状况测试，用于检查主机的系统时钟是否显示与其NTP服务器不同步。

文儿哥·2023-03-15 02:44

Yarn调度器和调度算法

CDH框架

一抹鱼肚白·2023-03-14 22:58

helm 搭建私有chart库

本文介绍helm自建私有仓库，私有创库是通过nginx实现的在网站根目录创建一个charts目录，专门存放helm打包的压缩包打包package#创建一个临时测试目录mkdirhelmtestcdhelmtest

明天你好_ee9a·2023-03-14 19:57

HADOOP-集群搭建（1）

cd/kkb/install/hadoop-2.6.0-cdh5.14.2/格式化格式化操作只有在首次启动的时候需要，以后再也不需要了node01执行一遍即可bin/hdfsnamenode-format

拼搏向上001·2023-03-14 17:06

HDFS EC 血泪史（献给想要在HDFS启用EC的朋友们）

如果想在你的hdfs上开启EC，并使用HDP，或是CDH版本的时候，请仔细阅读，并认真想清楚你的场景。我们是由于一些原因，先用HDP3.1.5腾讯云的虚拟机在搭建了一套hadoop。

迷茫_小青年·2023-03-14 11:25

关于数据仓库面试题的整理

5.数据中台、数据仓库、大数据平台的关键区别在哪里？6.大数据的相关系统7.构建数据中台8.关于数据湖的相关理论9.DW最重要的是什么？

DB架构·2023-03-14 04:48

Ubuntu上传源代码到自己的远程Github账户 (即Git Push)

解决方案步骤一：当前目录下，克隆目标Github项目(备注：可能需要成功设置GithubToken,新版的Github需要用Token(口令)替代Password(密码))$cdhome$gitclonehttps

林微·2023-03-13 01:18

Hadoop集群间数据迁移

数据迁移1、问题描述新搭建了一套CDH5.13.1集群，需要将原apache上的数据迁移至新集群。

朱佳宇·2023-03-13 00:16

通过女票的淘宝历程，大白话讲解大数据各个方向的分工

--马云大纲：一、写作背景二、开始淘宝2.1推荐系统（导购员）2.2大数据平台开发（店里监控布局）2.3实时计算（收银员）2.4数据仓库（储物间）2.5数据分析（店长）2.6离线计算（会计）2.7数据挖掘

程序员峰哥·2023-03-12 15:17

Ambari + hdp大数据平台环境搭建

环境说明LinuxCentOS7Ambari2.6.2.2环境准备以下设置参考文章：Ambari平台添加节点Jdk安装Ntp时钟服务安装SSH免密认证服务器IP和hostname设置其他设置关闭防火墙systemctldisablefirewalldsystemctlstopfirewalld关闭Selinuxsetenforce0设置文件创建默认权限umask0022Amabri-Server安

jidi_0·2023-03-12 10:42

推荐频道

大数据平台CDH