大数据平台CDH 第36页

Haproxy安装与使用

yuminstall-ygcc#下载wgethttp://fossies.org/linux/misc/haproxy-1.8.12.tar.gz#解压tar-zxvfhaproxy-1.8.12.tar.gzcdhaproxy

卬之别录·2023-03-11 18:44

2019.10.21作业点评

标题链接报价20000元/㎡，17000元/㎡的特价房能买吗丨卿自解答NO.33https://mp.weixin.qq.com/s/CSLMimrW7CDHQbLzeOM3Zw内容亮点文章详细解答了读者提出的问题

遥遥Miss·2023-03-11 13:02

使用JAVA-API访问开启kerberos集群下的HDFS

使用API访问开启安全Kerberos的Hdfshadoop集群(cdh集群)在开启kerberos安全认证方式后，通常如果在集群shell客户端通过hadoopdfs命令访问的，经过kinit登录kerberos

__元昊__·2023-03-11 03:48

KAFKA环境配置以及运行

KAFKA理解首先下载zookeeper（cdh5.7.0版本），解压，配置环境变量。

muffinfeng·2023-03-10 21:16

OpenWrt 内核驱动模块04

OpenWrt内核驱动模块04新增内核驱动目录修改文件内容编译顶层Makefile分析OpenWrt内核驱动模块04新增内核驱动目录cdlede/package/kernelmkdirhello-kernelcdhello-kerneltouchMakefilemkdirsrccdsrctouchhello-kernel.ctouchMakefiletouchKconfigcd

逗倪豌儿·2023-03-10 18:39

日均处理 10000+ 工作流实例，Apache DolphinScheduler 在 360 数科的实践

为了满足大数据平台和算法模型业务的实际需求，360数科在DolphinScheduler上进行了依赖组件、Master与Worker状态监

DolphinScheduler社区·2023-03-10 15:40

Yarn调度器和调度算法（From 尚硅谷）

CDH框架默认调度器是FairScheduler。具体设置详见：yarn-default.xml文件

lavineeeen·2023-03-09 11:29

WavesWallet开发笔记

第三方库25519Curve25519http://cr.yp.to/ecdh.htmlCurve25519是目前最高水平的Diffie-Hellman函数，适用于广泛的场景，由DanielJ.Bernstein

云上飘飘扬·2023-03-09 11:41

Sqoop job运行时出现Unsupported major.minor version 52.0

CDH在安装过程中，会自己下载jdk（5.15.0时是jdk1.7.0_67-cloudera）。在组件拉起时，不指定节点的情况下，都是以自下载的jdk启动。

南知唔知·2023-03-09 09:29

“橙信通”瑞金市赣南脐橙果品加工企业“入网入云”工作动员部署会召开

瑞金市果业局局长胡剑平、瑞金市果业局副局长刘立敏、橙信通赣南脐橙大数据平台执行总裁闫行，瑞金市全部果品加工企业负责人，电商企业代表，共计30余人出席会议。

橙信通大数据平台·2023-03-08 21:17

【平台数仓设计——2023】

平台数仓设计——2023前言一、选取大数据平台1、CDH大数据平台2、HDP大数据平台3、CDP大数据平台4、各种云数据中台二、选取调度平台1、DolphinScheduler(海豚调度)2、AzKaban3

BigData_LYT·2023-02-27 18:44

浅谈银行的数据仓库：分层架构篇

为什么要对数据仓库进行分层自从大数据平台hadoop及其技术火起来之后，无论是政企、民企还是各类金融机构，都掀起了一股大数据技术转型、数据仓库重构、智能数据分析、AI等一系列黑科技且高大上的热潮。

大数据的奇妙冒险·2023-02-26 07:53

实时数据同步工具＜Maxwell入门简介及原理解析、安装部署＞

文章目录一、Maxwell的定义二、Maxwell的工作原理三、Maxwell的安装部署简述：对于离线数仓项目中将MySQL中的数据同步到大数据平台使用的工具是sqoop，而我们在大数据处理中并不是只有离线计算

徐象·2023-02-26 06:36

大数据平台实时数仓从0到1搭建之 - 14 Maxwell & Canal 对比

大数据平台实时数仓从0到1搭建之-14Maxwell&Canal对比概述环境数据库配置安装配置启动命令输出结果HA监控web总结概述前两章分别写了maxwell和canal的安装使用，我本人其实是第一次听说这两个工具

这都不是事er·2023-02-24 12:17

大数据平台实时数仓从0到1搭建之 - 12 Maxwell

大数据平台实时数仓从0到1搭建之-12Maxwell概述Maxwellquickstart修改MariaDB配置Maxwelldocker下载maxwell测试stdout：输出控制台kafka后续附客户端代码概述今天学习下

这都不是事er·2023-02-24 12:16

互联网+智慧政务大数据社会治理大数据平台建设方案

数字化动态·2023-02-24 04:40

大数据平台性能监控

前言大数据监控是指通过大数据技术手段获取、收集、分析数据，并能够准确分析信息，有效预测信息发展动态趋势。大数据监控主要围绕着海量全网数据，大多数需要借助监测系统来协助分析数据。1.大数据运维监控体系监控维度主要监控项底层基础监控机房与网络（路由器、交换机等）、专线、服务器（CPU、内存、IO、磁盘、文件等）各类型日常的基础监控服务状态监控各类型标准组件存活状态（从业务的SLB、Nginx、Java

Jelly lee·2023-02-23 07:26

从数据安全治理角度梳理数据库、数据仓库、数据湖、数据平台、数据中台之间的区别和关系

我们在做数据安全时不可避免会涉及到数据的存储和调取，那不同企业在描述自己数据存储和调取的系统时，会提到各种各样的称呼：数据库、数据仓库、数据湖、大数据平台，目前还出现了数据中台。

谷雨之际·2023-02-23 07:53

隐语小课｜隐私求交（PSI）及其应用场景

从场景来看，隐私求交：有许多个参与方，每个参与方持有各自的隐私数据希望通过协议求到所有数据的交集但是不泄漏除交集外的任何信息目前常用的PSI算法有：ECDH[1]KKRT[2]PSTY[3]1.1.ECDH

·2023-02-22 11:48

2023美赛E题数据源+城市光污染模型+程序代码

A题思路：这道题分析植被就行，主要涉及不同植被间的相互作用，有竞争有相互促进，我查了下“植物科学数据中心”和“中国迁地保护植物大数据平台”，里面有一些调查数据，自己去申请个账号就可以访问，有的数据需要单独去联系作者

上善若水AP·2023-02-19 07:46

使用truffle开发智能合约

D:\Android_Code\2018\blockchainλmkdirHelloDapp&&cdHelloDappD:\Android_Code\2018\blockchain\HelloDappλtr

最近不在·2023-02-18 21:08

2023美赛A题完整数据！思路代码数据数学建模

www.jdmm.cc/file/2708703同时还提供参考代码和参考文章的选项~其他参考思路：这道题分析植被就行，主要涉及不同植被间的相互作用，有竞争有相互促进，我查了下“植物科学数据中心”和“中国迁地保护植物大数据平台

千千小屋grow·2023-02-18 12:48

HDFS HA硬件配置

翻译自：https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_hag_hdfs_ha_hardware_config.html

金刚_30bf·2023-02-18 08:59

那些安装CDH集群过程中踩过的坑......（比较全）

一、登录ClouderaManager(http://192.168.201.128:7180/cmf/login)时，无法访问web页面针对此问题网上有较多的解决方案（e.g.https://www.cnblogs.com/zlslch/p/7078119.html)，如果还不能解决你的问题，请看下面的解决方案。登录MySQL数据库（或利用Navicat），会发现有一个mysql数据库（下图所示

weixin_30764883·2023-02-18 07:57

2023美赛A题思路

ccNGjN9sGugLkdocs.cn/l/ccNGjN9sGugLA题思路：（具体以题目解决问题顺序为主）这道题分析植被就行，主要涉及不同植被间的相互作用，有竞争有相互促进，我查了下“植物科学数据中心”和“中国迁地保护植物大数据平台

您好啊数模君·2023-02-18 07:53

Hadoop2.x分布式集群部署12

一、Hadoop2.x分布式集群部署-HDFS1.hadoop2.x版本下载及安装https://archive.apache.org/disthttp://archive.cloudera.com/cdh5

麻帅·2023-02-17 22:29

专科云计算的出路在哪里？

例如：运用大数据迅速拣货、配送的菜鸟云仓建设与应用，大数据平台规划与建设，云平台的研发等。”

课工场成都基地·2023-02-16 20:00

Hbase的HMaster无法启动

环境介绍：Hadoop：hadoop-2.6.0-cdh5.15.1Java:1.8.0_201Hbase:hive-1.1.0-cdh5.15.1内容介绍hbase分布式安装，但是暂时使用hbase自带

翻滚牛犊·2023-02-07 08:43

大数据质量监控与数据质量处理系统

1大数据平台的数据质量概述数据质量是大数据挖掘能否卓有成效的基础，在大数据领域里有一句广为流传的话叫“GarbageIn，GarbageOut”,也就是说输入数据的质量直接决定着数据处理结果。

数据云·2023-02-07 07:02

动环监控系统大数据架构设计

监控对象(SO)、现场监控单元(FSU)、集中监控中心(SC)，体系结构如下图所示：传统动环监控系统架构以上架构设计适合小规模的应用场景，难以解决大规模采集数据场景下的动环监控业务应用，本文提出一种集群大数据平台技术架构

皮皮杂谈·2023-02-06 15:22

工业大数据平台软件需求分析

一、项目前景和范围1项目简介工业大数据平台是专门面向大型旋转机械、大型工业过程的、可视化的大数据平台，是管理工业过程数据采集、加工和应用环境资源任务的数据系统，提供设备状态数据、过程数据、工艺数据的采集加工处理

qq_51586702·2023-02-06 11:38

谈谈最近吧

说说新公司吧新公司这个部门是做大数据平台的，有自己的大数据平台产品，说起来也是对新人很不友好了，来了之后一个文档都没有。

simperLv·2023-02-06 01:15

食品药品安全监管大数据平台调研

解决方案浪潮以食药安全大数据平台为核心，通过对食药监管业务数据(对内通过建立行业基础数据库，横向打通监管业务系统)、其他政府部门监管数据、互联网（电商、点评网）数据、厂商生产经营数据等进行整合，创新建设食品药品安全监管系统

tanmer·2023-02-05 20:33

CDH 配置Mysql高可用：主从和keepalived

问题描述：配置CDH配置Mysql高可用，并实现和cdh无缝对接。主从和keepalived配置步骤：网上很多，这里就不多赘述了!

suolemen·2023-02-05 15:37

大数据程序员的工作职责是什么？

大数据开发要负责公司大数据平台产品的技术工作，如需求分析、架构设计、研发、以及性能分析工作；提升Hadoop集群的高可用性、高性能、高扩展特性；海量数据的导入优化工作；理和完善各类文档等工作。

我想去吃ya·2023-02-05 03:33

Hive(十一)之SQOOP

SQOOP开启Zookeeper开启集群服务配置sqoop-env.sh文件：#exportHADOOP_COMMON_HOME=exportHADOOP_COMMON_HOME=/opt/modules/cdh

DarrenmondZhang·2023-02-05 03:54

个人永久性免费-Excel催化剂功能第98波-零代码零距离轻松接触并拥有金融大数据...

今天Excel催化剂联合Tushare金融大数据平台，让这一切的数据都能成为你我普通人零代码即可获取，还有更激动地零费用可以获取！

aoxikui0458·2023-02-04 22:36

Hadoop之气象站分析演示代码

其中包含了年份和温度数据需要把这个年份和温度数据提取出来二，具体执行1,下载hadoop-0.20.1cdha

fly2749·2023-02-04 18:46

大数据集群迁移

准备两套集群，我这使用apache集群和CDH集群。启动集群：启动完毕后，将apache集群中，hive库里dwd、dws、ads三个库的数据迁移到CDH集群。

wespten·2023-02-04 17:54

从0开始学大数据(十三）

互联网企业大数据平台上运行的绝大多数大数据计算都是关于数据分析的，各种统计、关联分析、汇总报告，都需要大数据平台来完成。下面给你讲一个我曾经遇到过的真实案例。老板跟技术部说，我们要加强监控。

ziqiiii·2023-02-04 17:50

《从0开始学大数据》之构建一个大数据平台

在分布式系统中分发执行代码并启动执行，这样的计算方式必然不会很快，即使在一个规模不太大的数据集上进行一次简单计算，MapReduce也可能需要几分钟，Spark快一点，也至少需要数秒的时间。而互联网产品处理用户请求，需要毫秒级的响应，也就是说，要在1秒内完成计算，因此大数据计算必然不能实现这样的响应要求。但是互联网应用又需要使用大数据，实现统计分析、数据挖掘、关联推荐、用户画像等一系列功能。那么如

我叫CJJ·2023-02-04 17:18

docker部署CDH

docker部署CDHdocker拉取cdhdockerpullcloudera/quickstart:latestdockertagcloudera/quickstart:latestcdh:5.13.0docker

Youngmon·2023-02-04 17:00

实时数仓之Flink维表关联难点解决方案

此时我们需要将用户维表采集到大数据平台，然后事实表就可以直接跟维表进行关联，从而生成事实宽表，具体场景如下图所示。在生产环境中，我们通过数据采集平台将用户维表采集到大数据平台，然后事实表跟用户维表直接

大数据研习社·2023-02-04 14:09

浅谈估值模型：PE指标II——PE Band

1：本文主要介绍一个小众的估值指标——PEBand；2：本文主要为理念的讲解，模型也是笔者自建；3：本文主要数据均通过Tushare(ID：444829)金融大数据平台接口获取；4：笔者希望搭建出一套交易体系

Simon Cao·2023-02-04 09:50

浅谈估值模型：PB指标与剩余收益估值

Simon Cao·2023-02-04 09:16

从零到一，臻于至善｜网易邮箱基于StarRocks 开发大数据平台的实践

现任职网易邮件事业部资深数据开发工程师，作为主要开发人员参与网易邮箱大数据平台的建立、优化、重构等工作，并取得相当的成效。

StarRocks_labs·2023-02-03 17:03

Hadoop三节点集群搭建

安装过程中涉及到的软件：hadoop-2.6.0-cdh5.14.2.tar.gz，下载地址安装过程上传

HideOnStream·2023-02-03 14:41

java使用SM2算法生成密钥对加密解密加签验签

它是基于椭圆曲线密码的公钥密码算法标准，其秘钥长度256bit，包含数字签名、密钥交换和公钥加密，用于替换RSA/DH/ECDSA/ECDH等国际算法。

haiyong6·2023-02-03 14:59

23.2.2打卡 2023牛客寒假算法基础集训营5 ABCDHKL 最详细的一集

A这题据说可以贪心写我为了省事直接upper二分第一个大于x的商品然后向前遍历完事/*⣿⣿⣿⣿⣿⣿⡷⣯⢿⣿⣷⣻⢯⣿⡽⣻⢿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣇⠸⣿⣿⣆⠹⣿⣿⢾⣟⣯⣿⣿⣿⣿⣿⣿⣽⣻⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣻⣽⡿⣿⣎⠙⣿⣞⣷⡌⢻⣟⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣷⣿⣿⣿⣿⣿⣿⡄⠹⣿⣿⡆⠻⣿⣟⣯⡿⣽⡿⣿⣿⣿⣿⣽⡷⣯⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣟⣷⣿⣿⣿⡀⠹⣟⣾⣟⣆⠹⣯⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿⣿

霾まる·2023-02-03 14:24

推荐频道

大数据平台CDH