大数据平台CDH

大数据平台架构及主流技术栈

互联网和移动互联网技术开启了大规模生产、分享和应用数据的大数据时代。面对如此庞大规模的数据，如何存储？如何计算？各大互联网巨头都进行了探索。Google的三篇论文GFS(2003)，MapReduce(2004)，Bigtable(2006)为大数据技术奠定了理论基础。随后，基于这三篇论文的开源实现Hadoop被各个互联网公司广泛使用。在此过程中，无数互联网工程师基于自己的实践，不断完善和丰富Ha
飞鸡起飞·2023-08-23 11:06

CDH集群离线配置python3环境，并安装pyhive、impyla、pyspark

因数据安全，数据无法大批量导出，需在集群内进行分析建模，但CDH集群未安装python3环境，需在无网情况下离线配置python3环境及一系列第三方库。
yunpeng.zhou·2023-08-23 06:55

CDH重启cloudera-scm-agent报错：No socket could be created — ((‘127.0.0.1’, 9001): [Errno 98] Address alre

CDH集群重启cloudera-scm-agent，发现重启失败，查看日志如下：[21/Jul/202319:49:10+0000]11006HTTPServerThread-2_cploggingERROR
linweidong·2023-08-23 04:42

hibench 对CDH5.13.1进行基准测试（测试项目hadoop\spark\)HDFS作HA高可靠性

使用CDH5.13.1部署了HADOOP集群之后，需要进行基准性能测试。一、hibench安装1.安装位置要求。因为是全量安装，其中有SPARK的测试（SPARK2.0）。
weixin_30262255·2023-08-23 00:44

人群圈选效率提升 30 倍，云积天赫基于 Apache Doris 构建统一数仓的实践

导读：随着业务量快速增长，云积天赫对数据的实时性及灵活性提出更高要求，早期基于CDH的大数据平台已无法满足当前难度以及复杂度较高的业务需求，因此云积天赫引进ApacheDoris在部分业务中使用，并在使用过程中逐渐发掘出
·2023-08-22 15:47

部署HAproxy的TCP代理模式

haproxy-1.8.0.zip，下载页面https://github.com/haproxy/haproxy/tree/v1.8.02、安装部署haproxyunziphaproxy-1.8.0.zipcdhaproxy
泡泡白菜·2023-08-22 13:13

Tez 0.9.1基于CDH 6.1.x安装部署

一、文档目的近期在CDH6.1.x中部署Tez0.9.1，踩到很多坑，主要还是CDH集群版本较高，导致所用教程和实际部署不一致（自己挖的坑），希望给大家一个参考。
宅宅屋·2023-08-22 10:02

全链路数据湖开发治理解决方案2.0重磅升级，全面增强数据入湖、调度和治理能力

解决方案包含开源大数据平台E-MapReduce(EMR)，一站式大数据数据开发治理平台DataWorks，数据湖构建DLF，对象存储OSS等核心产品。
·2023-08-22 10:13

Python随机密码生成。编写程序，在26个字母大小写和10个数字随机生成10个8位密码。

样例：类似AB12cdHi的十组8位密码。
爱吃泡芙的小白白·2023-08-22 08:28

CDH集群离线部署(CM6.3.1 + CDH6.3.2 + CentOS7)

1.1原生Hadoop的问题版本管理过于混乱部署过程较为繁琐,升级难度较大兼容性差安全性低1.2CDH和CM(ClouderaManager)CDH(Cloudera’sDistributionIncludingApacheHadoop
小宇0926·2023-08-22 04:50

大数据平台是什么意思？有什么用？一般包含哪些模块？

大数据时代，还有很多人不知道大数据平台是什么意思？有什么用？一般包含哪些模块？今天我们就一起来简单了解一下吧！仅供参考哦！大数据平台是什么意思？有什么用？一般包含哪些模块？
行云管家·2023-08-22 03:23

HBase探索篇 _ ZGC和G1在HBase集群之中的GC性能对比

在前几篇文章中，我为大家分享了使用JDK15编译HBase（和CDHHBase）的踩坑记录和ZGC在HBase集群中的配置方法，有对ZGC感兴趣的小伙伴，也可以亲自动手尝试一下，体验体验这个来自未来的技术
大猿小猿向前冲·2023-08-22 01:31

解决方案：如何在 Amazon EMR Serverless 上执行纯 SQL 文件？

《大数据平台架构与原型实现：数据中台建设实战》一书由博主历时三年精心创作，现已通过知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》
　Laurence·2023-08-21 07:41

使用CDH调整yarn的内存和CPU资源大小

1、登录CDH后选择YARN2、更改CPU在yarn配置页面，搜索在类别->资源管理中找到【容器虚拟CPU内核】或者直接搜索yarn.nodemanager.resource.cpu-vcores这里改的是单个服务器可以用的
马飞·2023-08-21 07:56

CDH初始化服务

1.设置集群名称image-202011220038036722.设置管理的主机image-202011220038509143.设置存储库image-20201122003948461image-202011220040467934.安装parcelimage-202011220041101995.检查网络和主机image-202011220041477336.选择服务根据自己的需求选择对应的服
QuoVadis_k·2023-08-21 00:21

慕课大数据工程师2023版 雪虐风饕愈凛然

download：慕课大数据工程师2023版雪虐风饕愈凛然大数据工程师的职责和技能大数据工程师的主要职责是构建和维护大数据平台，包括数据采集、存储、处理、分析、挖掘、可视化等环节。
·2023-08-20 14:14

windows 配置 Kerberos客户端访问CDH组件

0.背景想在window机器上访问内网集群的CDH组件(如solr的webui),由于集群配置了Kerberos验证,所以需要配置相关,否则打开webui会有401未授权错误1.流程1.1windows
mizuhokaga·2023-08-19 23:22

17万字数字化医院信息化建设大数据平台建设方案WORD

导读：原文《17万字数字化医院信息化建设大数据平台建设方案WORD》（获取来源见文尾），本文精选其中精华及架构部分，逻辑清晰、内容完整，为快速形成售前方案提供参考。
智慧城市2030·2023-08-19 14:20

一张图告诉你为什么Hadoop要选第三方发行版

真的就是一张图哈哈哈哈BTW如果你在厂商选型的话我们可以愉快地交流一下~CDH和HDP虽然合并了但是它们原先的版本还是会存在很长一段时间的至于现在要不要用新的CDP，看企业自身的目标、预算、团队了~
ClouderaHadoop·2023-08-19 14:09

虫情测报系统的工作原理及功能优势

工作原理：KH-CQPest虫情测报系统主要是由诱捕装置、高清摄像头、传送带、杀虫仓和智慧农业大数据平台组成。当夜幕来临时，虫情测报系统会自
山东仁科·2023-08-19 07:02

linux 安装hue

http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/Hue的版本：cdh5.3.6-hue-3.7.0->需要编译才能使用->联网pingwww.baidu.com
小赖同学啊·2023-08-19 05:49

cloudera-manager-agent-5

在配置cdh集群时候，以rpm包的方式安装cloudera-manager-agent-5....的时候一直报错无法安装，网上找了很多方法我自己的办法是：在后面加上"--nogpgcheck"参数，以强制安装
在朝阳寺树下·2023-08-19 02:31

Unrecognized Hadoop major version number: 3.0.0-cdh6.3.2

一.环境描述spark提交job到yarn报错，业务代码比较简单，通过接口调用获取数据，将数据通过sparksql将数据写入hive中，尝试各种替换hadoop版本，最后拿下1.hadoop环境2.项目pom.xmlspark-submit\--nameGridCorrelationMain\--masteryarn\--deploy-modecluster\--executor-cores2\-
远方有海，小样不乖·2023-08-18 21:24

CDH遇到的坑

启动datanode报错，由于该主机之前安装过CDH，需要清空原有的datanode配置Failedtoaddstoragedirectory[DISK]file:/dfs/dnorg.apache.hadoop.hdfs.server.common.InconsistentFSStateException
行动家嘘嘘·2023-08-18 19:31

cdh6.3.2 Flink On Yarn taskmanager任务分配倾斜问题的解决办法

业务场景：FlinkOnYarn任务启动组件版本：CDH：6.3.2Flink：1.13.2Hadoop：3.0.0问题描述：在使用FLinkonYarn调度过程中，发现taskmanager总是分配在集中的几个节点上
日复一日伐树的熊哥·2023-08-18 17:15

Linux完全卸载某应用

背景：这两天安装cdh，重新温习了下linux的使用，关于卸载应用，特记录强制删除已安装程序及其关联：rpm-qa|greppython|xargsrpm-ev--allmatches--nodeps删除所有残余文件
安申·2023-08-18 16:58

CDH6.3配置安装实操

环境要求Redhat7.4安装CDH6.3。
MrGrant·2023-08-18 06:57

网易互娱出海之旅：大数据平台上云架构设计与实践

2020年初，随着网易互娱的海外业务增长与海外数据合规的需求，我们开始了网易互娱大数据离线计算平台迁移出海的工作。前期，我们采取了云主机裸机加上高性能EBS块存储的方案。但是，这个方案存储费用高昂，成本是国内自建机房的数十倍。于是，我们决定在公有云上构建一个平台，这个平台不仅需要更加适应当前业务场景、与历史业务更为兼容，还要比公有云的EMR托管方案更为经济。我们主要从存储、计算和数据分层生命周期管
Juicedata·2023-08-17 22:20

存算分离实践：构建轻量、云中立的大数据平台

计算资源冗余浪费、所依靠的CDH发行版技术栈复杂、部署运维困难及计算资源潮汐现象严重等问题，迫使多点启动架构升级的进程。同时，为满足B端客户多样化的需求，多点需要构建一个可以在多云环境下
Juicedata·2023-08-17 22:48

阿里云服务区ECS，申请免费的服务器之后，如何使用xshell 登陆，找不到匹配的host key 算法

问题当在阿里云免费领取服务器之后，使用xshell登陆不上，提示找不到匹配的hostkey算法或者找不到匹配的keyexchange算法咋解决2解决在在服务器端配置文件：/etc/ssh/sshd_config#在行尾增加",ecdh-sha2
一写代码就开心·2023-08-17 20:15

CDH Hadoop 3.0 使用OSS作为储存 2021-09-07

简介：CDH和CM(ClouderaManager)CDH(Cloudera’sDistribution,includingApacheHadoop)是众多Hadoop发行版本中的一种，由Cloudera
迷藏_·2023-08-17 16:41

使用FIFO的文件控制shell的线程数

/bin/bashdate+'%Y/%m/%d%H:%M:%S'HADOOP_CONF_DIR=/opt/cloudera/parcels/SPARK2-2.1.0.cloudera1-1.cdh5.7.0
飞天大漠·2023-08-17 12:17

Cloudera 管理Hadoop API 依赖

翻译：https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_hadoop_api_dependencies.html
金刚_30bf·2023-08-17 10:25

网易互娱出海之旅：大数据平台上云架构设计与实践

2020年初，随着网易互娱的海外业务增长与海外数据合规的需求，我们开始了网易互娱大数据离线计算平台迁移出海的工作。前期，我们采取了云主机裸机加上高性能EBS块存储的方案。但是，这个方案存储费用高昂，成本是国内自建机房的数十倍。于是，我们决定在公有云上构建一个平台，这个平台不仅需要更加适应当前业务场景、与历史业务更为兼容，还要比公有云的EMR托管方案更为经济。我们主要从存储、计算和数据分层生命周期管
·2023-08-16 18:12

从 Hadoop 到云原生， 大数据平台如何做存算分离

Hadoop的诞生改变了企业对数据的存储、处理和分析的过程，加速了大数据的发展，受到广泛的应用，给整个行业带来了变革意义的改变；随着云计算时代的到来，存算分离的架构受到青睐，企业开开始对Hadoop的架构进行改造。今天与大家一起简单回顾Hadoop架构以及目前市面上不同的存算分离的架构方案，他们的利弊各有哪些，希望可以给正在存算分离架构改造的企业一些参考和启发。Hadoop存算耦合架构回顾2006
·2023-08-16 18:35

基于云计算的大数据平台基础设施建设实践

大数据平台基础建设当前的趋势是云化与开放，这个平台需要可以提供各类大数据相关PaaS服务，也需要使各类服务间可以简单灵活的组合来满足多变及定制的需求。
·2023-08-16 18:59

存算分离实践：构建轻量、云中立的大数据平台

计算资源冗余浪费、所依靠的CDH发行版技术栈复杂、部署运维困难及计算资源潮汐现象严重等问题，迫使多点启动架构升级的进程。同时，为满足B端客户多样化的需求，多点需要构建一个可以在多云环境下
·2023-08-16 18:28

html静态网站基于游戏网站设计与实现共计10个页面 (仿地下城与勇士游戏网页)

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
STU网页设计与制作·2023-08-16 17:16

基于Hadoop的表级监管

现状大数据平台中，采用hadoop的方式存储数据，hdfs本质上是文件系统，而文件系统对数据的监管能力有限，但是数据安全领域问题日渐凸显，现目前，大数据平台一般以分层结构进行授权，但是对于一线开发人员而言
demo123567·2023-08-16 10:51

网易互娱出海之旅：大数据平台上云架构设计与实践

2020年初，随着网易互娱的海外业务增长与海外数据合规的需求，我们开始了网易互娱大数据离线计算平台迁移出海的工作。前期，我们采取了云主机裸机加上高性能EBS块存储的方案。但是，这个方案存储费用高昂，成本是国内自建机房的数十倍。于是，我们决定在公有云上构建一个平台，这个平台不仅需要更加适应当前业务场景、与历史业务更为兼容，还要比公有云的EMR托管方案更为经济。我们主要从存储、计算和数据分层生命周期管
·2023-08-15 16:41

大数据技术沙龙来袭！2023走进网易：创新重塑数据生产力

随着大数据平台和技术在企业内部的推进与落地，长效价值逐渐成为关注点。❓如何更好地管理数据资产？❓是否有可参考的建设方法❓AIGC和ChatGPT热点是否能高效结合企业数据需求？
·2023-08-15 16:43

CDH6.3.2搭建HIVE ON TEZ

参考https://blog.csdn.net/ly8951677/article/details/124152987----配置hive运行引擎在/etc/hive/conf/hive-site.xml中修改如下：hive.execution.enginemr–>tezhive.execution.engine设为tez或者运行代码的时候：sethive.execution.engine=tez
小亚文·2023-08-15 11:56

大数据平台中元数据库—MySQL的异常故障解决

本文的主要目标是解决大数据平台中元数据库MySQL的异常故障。通过分析应用响应缓慢的问题，找到了集群组件HIVE和元数据库MySQL的原因。
LinkSLA·2023-08-15 06:29

【openwrt学习笔记】dnsmasq源码阅读

目录一、DHCP(DynamicHostConfigurationProtocol)1.1前置知识1.2参考链接1.3IP地址分配代码分析rfc2131.cdhcp-common.cdhcp.c1.4几个小问题
瓜洲大大·2023-08-14 21:26

CDH6.3应知应会

文章目录1.CDH简介1.1CDH版本2.CDH集群的优势是什么？3.CDH集群的部署方式有哪些？4.CDH集群中如何进行故障排除和监控？5.你有使用CDH部署集群的经验吗？
程序终结者·2023-08-14 07:47

Nginx配置(ngx_http_ssl_module)

Directivessslssl_buffer_sizessl_certificatessl_certificate_keyssl_ciphersssl_client_certificatessl_conf_commandssl_crlssl_dhparamssl_early_datassl_ecdh_curvessl_ocspssl_ocsp_cachessl_ocsp_responderssl
PurelightMe·2023-08-14 00:02

手把手教你，Selenium 遇见伪元素该如何处理？

问题发生在很多前端页面中，大家会见到很多：:before、::after元素，比如【百度流量研究院】：比如【百度疫情大数据平台】：如果你想学习自动化测试，我这边给你推荐一套视频，这个视频可以说是B站播放全网第一的接口自动化测试教程
测试猿廖廖·2023-08-13 19:26

Centos 7 离线安装Cloudera Manager6 和CDH6.3.1

零、前言之前写过一篇CDH5的，本文是在之前操作基础上进行的Centos7离线安装ClouderaManager5和CDH5.13.0CDH6与CDH5安装的整体流程基本一致，而且简单了不少。
LY丶Smile·2023-08-13 19:59

Kafka实时数据同步

数据订阅设置3.2数据加载设置3.3订阅到加载数据流映射3.4查看任务执行日志4校验数据一致性1概述BeeDI支持实时捕获业务系统变化数据并将其发步到Kafka，也支持从Kafka订阅实时数据并写入数仓或大数据平台
wahahaman·2023-08-13 08:39

多源异构数据库实时同步解决方案

1需求概述将企业多个业务系统产生的交易数据流实时同步到数据仓库或大数据平台，通过对交易数据的联机实时分析，快速制定或调整商业计划，提升企业的核心竞争力。
wahahaman·2023-08-13 08:07
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他