大数据平台CDH 第10页

T3 出行 Apache Kyuubi Flink SQL Engine 设计和相关实践

在日前的ApacheSeaTunnel&Kyuubi联合Meetup上，T3出行大数据平台负责人、ApacheKyuubicommitter杨华和T3出行高级大数据工程师李心恺共同分享了ApacheKyuubi

网易杭研·2023-12-03 23:41

一劳永逸办法 Intellij idea 报错：Error : java 不支持发行版本5

在settings中找到FileandCodeTemplates在找到Mavenimage.png在pom.xml中添加此配置UTF-8UTF-89cdh5.5.299UTF-82.102.10.4添加这个配置

落雪无尘V·2023-12-03 21:42

车联网大数据框架_车联网大数据平台架构设计-系统总体架构

恒润科技针对车联网大数据平台(后称‘大数据平台’)的架构规划请见下图。数据源大数据平台的数据源包括两类数据：•车载终端

weixin_39941262·2023-12-03 18:36

Centos7源码安装Apache(httpd-2.4.53)及问题解决

编写测试网页参考出错解决安装HTTPD下载地址.wgethttps://dlcdn.apache.org/httpd/httpd-2.4.53.tar.gz#下载tar-zxvfhttpd-2.4.53.tar.gz#解压缩cdhttpd

Noneofmine·2023-12-03 18:53

昨日黄花Hadoop 方兴未艾云原生——传统大数据平台的云原生化改造

本文6539字，阅读时间约20分钟以Hadoop为中心的大数据生态系统从2006年开源以来，一直是大部分公司构建大数据平台的选择，但这种传统选择随着人们深入地使用，出现越来越多的问题，比如：数据开发迭代速度不够快

LinkTime_Cloud·2023-12-03 14:28

修改 Python 的 JA3 ，突破反爬虫指纹

而requests里面默认的加密算法如下：ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:ECDH+AES128:DH+AES:ECDH+HIGH:DH+HIGH

___n·2023-12-03 11:21

决策 Diffie-Hellman DDH 和 CDH

密码学中的Diffie-Hellman问题有几种变体：计算问题(CDH)和决策问题(DDH)。这篇文章将解释两者，并举例说明前者如何困难而后者如何简单。

vvoennvv·2023-12-03 04:59

大数据技术学习笔记之hive框架基础3-sqoop工具的使用及具体业务分析

一、CDH版本的介绍及环境部署-》Hadoop的三大发行版本-》ApacheHadoop-》clouderaHadoop：CDH-》Hortonworks:HDP-》选用CDH版本的好处-》解决每个框架之间的兼容性问题

黄剑锋1996·2023-12-02 19:50

docker踩坑记录：docker容器创建doris容器间无法通讯问题

背景：开发大数据平台，使用doris作为数据仓储，使用docker做集群部署，先进行开发环境搭建，环境为BE1;FE1，原来使用官方例子，但是官方例子是创建了一个bridge使用172.20.80.0/

Alaia.·2023-12-02 14:47

Kubernetes集群部署—部署etcd集群（二）

文章目录1准备cfssl证书生成工具2生成Etcd证书2.1自签证书颁发机构（CA）2.2使用自签CA签发EtcdHTTPS证书3从Github下载etcd二进制文件4部署Etcd集群4.1创建工作目录并解压二进制包

杰哥的技术杂货铺·2023-12-02 09:43

混合云案例：利用 Databend Cloud 高效加速私有 Databend 的策略与实施

目前，Databend在多个用户场景中得到广泛应用，包括：新媒体行业数据分析及大屏数据展示云上CDH替代以减少本地磁盘和资源占用性能明显提升的云上Greenplum替代方案降低用户管理复杂度的云上Clickhouse

Databend·2023-12-01 20:58

如何管理施工现场？一招轻松搞定

客户案例建筑公司山东某建筑公司通过引入泛地缘科技推出的智慧工地大数据平台，不仅提高了安全性，还有效管理了人员和设备的使用。成功完成了项目，并在工期内实现了质量和安全标准。

泛泛科技谈·2023-12-01 20:10

一文读懂：制造业头部企业如何构建经营分析数字化体系

用BI数据分析手段，通过SAPBW/4HANA、SAPSACPlanning、数据中台、Hadoop等构建大数据平台，实现企业经营分析的数字化在近年逐步被认可和推崇，尤其是数字化场景的经营分析会成为数字化转型的亮点应用之一

智扬信达·2023-12-01 09:11

Spark写入es：EsHadoopRemoteException: version_conflict_engine_exception

背景介绍业务场景：spark批量写入es，基于es-hadoop组件实现批处理任务定时调度cdh5.5.3集群，spark2.3，elasticsearch6.4.3es中对应索引的_id由程序控制，保证全局唯一仅测试环境出现

weixin_34117522·2023-12-01 09:59

navicat连接mysql报错ssh_Navicat 连接SSH方式连接mysql报错 ssh:expected key exchange group packet...

只需要在sshd配置文件中加入以下行即可：[email protected],ecdh-sha2-nistp256,ecdh-sha2-nistp384,

徐德民·2023-11-30 16:00

大数据学习-离线数仓项目实战笔记（上）

1.1.软件版本产品版本Hadoop2.9.2Hive2.3.7Flume1.9DataX3.0Airflow1.10Atlas1.2.0Griffin0.4.0Impalaimpala-2.3.0-cdh5.5.0MySQL5.71.2

ys4tnaf·2023-11-30 15:24

在centos7上搭建hadoop大数据平台

目录一、安装搭建java环境1、安装方法2、查看是否已安装3、卸载4、安装4.1检查yum中有没有java1.8包4.2开始安装5、验证二、Hadoop安装1、下载2、准备启动Hadoop集群2.1配置Hadoop守护进程的环境2.2配置系统环境变量2.3配置etc/hadoop/core-site.xml文件2.4配置etc/hadoop/hdfs-site.xml文件2.5配置etc/hado

船长灬普朗克·2023-11-30 13:03

数据仓库搭建

1.1什么是数据仓库1.2OLTP与OLAP2项目需求及架构设计3项目框架4框架版本选型4.1Hadoop版本综述4.2社区版与第三方发行版的比较4.2.1.Apache社区版4.2.2.第三方发行版（CDH

赵广陆·2023-11-30 13:32

00Hadoop数据仓库平台

在这里是学习大数据的第一站什么是数据仓库常见大数据平台组件及介绍什么是数据仓库在计算领域，数据仓库（DW或DWH）也称为企业数据仓库（EDW），是一种用于报告和数据分析的系统，被认为是商业智能的核心组件

kk_io·2023-11-30 13:29

论分布式存储系统架构设计

摘要2019年6月，我所在的公司中标某集团全国保险大数据平台搭建项目，该项目周期为2年，总投资为5000万人民币，通过该项目，搭建该集团大数据建设项目，实现该集团所有业务以及用户行为数据入库并解析，为集团提供精准营销

mischen520·2023-11-30 08:36

Hadoop入门笔记

2006Cloudera内部集成了很多大数据框架，对应产品CDH。2008Hortonworks文档较好，对应产品HDP。2011Horton

阳宝宝的向日葵·2023-11-30 05:44

Spark on YARN的部署

yarn来调度Spark，比默认的Spark运行模式性能要好的多，前提是首先部署好hadoopHDFS并且运行在yarn上，然后就可以开始部署sparkonyarn了，假设现在准备环境已经部署完毕，这里是在CDH

GoodInSun·2023-11-30 03:23

信创大数据平台容灾项目

一、项目方案齐鲁银行自2017年开始建设大数据平台，为全行提供的各类数据服务与全行业务深度融合，大数据服务已成为推动业务发展不可或缺的环节。

四月天03·2023-11-30 02:39

Java jmx学习---Hive metric

监控这里，目前已知的大数据平台组件比如FusionInsight、CDH对服务的监控做的就很好，无奈，我司的产品属于小本经营，自己从apache里面拿来hive源码，然后直接改点配置文件，就准备上线。

小可0306·2023-11-29 17:01

123.Impala查询缓慢问题与解决

ImpalaDaemon已启用-convert_legacy_hive_parquet_utc_timestampsHive创建测试表，其中“statsdate”字段为TIMESTAMP类型：[root@cdh4scripts

大勇任卷舒·2023-11-29 15:53

大数据平台/大数据技术与原理-实验报告--部署ZooKeeper集群和实战ZooKeeper

实验名称部署ZooKeeper集群和实战ZooKeeper实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.11.04-2023.11.05实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5系统的linux虚拟机三台）实验目的1.理解ZooKeeper的系统模型，包括数据模型、版本机制、Watcher监听机制、ACL权限控制机制。2.理解Zo

jakeonil·2023-11-29 15:31

大数据平台/大数据技术与原理-实验报告--部署全分布模式HBase集群和实战HBase

实验名称部署全分布模式HBase集群和实战HBase实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.11.07-2023.11.10实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5系统的linux虚拟机三台）实验目的1.理解HBase数据模型。2.理解HBase体系架构。3.熟练掌握HBase集群的部署。4.了解HBaseWebUI的使用

jakeonil·2023-11-29 15:28

线上异步任务突然不能回写100%

sql需要是在大数据平台，通过yarn调度，异步执行。kafka监听每个sql的执行状态，所有sql执行完成，更新作业进度和状态。系统运行一段时间之后，突然频繁出现作业进度不能更新到100%。

爱晒太阳的小老鼠·2023-11-29 12:23

web前端期末大作业——HTML+CSS+JavaScript仿王者荣耀游戏网站设计与制作

STU网页优选·2023-11-29 11:57

Linux安装flume并实现监控文件

flume的安装1.找到flume的安装包并复制到/usr目录下sudocpflume-ng-1.6.0-cdh5.6.0.tar.gz/usr步骤2.解压缩sudotar-zxvfflume-ng-1.6.0

思君_4cd3·2023-11-29 02:56

kerberos mysql配置_CDH安装Kerberos （包含主从配置）

很多企业CDH是没有集成kerberos，原因是kerberos部署后，服务使用起来变复杂，大部分只配置了sentry做权限管理；但真正的CDH多租户应该是身份验证+权限管理。

丰雅·2023-11-28 23:28

Kerberos高可用

文章目录1.备节点安装Kerberos服务2.修改主节点配置3.备节点配置4.节点数据同步至备节点5.节点数据同步至备节点6.配置主节点crontab任务定时同步数据1.备节点安装Kerberos服务cdh001

不饿同学·2023-11-28 23:56

Kerberos高可用HA配置

关于CDH6集成kerberos的配置参见我的另一篇文章：CDH6集成kerberos，感兴趣的朋友可以查阅。

Moon_魔宽·2023-11-28 23:56

0592-5.16.1-如何配置Kerberos高可用

本文主要讲述如何在CDH5.16.1中配置Kerberos服务的高可用。

Hadoop_SC·2023-11-28 23:54

解决Spark SQL读数据库时不支持某些数据类型的问题

在大数据平台中，经常需要做数据的ETL，从传统关系型数据库RDBMS中抽取数据到HDFS中。

alexlee666·2023-11-28 20:49

关于大数据平台的软件的总列

查询引擎一、Phoenix简介：这是一个Java中间层，可以让开发者在ApacheHBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan，并编排执行以生成标准的JDBC结果集。直接使用HBaseAPI、协同处理器与自定义过滤器，对于简单查询来说，其性能量

sofeld·2023-11-28 16:44

大数据平台测试-优秀员工申请模板

在企业里，优秀员工是需要申请的，下面分享一些模板：1、申请个人优秀奖-测试质量奖申报优秀员工-测试质量奖参考模板：推动XXX质量共建的优秀实践者，通过验证的产研流程把控，过程问题的据理力争，推动整体质量的大幅提升。在其强有力的执行和严格的把关下，XXX的质量管理工作取得了突出的质量建设成绩，过程质量需求BUG率从原来的127%左右下降到30%左右，生产问题数从原来的单月最多10个，到现在每月维持在

软件测试李同学·2023-11-28 16:40

大数据平台的软件有哪些？

查询引擎一、Phoenix简介：这是一个Java中间层，可以让开发者在ApacheHBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan，并编排执行以生成标准的JDBC结果集。直接使用HBaseAPI、协同处理器与自定义过滤器，对于简单查询来说，其性能量

别盲目追风·2023-11-28 16:37

大数据平台/大数据技术与原理-实验报告--部署全分布模式Hadoop集群

实验名称部署全分布模式Hadoop集群实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.10.16-2023.10.20实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5系统的linux虚拟机三台）实验目的1.熟练掌握Linux基本命令。2.掌握静态IP地址的配置、主机名和域名映射的修改。3.掌握Linux环境下Java的安装、环境变量的配置

jakeonil·2023-11-28 16:30

大数据平台测试-一次生产P2故障记录

项目介绍：某鉴权项目。公司为了数据安全，去年评审通过了一个基于中间件kafka的鉴权项目，大概的意思，消费topic的应用需要对接鉴权项目，订阅应用，启动端口9093消费（默认是9092端口），当时大家（开发）都觉得风险太大了，不适合接入公司核心kafka集群。万一出错影响太大。但是领导，技术委员会通过了，大家也没啥办法，谁叫大家都是执行者。。。先看出现生产事故的java代码：@Overridep

软件测试李同学·2023-11-28 16:27

大数据平台/大数据技术与原理-实验报告--MapReduce编程

实验名称MapReduce编程实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.10.30-2023.11.03实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5系统的linux虚拟机三台）实验目的1.理解MapReduce编程思想。2.理解MapReduce作业执行流程。3.理解MR-App编写步骤，掌握使用MapReduceJavaAPI

jakeonil·2023-11-28 16:26

大数据平台/大数据技术与原理-实验报告--实战HDFS

实验名称实战HDFS实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.10.23-2023.10.27实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5系统的linux虚拟机三台）实验目的1.理解HDFS体系架构。2.理解HDFS文件存储原理和数据读写过程。3.熟练掌握HDFSWebUI界面的使用。4.熟练掌握HDFSShell常用命令的使用

jakeonil·2023-11-28 16:25

环境准备（06）YARN环境搭建 & 提交作业到YARN

1.配置文件目录/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop2.mapred-site.xml[hadoop@hadoop001hadoop]$cpmapred-site.xml.templatemapred-site.xmlmapreduce.framework.nameyarn3

乌鲁木齐001号程序员·2023-11-28 15:13

HAProxy+KeepAlived高可用负载均衡搭建

KeepalivedforLinux-Version2.0.171、HAProxy安装与配置（基于Centos7）IP为192.168.10.91）解压tarxvfhaproxy-2.0.1.tar.gz2）编译安装haproxycdhaproxy

麦芽maiya·2023-11-28 10:52

2020-07-24

资料仅供参考：objchttps://opensource.apple.com/tarballs/objc4/runloophttps://opensource.apple.com/tarballs/CF/gcdhttps

super_2e20·2023-11-28 03:23

linux du -h按文件大小,linux中du的用法

语法：du[-abcDhHklmsSx0][-L][-XFile][--block-size=SIZE][--exclude=PATTERN][--max-depth=N][--help][--version

小儿外科裴医生·2023-11-28 03:46

滩涂植物的线上“档案馆”来啦！CNGBdb发布滩涂植物资源库

2020年10月13日，由国家基因库与中国农业科学院青岛特种作物研究中心共同开发的滩涂植物资源库在国家基因库生命大数据平台（CNGBdb）正式上线。

尐尐呅·2023-11-27 23:52

助力企业实现更简单的数据库管理，ATOMDB 与 TDengine 完成兼容性互认

近日，涛思数据旗下高性能、分布式的物联网、工业大数据平台TDengineV3.0版本与秦派软件旗下ATOMDB全平

涛思数据（TDengine）·2023-11-27 19:29

大数据下的密码技术挑战

大数据系统通常由大数据平台、大数据应用以及处理的数据集合构成，下图给出了大数据系统的模型。大数据系统构成大数据系统的特征是数据体量大、种类多、聚

yoku酱·2023-11-27 17:57

perfetto命令抓取 trace

1.启动Android模拟器进入到cmd中，敲入下面的命令H:cdH:\Sdk\emulator.\emulator.exe-list-avds.

hg2016·2023-11-27 16:00

推荐频道

大数据平台CDH