数据平台-基础架构第17页

在centos7上搭建hadoop大数据平台

目录一、安装搭建java环境1、安装方法2、查看是否已安装3、卸载4、安装4.1检查yum中有没有java1.8包4.2开始安装5、验证二、Hadoop安装1、下载2、准备启动Hadoop集群2.1配置Hadoop守护进程的环境2.2配置系统环境变量2.3配置etc/hadoop/core-site.xml文件2.4配置etc/hadoop/hdfs-site.xml文件2.5配置etc/hado

船长灬普朗克·2023-11-30 13:03

H3C CVM 前台任意文件上传漏洞复现

0x01产品简介H3C公司依托其强大的技术实力、产品与服务优势，以及深入人心的以客户为中心的理念，为企业数据中心IaaS云计算基础架构提供最优化的虚拟化与云业务运营解决方案。

OidBoy_G·2023-11-30 13:30

00Hadoop数据仓库平台

在这里是学习大数据的第一站什么是数据仓库常见大数据平台组件及介绍什么是数据仓库在计算领域，数据仓库（DW或DWH）也称为企业数据仓库（EDW），是一种用于报告和数据分析的系统，被认为是商业智能的核心组件

kk_io·2023-11-30 13:29

FortiGate基础架构 & 高可用性(HA) ❀ Fortinet 网络安全专家 NSE 4

在本课中，你将了解FortiGate高可用性(HA)的基础知识以及如何配置它。FortiGateHA提供了提高可靠性和性能的解决方案。本节课，你将学习上图显示的主题。通过展示在HA运行模式和主要FortiGate选举方面的能力，你将能够根据你的需求在你的网络中选择和实现正确的HA运行模式。你将能够在网络中有效地使用FortiGate设备。HA的概念很简单。HA可以连接并同步两台或两台以上的设备。在

飞塔老梅子·2023-11-30 12:11

论分布式存储系统架构设计

摘要2019年6月，我所在的公司中标某集团全国保险大数据平台搭建项目，该项目周期为2年，总投资为5000万人民币，通过该项目，搭建该集团大数据建设项目，实现该集团所有业务以及用户行为数据入库并解析，为集团提供精准营销

mischen520·2023-11-30 08:36

VMware vShere download

VMware前言VMwarevSphere是VMware的虚拟化平台，可将数据中心转换为包括CPU、存储和网络资源的聚合计算基础架构。

CIAS·2023-11-30 04:18

AntDB“超融合+流式实时数仓”——快速实现企业全链路实时化

实时数据平台，快速实现企业全链路实时化引入数据仓库、数据挖掘、HTAP等先进理念，通过实时数据应用平台来装载庞大的信息量，进行实时分析处理，克服数据处理过程中的困难，是当下各企事业单位、互联网、金融，政务等行业核心系统建设的重点

亚信安慧AntDB数据库·2023-11-30 03:01

信创大数据平台容灾项目

一、项目方案齐鲁银行自2017年开始建设大数据平台，为全行提供的各类数据服务与全行业务深度融合，大数据服务已成为推动业务发展不可或缺的环节。

四月天03·2023-11-30 02:39

Java jmx学习---Hive metric

监控这里，目前已知的大数据平台组件比如FusionInsight、CDH对服务的监控做的就很好，无奈，我司的产品属于小本经营，自己从apache里面拿来hive源码，然后直接改点配置文件，就准备上线。

小可0306·2023-11-29 17:01

数据收集和准备：打造高质量的数据集

以下是一些国外常用的数据源和网址：政府开放数据平台：dat

theskylife·2023-11-29 16:24

大数据平台/大数据技术与原理-实验报告--部署ZooKeeper集群和实战ZooKeeper

实验名称部署ZooKeeper集群和实战ZooKeeper实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.11.04-2023.11.05实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5系统的linux虚拟机三台）实验目的1.理解ZooKeeper的系统模型，包括数据模型、版本机制、Watcher监听机制、ACL权限控制机制。2.理解Zo

jakeonil·2023-11-29 15:31

大数据平台/大数据技术与原理-实验报告--部署全分布模式HBase集群和实战HBase

实验名称部署全分布模式HBase集群和实战HBase实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.11.07-2023.11.10实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5系统的linux虚拟机三台）实验目的1.理解HBase数据模型。2.理解HBase体系架构。3.熟练掌握HBase集群的部署。4.了解HBaseWebUI的使用

jakeonil·2023-11-29 15:28

线上异步任务突然不能回写100%

sql需要是在大数据平台，通过yarn调度，异步执行。kafka监听每个sql的执行状态，所有sql执行完成，更新作业进度和状态。系统运行一段时间之后，突然频繁出现作业进度不能更新到100%。

爱晒太阳的小老鼠·2023-11-29 12:23

web前端期末大作业——HTML+CSS+JavaScript仿王者荣耀游戏网站设计与制作

STU网页优选·2023-11-29 11:57

区块链底层技术和架构的自主研发日益受到重视

报告指出，区块链底层技术和架构的自主研发日益受到重视，如中国银行、工商银行、蚂蚁金服、腾讯、百度、京东等企业已经积极开展区块链技术自主研发，加强区块链网络基础架构系统建设。

鎶们·2023-11-29 08:25

华为认证大数据工程师（HCIA-Big Data）--练习题

BCDA.实时数据处理B.基于行业领域知识库快速构建数据中台C.云上数据平台快速搭建D.一站式的数据运营治理平台2、A

大沙头三马路·2023-11-29 08:05

适合公司管理用的可视化数据平台有哪些推荐？

“现在公司通过excel表格积累了很多销售数据、员工绩效和公司财务的数据等，有没有合适的数据管理平台可以对这些数据进行统一的管理，方便各个部门各自录入数据、存储数据，管理层可以快捷地通过数据的可视化方便把握公司的情况？”什么叫大数据可视化？其实很简单。大数据可视化就是指通过图表、图形、地图等视觉化方式，将庞大、复杂的大数据集合转化为直观、易于理解和分析的图像展示。但是，对于不熟悉编程的用户来说，如

jdyzzy·2023-11-29 06:21

利用docker&docker-compose实现kafka消息通信

一、kafka架构：参考文章：(125条消息)Kafka的点对点模式、发布订阅模式、基础架构_godkzz的博客-CSDN博客_kafka发布订阅模式(125条消息)Kafka原理及应用实践，用心看这篇就够了

古剑诛仙·2023-11-29 05:08

解决Spark SQL读数据库时不支持某些数据类型的问题

在大数据平台中，经常需要做数据的ETL，从传统关系型数据库RDBMS中抽取数据到HDFS中。

alexlee666·2023-11-28 20:49

关于大数据平台的软件的总列

查询引擎一、Phoenix简介：这是一个Java中间层，可以让开发者在ApacheHBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan，并编排执行以生成标准的JDBC结果集。直接使用HBaseAPI、协同处理器与自定义过滤器，对于简单查询来说，其性能量

sofeld·2023-11-28 16:44

大数据平台测试-优秀员工申请模板

在企业里，优秀员工是需要申请的，下面分享一些模板：1、申请个人优秀奖-测试质量奖申报优秀员工-测试质量奖参考模板：推动XXX质量共建的优秀实践者，通过验证的产研流程把控，过程问题的据理力争，推动整体质量的大幅提升。在其强有力的执行和严格的把关下，XXX的质量管理工作取得了突出的质量建设成绩，过程质量需求BUG率从原来的127%左右下降到30%左右，生产问题数从原来的单月最多10个，到现在每月维持在

软件测试李同学·2023-11-28 16:40

微服务架构为什么需要配置中心？

配置中心是整个微服务基础架构体系中的一个组件，如下图，它的功能看上去并不起眼，无非就是简单配置的管理和存取，但它是整个微服务架构中不可或缺的一环。

代官山·2023-11-28 16:07

大数据平台的软件有哪些？

查询引擎一、Phoenix简介：这是一个Java中间层，可以让开发者在ApacheHBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan，并编排执行以生成标准的JDBC结果集。直接使用HBaseAPI、协同处理器与自定义过滤器，对于简单查询来说，其性能量

别盲目追风·2023-11-28 16:37

大数据平台/大数据技术与原理-实验报告--部署全分布模式Hadoop集群

实验名称部署全分布模式Hadoop集群实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.10.16-2023.10.20实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5系统的linux虚拟机三台）实验目的1.熟练掌握Linux基本命令。2.掌握静态IP地址的配置、主机名和域名映射的修改。3.掌握Linux环境下Java的安装、环境变量的配置

jakeonil·2023-11-28 16:30

大数据平台测试-一次生产P2故障记录

项目介绍：某鉴权项目。公司为了数据安全，去年评审通过了一个基于中间件kafka的鉴权项目，大概的意思，消费topic的应用需要对接鉴权项目，订阅应用，启动端口9093消费（默认是9092端口），当时大家（开发）都觉得风险太大了，不适合接入公司核心kafka集群。万一出错影响太大。但是领导，技术委员会通过了，大家也没啥办法，谁叫大家都是执行者。。。先看出现生产事故的java代码：@Overridep

软件测试李同学·2023-11-28 16:27

大数据平台/大数据技术与原理-实验报告--MapReduce编程

实验名称MapReduce编程实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.10.30-2023.11.03实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5系统的linux虚拟机三台）实验目的1.理解MapReduce编程思想。2.理解MapReduce作业执行流程。3.理解MR-App编写步骤，掌握使用MapReduceJavaAPI

jakeonil·2023-11-28 16:26

大数据平台/大数据技术与原理-实验报告--实战HDFS

实验名称实战HDFS实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.10.23-2023.10.27实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5系统的linux虚拟机三台）实验目的1.理解HDFS体系架构。2.理解HDFS文件存储原理和数据读写过程。3.熟练掌握HDFSWebUI界面的使用。4.熟练掌握HDFSShell常用命令的使用

jakeonil·2023-11-28 16:25

大型酒店数字化运营平台：人员、业务、资源统一管，降本提效、满意服务

酒店数字化运营平台：数字化运营平台作为大型酒店数字化转型过程中的核心平台之一，与酒店各项业务平台、数据平台共同构成大型酒店数字化转型的三驾马车，通过集成应用，共同为酒店数字化转型提供管理支持。

泛微OA办公系统·2023-11-28 16:10

Openstack ocata版安装

Openstackocata版目录Openstackocata版1.Openstack基础架构2.Openstack部署安装ocata版2.1准备环境2.1.1时间同步2.1.2配置YUM源，并安装客户端

Jaaavvvaaa·2023-11-28 07:29

超融合，在春天绽放！

从基础架构层面看，超融合已

中国云报·2023-11-28 06:45

为啥说用了Hbase速度会变快？？？

都知道数据仓库现在一般来说是Hive和kafka，数据平台目前还使用的是hive，但是hive的查询是很慢的，所以为了效率我们引入了Kylin，Kylin并没有大数据存储功能，它所做的只是将数据仓库里的数据预计算

AceCream佳·2023-11-28 06:44

滩涂植物的线上“档案馆”来啦！CNGBdb发布滩涂植物资源库

2020年10月13日，由国家基因库与中国农业科学院青岛特种作物研究中心共同开发的滩涂植物资源库在国家基因库生命大数据平台（CNGBdb）正式上线。

尐尐呅·2023-11-27 23:52

助力企业实现更简单的数据库管理，ATOMDB 与 TDengine 完成兼容性互认

近日，涛思数据旗下高性能、分布式的物联网、工业大数据平台TDengineV3.0版本与秦派软件旗下ATOMDB全平

涛思数据（TDengine）·2023-11-27 19:29

腾讯云是什么？腾讯云TCA和腾讯云TCP是什么？

腾讯云有着深厚的基础架构，并且有着多年对海量互联网服务的经验，不管是社交、游戏还是其他领域，都有多年的成熟产品来提供产品服务。腾讯

huainian·2023-11-27 18:39

大数据下的密码技术挑战

大数据系统通常由大数据平台、大数据应用以及处理的数据集合构成，下图给出了大数据系统的模型。大数据系统构成大数据系统的特征是数据体量大、种类多、聚

yoku酱·2023-11-27 17:57

NetApp ONTAP 数据安全解决方案，增强数据保护和安全性，同时提高数据治理与合规性

NetAppONTAP可帮助您创建智能、强大且值得信赖的存储基础架构，这种架构有助于降低成本、加快关键工作负载的运行速度、保护和保障混合云中的数据安全。

小信瑞·2023-11-27 16:06

福建华夏高级技工学校专业选择？

办学层次：初中毕业起点四年制高技高专weixin-----(ddmv-666)主干课程：云计算技术与应用基础、Linux云服务管理、构建网性能园区网络、MySQL数据库管理、Linux云计算高级运维、云计算基础架构与实践

福建华夏高级技工学校许老师·2023-11-27 16:35

嵌入式Linux常用GUI系统

所以，简单摘录其分类，并整理如下：1.Linux中的一些GUI基础架构1.1XWindow1.2SVGALib

行知致简·2023-11-27 14:23

深度学习大数据物流平台 python 计算机竞赛

文章目录0前言1课题背景2物流大数据平台的架构与设计3智能车货匹配推荐算法的实现**1\.问题陈述****2\.算法模型**3\.模型构建总览**4司机标签体系的搭建及算法****1\.冷启动**2\.

Mr.D学长·2023-11-27 14:39

CDP体系化建设1-CDP综述

在我看来，CDP也是一个看似简单，但是需要借助数据平台的各种能力，将企业的数据资产深度挖掘出来的工具。当中会涉及到数据的集成和加工，包含对埋点、数据仓库的数据重定义和应用。

数据产品小lee·2023-11-27 12:13

车联网安全漏洞管理深度解读

2021-09-1719:38:20来源:中国大数据平台今日（2021年9月16日），工信部发布《关于加强车联网网络安全和数据安全工作的通知》（下称“《通知》”），强调加强智能网联汽车、车联网网络、车联网服务平台以及数据等多方面的安全防护

风禾万里·2023-11-27 12:52

【2023 云栖】阿里云刘一鸣：Data+AI 时代大数据平台建设的思考与发布

云布道师本文根据2023云栖大会演讲实录整理而成，演讲信息如下：演讲人：刘一鸣|阿里云自研大数据产品负责人演讲主题：Data+AI时代大数据平台应该如何建设今天分享的主题是Data+AI时代大数据平台应该如何建设

云布道师·2023-11-27 12:05

ABP vnext学习记录一介绍

ABPvnext学习记录一介绍ABP是用于创建现代Web应用程序的完整体系结构和强大的基础架构！为什么是vnext？这是abp团队重新设计的主要版本的ASP.NETBoilerplate框架。

南城今夏·2023-11-27 09:20

Flume学习笔记：01-Flume的安装与简单入门示例

文章目录概述Flume的基础架构AgentSourceSinkChannelEventFlume的安装与配置环境准备下载flume的安装包解压安装包删除guava-11.0.2.jar，以兼容hadoop3.1.3

wangzhongyudie·2023-11-27 06:30

kubeSphere部署kubernetes多集群联邦

可以以统一的方式管理部署在任何基础架构（例如AmazonEKS和GoogleKubernetesEngine）上的异构集群。KubeSphere的中央控制平面通过两种有效的管理方法使之成为可能。

willops·2023-11-27 04:40

利用SparkSQL Logical Plan Parse 打造大数据平台SQL诊断利器

前言对一个开源项目来说，虽然各种卷，动不动去深入研究源码啥的，但是没有真正去参与开发的话，了解里头的原理又少那么点感觉。实际情况来说很少机会去参与源码的改造吧，这里我提供一些思路，就是基于源码倒腾一些小工具，这样子有作用而且加深那些原理的理解！利用我们的源码，打造一款SQL的扫描工具~~原理篇Spark被大家津津乐道的经典SQL解析流程Sql语句经过Antlr4解析，生成UnresolvedLog

敏叔V587·2023-11-27 03:34

攻防非对称问题｜当前企业面临的网络攻防非对称问题及其解决途径

造成网络攻防非对称问题的原因是多方面的，主要包括以下几个方面：首先网络基础协议及系统基础架构在设计阶段就没有考虑或只考虑有限的安全性，

安全壹壹肆·2023-11-27 01:35

基于LNMP架构搭建WordPress

目录一.WordPress简述二.基础架构三.准备工作1.配置yum源2.关闭防火墙和selinux四.编译安装Nginx1安装Nginx的依赖包2.下载Nginx的安装包3.创建nginx运行用户4.

鲨鱼卖辣椒--·2023-11-27 00:45

研报阅读笔记：粘性（20180907）

1.美国云计算发展历史美国云计算的发展从2000年左右开始，经历了三个大阶段：2000-2008：新生SaaS独角兽涌现2008-2013：IT平台上搭建基础架构2013-2017：传统软件商纷纷转型2013

Ponge·2023-11-26 21:00

Spring

它是一个分层的JavaSE/JavaEEfull-stack（一站式）轻量级开源框架，为开发Java应用程序提供全面的基础架构支持。

烈火138·2023-11-26 21:34

推荐频道

数据平台-基础架构