大数据平台-架构基础第6页

为什么要升级水经微图到64位？

而其最根本的原因，是因为底层内核并不是建立在真正的GIS架构基础之上。但如果要从底层重构，显然短时间内无法奏效。为了尽快缓解这个问题，我们

水经注GIS·2023-11-29 07:30

解决Spark SQL读数据库时不支持某些数据类型的问题

在大数据平台中，经常需要做数据的ETL，从传统关系型数据库RDBMS中抽取数据到HDFS中。

alexlee666·2023-11-28 20:49

关于大数据平台的软件的总列

查询引擎一、Phoenix简介：这是一个Java中间层，可以让开发者在ApacheHBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan，并编排执行以生成标准的JDBC结果集。直接使用HBaseAPI、协同处理器与自定义过滤器，对于简单查询来说，其性能量

sofeld·2023-11-28 16:44

大数据平台测试-优秀员工申请模板

在企业里，优秀员工是需要申请的，下面分享一些模板：1、申请个人优秀奖-测试质量奖申报优秀员工-测试质量奖参考模板：推动XXX质量共建的优秀实践者，通过验证的产研流程把控，过程问题的据理力争，推动整体质量的大幅提升。在其强有力的执行和严格的把关下，XXX的质量管理工作取得了突出的质量建设成绩，过程质量需求BUG率从原来的127%左右下降到30%左右，生产问题数从原来的单月最多10个，到现在每月维持在

软件测试李同学·2023-11-28 16:40

大数据平台的软件有哪些？

查询引擎一、Phoenix简介：这是一个Java中间层，可以让开发者在ApacheHBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan，并编排执行以生成标准的JDBC结果集。直接使用HBaseAPI、协同处理器与自定义过滤器，对于简单查询来说，其性能量

别盲目追风·2023-11-28 16:37

大数据平台/大数据技术与原理-实验报告--部署全分布模式Hadoop集群

实验名称部署全分布模式Hadoop集群实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.10.16-2023.10.20实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5系统的linux虚拟机三台）实验目的1.熟练掌握Linux基本命令。2.掌握静态IP地址的配置、主机名和域名映射的修改。3.掌握Linux环境下Java的安装、环境变量的配置

jakeonil·2023-11-28 16:30

大数据平台测试-一次生产P2故障记录

项目介绍：某鉴权项目。公司为了数据安全，去年评审通过了一个基于中间件kafka的鉴权项目，大概的意思，消费topic的应用需要对接鉴权项目，订阅应用，启动端口9093消费（默认是9092端口），当时大家（开发）都觉得风险太大了，不适合接入公司核心kafka集群。万一出错影响太大。但是领导，技术委员会通过了，大家也没啥办法，谁叫大家都是执行者。。。先看出现生产事故的java代码：@Overridep

软件测试李同学·2023-11-28 16:27

大数据平台/大数据技术与原理-实验报告--MapReduce编程

实验名称MapReduce编程实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.10.30-2023.11.03实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5系统的linux虚拟机三台）实验目的1.理解MapReduce编程思想。2.理解MapReduce作业执行流程。3.理解MR-App编写步骤，掌握使用MapReduceJavaAPI

jakeonil·2023-11-28 16:26

大数据平台/大数据技术与原理-实验报告--实战HDFS

实验名称实战HDFS实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.10.23-2023.10.27实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5系统的linux虚拟机三台）实验目的1.理解HDFS体系架构。2.理解HDFS文件存储原理和数据读写过程。3.熟练掌握HDFSWebUI界面的使用。4.熟练掌握HDFSShell常用命令的使用

jakeonil·2023-11-28 16:25

滩涂植物的线上“档案馆”来啦！CNGBdb发布滩涂植物资源库

2020年10月13日，由国家基因库与中国农业科学院青岛特种作物研究中心共同开发的滩涂植物资源库在国家基因库生命大数据平台（CNGBdb）正式上线。

尐尐呅·2023-11-27 23:52

助力企业实现更简单的数据库管理，ATOMDB 与 TDengine 完成兼容性互认

近日，涛思数据旗下高性能、分布式的物联网、工业大数据平台TDengineV3.0版本与秦派软件旗下ATOMDB全平

涛思数据（TDengine）·2023-11-27 19:29

大数据下的密码技术挑战

大数据系统通常由大数据平台、大数据应用以及处理的数据集合构成，下图给出了大数据系统的模型。大数据系统构成大数据系统的特征是数据体量大、种类多、聚

yoku酱·2023-11-27 17:57

深度学习大数据物流平台 python 计算机竞赛

文章目录0前言1课题背景2物流大数据平台的架构与设计3智能车货匹配推荐算法的实现**1\.问题陈述****2\.算法模型**3\.模型构建总览**4司机标签体系的搭建及算法****1\.冷启动**2\.

Mr.D学长·2023-11-27 14:39

车联网安全漏洞管理深度解读

2021-09-1719:38:20来源:中国大数据平台今日（2021年9月16日），工信部发布《关于加强车联网网络安全和数据安全工作的通知》（下称“《通知》”），强调加强智能网联汽车、车联网网络、车联网服务平台以及数据等多方面的安全防护

风禾万里·2023-11-27 12:52

【2023 云栖】阿里云刘一鸣：Data+AI 时代大数据平台建设的思考与发布

云布道师本文根据2023云栖大会演讲实录整理而成，演讲信息如下：演讲人：刘一鸣|阿里云自研大数据产品负责人演讲主题：Data+AI时代大数据平台应该如何建设今天分享的主题是Data+AI时代大数据平台应该如何建设

云布道师·2023-11-27 12:05

利用SparkSQL Logical Plan Parse 打造大数据平台SQL诊断利器

前言对一个开源项目来说，虽然各种卷，动不动去深入研究源码啥的，但是没有真正去参与开发的话，了解里头的原理又少那么点感觉。实际情况来说很少机会去参与源码的改造吧，这里我提供一些思路，就是基于源码倒腾一些小工具，这样子有作用而且加深那些原理的理解！利用我们的源码，打造一款SQL的扫描工具~~原理篇Spark被大家津津乐道的经典SQL解析流程Sql语句经过Antlr4解析，生成UnresolvedLog

敏叔V587·2023-11-27 03:34

【web前端期末大作业】html网上在线书城大学生静态网页大学生html当当书城仿站网上书城购物网页作业HTML

IT芷君·2023-11-26 20:06

云建站架构师rain·2023-11-26 19:45

2023年全国职业院校技能大赛-赛题第01套-GZ033 大数据应用开发

目录任务A：大数据平台搭建（容器环境）（15分）子任务一：Hadoop完全分布式安装配置子任务二：SparkonYarn安装配置子任务三：HBase分布式安装配置任务B：离线数据处理（25分）子任务一：

你可知这世上再难遇我·2023-11-26 13:48

HBase详细部署流程

大数据平台XSailboat简介_OkGogooXSailboat的博客-CSDN博客1、部署环境在安装HBase之前，首先应确保以下基础设施构建成功：JDK8版本安装设置成功：jdk8.0_161以上版本

yujianbujianqwe·2023-11-26 04:50

SQL on Hadoop在快手大数据平台的实践与优化 | 分享实录

快手大数据架构工程师钟靓本文是根据快手大数据架构工程师钟靓于5月18-19日在A2M人工智能与机器学习创新峰会《SQLonHadoop在快手大数据平台的实践与优化》演讲中的分享内容整理而成。

weixin_34292959·2023-11-25 19:46

cdh亲测2022/11/12

一、Hadoop大数据平台1、Hadoop发行版(1)完全开源的原生的ApacheHadoop(2)Cloudera与Hortonworks公司的CDH和HDP：在Cloudera和Hortonworks

Tian.Mrs·2023-11-25 14:18

CDH6安装教程(亲自测试越坑版)

一、Hadoop大数据平台1、Hadoop发行版(1)完全开源的原生的ApacheHadoop(2)Cloudera与Hortonworks公司的CDH和HDP：在Cloudera和Hortonworks

inrgihc·2023-11-25 14:14

大数据质量管理工具-Apache Griffin

概述数据质量模块是大数据平台中必不可少的一个功能组件，ApacheGriffin（以下简称Griffin）是一个开源的大数据数据质量解决方案，它支持批处理和流模式两种数据质量检测方式，可以从不同维度（比如离线任务执行完毕后检查源端和目标端的数据数量是否一致

reco171·2023-11-25 13:07

关于大数据的一些拙见

大数据是一个概念也是一个技术，是在以Hadoop为代表的大数据平台框架上进行各种数

weixin_30384217·2023-11-25 13:52

大数据-计算框架选型与对比

计算框架选型与对比一、大数据平台二、计算框架分类1.批处理架构2.实时流处理架构3.流批一体处理架构三、计算框架关键指标1.处理模式2.可伸缩性3.消息传递3.1至少一次（atleastonce）3.2

临江蓑笠翁·2023-11-25 06:54

实战pyspark基于yarn模式提交任务成功踩坑

2.平台大数据平台：某国产厂商的成熟大数据产品，基于容器的架构，四个节点，每个节点100-200G不等。

euler1983·2023-11-25 01:16

三大流行BI分析平台推荐，企业数据化选择工具

BI是构建现代大数据平台不可或缺的工具。大数据和BI工具两者密切相关，相辅相成。大数据是基础。没有大数据，BI就失去了存在的基础，没有办法快速、实时、高效地处理数据，支持应用。

明月说数据·2023-11-24 21:06

基于5G+物联网+SaaS+AI的农业大数据综合解决方案：PPT全文44页，附下载

关键词：智慧农业大数据，5G智慧农业，物联网智慧农业，SaaS智慧农业，AI智慧农业，智慧农业大数据平台一、智慧农业大数据建设背景1、应对全球人口快速增长带来的粮食生产压力，未来的粮食生产力必须提高60%

方案365·2023-11-24 18:51

中国信息通信研究院闫树：城市大数据平台白皮书

统一的城市大数据平台从理念变为现实，并且在加速资源整合、提供丰富应用；创新城市治理模式、改革政府管理方式等方面发挥重要作用。

yuxinqingge·2023-11-24 16:30

Centos 安装Datax及Datax-web

异构数据的采集，方案还是比较多样，除了基于大数据平台的一些集成；简单的数据源，可以直接使用阿里开源的datax来实现；datax-web则是datax界面化操作的开源框架，集成了datax异构数据采集和任务调度的功能

江山如此多坑·2023-11-24 16:55

3D线上展示vr全景企业展馆新优势

展厅的形象和特殊的优势，采用定制和商迪3d自制的引擎，实现3d线上展厅数字化、企业vr展馆可视化等3D线上展厅的全景预览和功能，从而实现3D线上展厅企业数字化、三维数据可视化、三维虚拟现实化以及企业发大数据平台的建设

商迪3D的勺子·2023-11-22 13:50

python：excel导入hive

现需要将这些excel数据导入到大数据平台，供其他部门使用。本程序提供一个web页面，实现在web页面上传指定格式的excel文件，程序自动将该文件的数据导入到hive中。

没有文化，啥也不会·2023-11-22 12:29

架构师们，怎么走着走着就变“烟囱”了呢？ | 文末含福利

作者|耿立超来源|《大数据平台架构与原型实现：数据中台建设实战》*文末有福利这两年，随着中台概念的兴起，一种IT过去的常态，现在的明星反面教材——“烟囱式架构”被反复提及并为大家所熟知。

csdn业界要闻·2023-11-22 10:16

阿里云 E-MapReduce 全面开启 Serverless 时代

作者：李钰-阿里云资深技术专家、EMR负责人EMR2.0平台阿里云正式发布云原生开源大数据平台EMR2.0已历经一年时间，如今EMR2.0全新平台在生产上已经全面落地，资源占比超过60%。

阿里云大数据AI技术·2023-11-22 08:11

大数据平台红蓝对抗 - 磨利刃，淬精兵！ | 京东云技术团队

随着平台业务越来越复杂，红蓝对抗的作用愈来愈明显，下面将详细介绍大数据平台在本次11.11大促备战工作中是如何开展红蓝对抗的。

京东云技术团队·2023-11-22 08:54

微服务注册中心的作用_微服务架构基础之注册中心

微服务架构基础之注册中心在微服务架构中，注册中心是核心的基础服务之一。在微服务架构流行之前，注册中心就已经开始出现在分布式架构的系统中。

weixin_39610807·2023-11-22 04:39

数据湖学习笔记No.03（数据仓库）

数据存储有瓶颈数据计算有瓶颈实时场景计算有瓶颈数据挖掘有瓶颈构建大数据平台基础知识数据库三范式：1、第一范式（1NF）：原子性，字段不可分2、第二范式（2NF）：唯一性，有主键，非主键字段

SEUsmith·2023-11-21 22:34

万字详解大数据架构新概念

有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？

于连林_·2023-11-21 22:53

log4j2发送消息至Kafka

title:自定义log4j2发送日志到Kafkatags:log4j2,kafka为了给公司的大数据平台提供各项目组的日志，而又使各项目组在改动上无感知。

Java大生·2023-11-21 14:55

里程碑 | WeDataSphere 一站式开源大数据平台套件全面升级

国家2035远景规划提出要加快全面数字化转型的步伐，而“大数据平台”是数字化转型的基础技术之一。

康月牙·2023-11-21 09:53

GBase数据库产品介绍

南大通用专注于国产数据库的自主研发、销售和服务，是产品线最全的国产数据库厂商，包括分析型数据库GBase8a、交易型数据库GBase8s、目录数据库GBase8d、金融级分布式交易型数据库GBase8c，以及大数据平台

wangzhejijie·2023-11-21 05:38

Bert学习笔记(简单入门版)

如何微调Bert五、如何提升BERT下游任务表现5.1一般做法5.2如何在相同领域数据中进行furtherpre-training5.3参数设置Trick六、如何在脱敏数据中使用Bert等预训练模型一、基础架构基础架构为

十七季·2023-11-21 01:25

个人感想

最近要做大数据平台，找到的一片文章。内容非常的好，无整体布局，效果，颜色，排版，数据维度等多个方面给出建议。非常不错。浏览网页很多了，很少有文章能让自己看三四遍，感触良多。学无止境。

James007007·2023-11-20 16:41

用HTML+CSS做一个漂亮简单的音乐网站

web网站建设·2023-11-20 05:21

etcd 架构原理学习（来自etcd实战）

文章目录参考防挂图pdf版整体架构基础模块介绍写流程简单了解读流程详细了解串行读（数据敏感度低，适用计数等）线性读（数据敏感度高，要求一致性）写流程详细了解与读流程不一样的模块Quota模块KVServer

oceanweave·2023-11-20 01:39

Hive参数与性能企业级调优（建议收藏）

Hive作为大数据平台举足轻重的框架，以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一。

坨坨的大数据·2023-11-19 23:58

2011-2022年高职大数据竞赛-赛题任务剖析

，内容分别为：第一部分赛题内容第二部分任务剖析第三部分赛题模拟实现-离线数据抽取第四部分赛题模拟实现-离线数据统计第五部分赛题模拟实现-数据采集与实时计算第六部分赛题模拟实现-数据可视化（一）任务一：大数据平台环境搭建具体内容按照大数据分析平台需求

xlw2003·2023-11-19 21:54

大数据和智能数据应用架构系列教程之：大数据架构设计与部署

如何构建出高效、可靠、可伸缩的大数据平台架构，将决定数据科学家在工作中面临的最大挑战。

禅与计算机程序设计艺术·2023-11-19 19:28

融云出海：跟着「花少 · 丝路季」去沙特，为什么现在是出海中东最好时机？

首期观看量达到了1.9亿，登顶各大数据平台综艺热榜。不同于真人秀巅峰《花少2》的全员疯批人设，这一季全员情绪稳定的表现十分拉好感。东北含量超高的主角团脱离了“宫斗”向“囧途”靠近，抓马不再，搞笑居多。

融云·2023-11-19 19:22

推荐频道

大数据平台-架构基础