大数据平台-架构基础第7页

里程碑 | WeDataSphere 一站式开源大数据平台套件全面升级

国家2035远景规划提出要加快全面数字化转型的步伐，而“大数据平台”是数字化转型的基础技术之一。

微众开源·2023-11-19 14:22

构建数据湖上低延迟数据 Pipeline 的实践

讲师介绍杨华，T3出行大数据平台负责人。ApacheHudiCo

DolphinScheduler社区·2023-11-19 14:39

BarleyVarDB：首个大麦遗传变异库 | 数据库推荐

该论文第一作者谈聪博士现在就职于深圳国家基因库(CNGB)，主要负责生命大数据平台(CNGBdb)在线计算平台CODEPLOT的设计与开发，以及生命多组学数据分析挖掘等工作。

尐尐呅·2023-11-19 10:51

大数据平台搭建之hive连接mysql

1、mysql的基本介绍MySQL是一种广泛使用的开源关系型数据库管理系统（RDBMS），由瑞典公司MySQLAB开发并维护，目前由Oracle公司负责开发和支持。MySQL是一种功能强大、性能优越的关系型数据库管理系统，适用于各种规模的应用程序和系统。以下是MySQL的一些基本特点和功能：关系型数据库：MySQL是一种关系型数据库，使用表格来存储数据，支持SQL语言进行数据操作。可扩展性：MyS

bigdata从入门到放弃·2023-11-19 03:39

阿里云云原生一体化数仓 - 数据安全能力解读

MaxCompute产品简介MaxCompute是一款多功能、低成本、高性能、高可靠、易于使用的数据仓库和支持全部数据湖能力的大数据平台，支持超大规模、serverless和完善的多租户能力，内建企业级安全能力和管理功能

阿里云云栖号·2023-11-18 21:28

【Kafka】Linux下搭建kafka服务，完整学习案例

【Kafka】Linux下搭建kafka服务，完整学习代码案例（一）Kafka架构基础【1】图解kafka是什么？

孫治AllenSun·2023-11-18 20:37

首次揭秘云原生Hologres存储引擎

概要：刚刚结束的2020天猫双11中，MaxCompute交互式分析（Hologres）+实时计算Flink搭建的云原生实时数仓首次在核心数据场景落地，为大数据平台创下一项新纪录。

阿里云技术·2023-11-17 14:09

《网易-数据中台》学习笔记

《网易-数据中台》学习笔记1.大数据发展历程1.1数据仓库1.2Hadoop-数据湖1.3大数据平台1.4数据中台1.5Next：大数据+人工智能2.数据仓库2.1数据仓库建模2.1.1E-R模型2.1.2

杰克jk船长·2023-11-17 07:15

大数据毕业设计选题推荐-机房信息大数据平台-Hadoop-Spark-Hive

✨作者主页：IT研究室✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、代码参考五、论文参考六、系统视频结语一、前言随着信息技术的飞速发展，机

IT研究室·2023-11-17 06:59

【2023云栖】刘一鸣：Data+AI时代大数据平台建设的思考与发布

简介：本文根据2023云栖大会演讲实录整理而成，演讲信息如下：演讲人：刘一鸣|阿里云自研大数据产品负责人演讲主题：Data+AI时代大数据平台应该如何建设今天分享的主题是Data+AI时代大数据平台应该如何建设

阿里云大数据AI技术·2023-11-17 06:56

大数据平台搭建之hive本地模式安装

1、什么是hive？Hive是一个开源的数据仓库基础设施，用于查询和分析大规模数据集。它建立在Hadoop上，并提供了类似于传统数据库的查询和分析功能。Hive使用HiveQL（类似于SQL）作为查询语言，允许用户通过类SQL的语法编写查询语句，这些查询语句会被转换为MapReduce任务在Hadoop集群上执行。Hive的主要优势之一是它的可扩展性和容错性。它能够处理各种类型和格式的数据，并且能

bigdata从入门到放弃·2023-11-17 03:58

033-从零搭建微服务-日志插件（一）

源码地址（后端）：mingyue:基于SpringBoot、SpringCloud&Alibaba的分布式微服务架构基础服务中心源码地址（前端）：mingyue-ui:基于Vue3+TS+Vite+Elementplus

Strive_MY·2023-11-16 21:25

大数据平台（数据中心）建设方案

1.1.大数据中心建设需求描述建设大数据管理中台，按照统一的数据规范和标准体系，构建统一数据采集-治理-共享标准、统一技术开发体系、统一接口API，实现数据采集、平台治理，业务应用三层解耦，并按照统一标准格式提供高效的数据支撑服务，保证上层业务应用系统能够更加专注于业务流与数据流的梳理和重构，从而释放数据压力，节约系统开发周期，提升系统建设效率，满足企业、政府数据精细治理、分类组织、精准服务、安全

打码人的日常分享·2023-11-16 17:34

爬虫的基础架构及常用的工具介绍

爬虫的基础架构基础架构方面主要分为3个部分，分别是URL管理器、网页下载器以及网页解析器。

Abandon_first·2023-11-16 14:44

【云栖2023】姜伟华：Hologres Serverless之路——揭秘弹性计算组

云栖大会演讲实录整理而成，演讲信息如下：演讲人：姜伟华|阿里云计算平台事业部资深技术专家、阿里云实时数仓Hologres研发负责人演讲主题：HologresServerless之路——揭秘弹性计算组实时化成为了大数据平台的核心演进趋势

阿里云大数据AI技术·2023-11-16 12:29

HTML期末学生大作业-使用HTML+CSS技术仿传智博客网站

STU网页设计与制作·2023-11-16 11:28

【论文】基于Hadoop的铁路货运大数据平台设计与应用

点我完整下载：基于Hadoop的铁路货运大数据平台设计与应用.docx基于Hadoop的铁路货运大数据平台设计与应用DesignandApplicationofRailwayFreightBigDataPlatformbasedonHadoop

wusp1994·2023-11-16 06:45

Java开源框架集（全）

Spring的架构基础是基于使用JavaBean属性的InversionofControl容器。然而，这仅仅是完整图景中的一部分：Spring在使用IoC容器作为构建完关注所有架构层的完

yangguoqi·2023-11-15 13:55

大数据平台作业调度系统详解－理论篇

大数据开发平台的核心组件之一：作业调度系统。作业调度系统是一个相对复杂的系统，涉及的内容繁杂，针对的场景多种多样，实现的方案千差万别，是一个需要理论和实践并重的系统。本文先从大的场景划分的角度对市面上的各种调度系统进行分类讨论，然后再针对具体的作业调度系统，探讨一下各自的架构流派和实现方案，并简单分析一下各自的优缺点。希望能让大家对作业调度系统要做什么，该怎么做，有一个大致的了解。1、那些调度系统

javastart·2023-11-14 20:27

032-从零搭建微服务-定时服务（一）

源码地址（后端）：mingyue:基于SpringBoot、SpringCloud&Alibaba的分布式微服务架构基础服务中心源码地址（前端）：mingyue-ui:基于Vue3+TS+Vite+Elementplus

Strive_MY·2023-11-14 12:16

TDengine 与煤科院五大系统实现兼容性互认，助力煤矿智能化安全体系搭建

近日，涛思数据与煤炭科学技术研究院（以下简称煤科院）已完成数个产品兼容互认证工作，经双方共同严格测试，涛思数据旗下物联网、工业大数据平台TDengineV3.X与煤炭科学技术研究院旗下煤矿复合灾害监测监控预警系统

涛思数据（TDengine）·2023-11-13 19:54

开心消消乐游戏网页设计作品学生dreamweaver作业静态HTML网页设计模板游戏主题网页作业制作

IT黑马程序员·2023-11-12 13:45

架构基础 - WAL在各种数据系统的应用

WAL(WriteAheadLog)预写日志，是数据库系统中常见的一种手段，用于保证数据操作的原子性和持久性。在计算机科学中，「预写式日志」（Write-aheadlogging，缩写WAL）是关系数据库系统中用于提供原子性和持久性（ACID属性中的两个）的一系列技术。在使用WAL的系统中，所有的修改在提交之前都要先写入log文件中。数据库的最大性能挑战就是磁盘的读写，其实所有方案最终总结出来就三

_jan_·2023-11-12 12:30

CDH6.3.1安装指南

CDH简介CDH基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、HBase、Zookeeper、Sqoop，简化了大数据平台的安装、使用难度。

H.20·2023-11-12 03:27

【云栖2023】王峰：开源大数据平台3.0技术解读

本文根据2023云栖大会演讲实录整理而成，演讲信息如下：演讲人：王峰|阿里云研究员，阿里云计算平台事业部开源大数据平台负责人演讲主题：开源大数据平台3.0技术解读实时化与Serverless是开源大数据

阿里云大数据AI技术·2023-11-11 20:26

大数据毕业设计选题推荐-生产大数据平台-Hadoop-Spark-Hive

✨作者主页：IT毕设梦工厂✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、部分代码设计五、论文参考六、系统视频结语一、前言随着工业化进程的加

IT毕设梦工厂·2023-11-11 18:15

122页6万字消防大数据平台建设方案word-2023

导读：原文《122页6万字消防大数据平台建设方案》（获取来源见文尾），本文精选其中精华及架构部分，逻辑清晰、内容完整，为快速形成售前方案提供参考。

sdfjilo·2023-11-11 08:38

限时领票｜走进 2023 · 云栖大会，看大咖对话开源

时间：11月1日地址：杭州·云栖小镇D4-1扫描议程底部二维码，或点击「阅读原文」领取门票～嘉宾及话题介绍话题一｜阿里云开源大数据平台3.0技术解读演讲嘉宾：王峰阿里云研究员，开源大数据平台负责人■话题简介自

Apache Spark中国社区·2023-11-11 08:49

大数据毕业设计选题推荐-智慧消防大数据平台-Hadoop-Spark-Hive

✨作者主页：IT毕设梦工厂✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、部分代码设计五、论文参考六、系统视频结语一、前言随着城市化进程的加

IT毕设梦工厂·2023-11-11 03:01

大数据毕业设计选题推荐-污水处理大数据平台-Hadoop-Spark-Hive

✨作者主页：IT研究室✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、代码参考五、论文参考六、系统视频结语一、前言随着工业化和城市化的快速发

IT研究室·2023-11-11 01:17

【学生网页设计作品】关于HTML公益主题网页设计——谨防电信诈骗网

STU网页设计与制作·2023-11-10 18:24

Apache Pulsar 在火山引擎 EMR 的集成与场景

火山引擎中Stateless云原生开源大数据平台E-MapReduce（简称EMR）为用户提供了云上的端到端

字节数据平台·2023-11-10 11:50

浅谈智能巡检系统在选煤配电室的应用

并通过大数据平台为配电室的安全运行、故障诊断、状态预警提供智能分析与精确指导,实现了配电室“无人值守、少人值班”,让变电室更加安全可靠。关键词:选煤厂；智能监测

安科瑞王兰·2023-11-10 06:36

大模型时代的人工智能+大数据平台，加速创新涌现

今天，大模型时代下的人工智能+大数据平台，需要具备计算效率、开发效率、处理效率为一体的高效能力，才能保障服务AI时代下的业务创新。

阿里云大数据AI技术·2023-11-10 02:42

高校为什么需要企业数据库？

比如，艾思依托丰富的数据沉淀和领先的模型算法，打造“1+N”产业大数据平台，包含“1个企业数据中心”一一涵盖全国2.4亿多个工商主体，其中包含约7500多万企业主体、1.6亿的个体工商户、2.9亿多条信用数据

Elseide艾思·2023-11-10 01:39

Java开源软件总汇

Spring的架构基础是基于使用JavaBean属性的InversionofControl容器。然而，这仅仅是完整图景中的一部分：Spring在使用IoC容器作为构建完关注所有架构层的完

iteye_15968·2023-11-09 16:18

安装TDengineGUI

TDengine是涛思数据开发的一款高性能、分布式的物联网、工业大数据平台，其核心模块是高性能、集群开源、云原生、极简的时序数据库。

爱上雪茄·2023-11-09 08:37

博时基金数据开发面经

10、你们大数据平台几个节点？11

大数据的奇妙冒险·2023-11-09 03:06

制作一个简单HTML校园网页（HTML+CSS）学校网站制作校园网站设计与实现

IT芷君·2023-11-08 13:14

【kerberos】kinit: Credential cache directory “/run/user/0/krb5cc“ does not exist while getting

前言在用SUSE操作系统安装CM大数据平台，在集群开启kerberos操作时报错，报错内容如下：kinit:Credentialcachedirectory"/run/user/488/krb5cc"doesnotexistwhilegettingdefaultccache

kiraraLou·2023-11-07 18:19

中金易云：为出版社找到下一本《解忧杂货店》

中金易云出版发行大数据平台正是以数字化转型为核心思路，以大数据中台与智能算法为基础的出版业供给侧结构性改革的成果。

weixin_33895695·2023-11-07 14:13

数据中台：为什么会出现数据孤岛和应用孤岛 | 文末赠书

应用场景：为什么会出现数据孤岛和应用孤岛部门A为了解决一些大数据问题，采购了厂商X的大数据解决方案，安装了一个大数据平台，导入自己的数据并开发了一些大数据应用，运行得挺不错。这个时候，部门B也需要解决

LinkTime_Cloud·2023-11-07 06:17

火山引擎云原生计算团队荣获信通院“云原生技术创新”项目奖

近日，中国信通院旗下云原生产业联盟主导的首届云原生产业联盟年会正式举办，“火山引擎云原生大数据平台”项目荣获“云原生技术创新”项目奖。

字节跳动云原生计算·2023-11-07 05:12

京东大数据平台-第三方京东平台数据查询分析软件系统

对于电商商家来说，做好电商数据分析是电商运营中的重要一环，且能为电商商家带来诸多好处，例如：1、提高销售额：通过数据分析可以更好地把握消费者的购买行为，从而更好地推出营销活动，提高销售额。2、提高客户满意度：通过数据分析可以更好地把握消费者需求，从而提供更加满意的服务，提高客户满意度。3、提升竞争力：通过数据分析可以更好地了解行业动态，从而更好地把握市场机会，提升竞争力。而在电商数据的获取上，想要

jingcanmou_data·2023-11-07 02:31

2023年内衣行业分析：京东大数据平台-服饰内衣市场解析

如今，女性消费力的提升正在推动国内女性内衣市场份额逐年提升。而今年，内衣市场更是进入了存量之战，增长趋势明显减弱。根据鲸参谋数据显示，今年1月至9月，京东平台内衣（文胸）累计销量约500万件，同比增长28%；销售额约5亿元，同比增长12%。*数据源于鲸参谋-行业趋势分析（来自公开渠道获取，数据仅供参考）从数据来看，今年的内衣市场表现出两个问题：一方面，整体涨幅相较去年有所放缓。回顾鲸参谋去年的数据