大数据平台

一站式大数据平台XSailboat简介--Hadoop、Hive、Flink、DataStudio、数据服务、API网关、认证中心、数据可视化、离线分析、实时计算、应用引擎等

1.引言从2021年年底开始，笔者带领一个微型团队开始开发我们的大数据平台XSailboat，目前已经初步具备实用化条件，产品将持续性地开发、完善、迭代升级。
OkGogooXSailboat·2024-01-19 06:26

Jackson标签的高阶使用样例--多继承/子类、对象id、JsonIdentityInfo、JsonTypeInfo、JsonSubTypes

1.背景最近笔者在开发大数据平台XSailboat的数据资产目录模块。它的其中一个功能是能定义并查看资产数据。我们支持的资产类型不仅有关系数据库表，也支持Kafka主题，hdfs上的文件等。
OkGogooXSailboat·2024-01-19 06:19

构建高效数据生态：数据库、数据仓库、数据湖、大数据平台与数据中台解析_光点科技

本文将深入探讨数据库、数据仓库、数据湖、大数据平台以及数据中台的功能和价值，帮助您构建一个符合自身业务需求的高效数据生态系统。
光点数据治理·2024-01-18 12:24

情报研判分析系统开发，可视化大数据研判平台建设

情报研判分析系统功能：1、大数据多维度预测分析：通过大数据平台和算法对历史数据
d13823153201·2024-01-18 12:08

公安情报大数据分析研判平台建设解决方案，情报信息平台建设

公安情报大数据分析研判平台建设解决方案，情报信息平台建设公安情报大数据分析研判平台建设解决方案，通过构建汇聚公安内部各警种部门和公安外部单位各类社会数据的大数据平台，以公安数据业务为基础、情报需求为主导
d13823153201·2024-01-18 12:37

Flink的ListState在小规模场景下的缓存提速和接口优化丰富的实践

1.背景笔者的大数据平台XSailboat中包含以DAG方式可视化的离线分析和实时计算的开发、运维功能。
OkGogooXSailboat·2024-01-17 18:36

Aviator表达式扩展--数组、列表负向序号索引以及自己的JSON库支持方括号([])赋值

1.背景笔者开发的大数据大数据平台XSailboat中的DataStudio模块包含基于DAG图的实时计算可视化开发功能，实现了Flink计算任务的可视化开发（想要了解更多，可以查看《Flink的DAG
OkGogooXSailboat·2024-01-17 18:36

关于Flink在一条计算管道中配置流和数据流通过广播方式合流的情形下，无保存点和检查点重跑时，让配置流先行，数据流等延迟几秒再进入合流节点的思考

1.背景笔者带领的团队在自研的大数据平台XSailboat上进行专家策略规则的计算管道开发时，遇到这样一种情形：计算管道中存在一条配置流和数据流通过广播方式合流的情形。
OkGogooXSailboat·2024-01-17 18:36

本地运行Flink退出时java.nio.file.DirectoryNotEmptyException、目录没有正常删除解决方法

1.背景在开发大数据平台XSailboat中的查看Flink任务的状态数据工具时，用StateProcessAPI解析保存点数据，将其从HDFS上读取出来再将其解析过后下沉到HDFS以CSV格式保存，然后由其它接口提供对这个文件的分页加载功能
OkGogooXSailboat·2024-01-17 18:05

Flink的Reduce算子，Name-Position形式的Row数据在使用保存点/检查点重新启动的时候，变成了Position-Based形式的Row解决

1.背景大数据平台XSailboat提供了基于ApacheFlink的实时计算管道开发功能。DataStudio的实时计算管道开发功能中提供了分区规约节点(keyBy+reduce)。
OkGogooXSailboat·2024-01-17 18:05

数据标签设计 -- 大数据平台(XSailboat)的数据标签模块

原先就有在大数据平台XSailboat中增加“数据标签”模块的设想，现在有这样的需求，正好趁此机会将其实现。
OkGogooXSailboat·2024-01-17 18:35

基于大数据平台(XSailboat)的计算管道实现MySQL数据源的CDC同步--flink CDC

1.背景笔者在先前的一篇文档《数据标签设计–大数据平台(XSailboat)的数据标签模块》提到了关于数据标签的模块，现已实现并应用于项目中。
OkGogooXSailboat·2024-01-17 18:05

StreamX流批一体一站式大数据平台：大数据Flink可视化工具的革命性突破，让你的数据更高效、更直观！

介绍：StreamX，开源的流批一体一站式大数据平台，致力于让Flink开发更简单。它极大地降低了学习成本和开发门槛，使开发者可以专注于最核心的业务。
知识分享小能手·2024-01-17 12:15

智慧校园大数据平台业务系统介绍

常见业务系统以下是智慧校园常见的业务系统。这是某个智慧校园业务系统的数据流情况，我们可以发现业务系统和数据中心并未完全数据交互共享，因此我们在规划建设智慧校园大数据时需要协调各个职能部门的资源确认业务系统的数据接口。同时由于各个业务系统之间数据不统一，我们在采集数据过程中还需进行数据转换，转换成我们所需的数据格式，这些都带来大量的工作量。学校业务系统的数据类型和属性很多，有数百种。我们进行数据的归
shawn_song1212·2024-01-17 11:02

智慧校园大数据平台功能模块

学校概况模块智慧校园大数据平台的“学校概况”模块，主要给学校和院系领导使用，能够从宏观、全局把控学校教学、管理、科研、资产等各个方面的整体情况，可以预测学校的发展趋势并且给出决策建议。
shawn_song1212·2024-01-17 11:02

智慧校园大数据平台概述

背景2015年是中国的智慧校园大数据元年，政府、企业、学校、研究者、管理者、教师、社会公众等都开始关注智慧校园大数据，相关政策文件、研究机构、学术活动、市场产品等开始纷纷出现。然而，我国的智慧校园大数据研究与实践领域整体还处于起步探索阶段，是在“摸着石头过河”，涉及一系列关键问题亟待解决（如教育数据的自然采集、教育数据的安全管理与隐私保护、教育数据的无缝流转与开放共享、教育数据的深度挖掘以及学习分
shawn_song1212·2024-01-17 11:01

智慧校园大数据平台架构

数据计算与分析挖掘大数据平台涵盖了
shawn_song1212·2024-01-17 11:56

2022-06-22

同时大数据平台不光有采集信息的功能，还可以分析内容，让小区管理变得轻松，环境更安全。由此使得安防系统只能完成时间内的视频存储记录，仅可为事后分析提供证据。而其在事前预/报警的缺位，也让保平安
乐乐_ec94·2024-01-16 04:07

作业帮基于 DolphinScheduler 的数据开发平台实践

1.背景首先介绍下我们的大数据平台架构：数据计算层承接了全公司的数据开发需求，负责运行各类指标计算任务。
DolphinScheduler社区·2024-01-16 03:46

大数据平台计算层需要考虑的多种场景和对应的实现框架参考

如下图所示：大数据平台计算层数据处理是指对数据进行收集整理、组织、存储、维护、检索、传送等操作，该部分也是后续进行数据管理时的必要部分。数据处
皮皮杂谈·2024-01-15 04:19

2019组织架构变动（2）

这是2019年年初设定的组织架构，重点关注G端经营委员会下面的结构，当前的G端事业部的设置，除了市场部，品管部和运维事业部是职能组织，包含大部分人员的个税，社保，电子税务局，数据和大数据平台这5个事业部
人文CTO·2024-01-14 22:54

Linux下定位系统问题方法

说明：在大数据平台运维过程中，我们总会遇到系统硬件或软件的故障导致平台或应用出现异常的情况。这种情况下，我们就需要去定位系统故障点。下面是我再排查系统问题中常用的方法。
yinkp001·2024-01-14 06:40

html+eacher 100套数据大屏

私信即可获得源码001服务大数据可视化监管平台002水质情况实时监测预警系统003联心菜市场数据中心004政务大数据共享交换平台005可视化监控管理006全国疫情实时监控007惠民服务平台008兰州智慧消防大数据平台
TortyE·2024-01-14 05:10

腾讯实验平台基于 StarRocks 构建湖仓底座

作者：腾讯大数据平台部科学实验中心TechLead、专家工程师马金勇博士腾讯大数据平台部科学实验中心数据负责人、专家工程师胡明杰StarRocksContributor、腾讯高级工程师刘志行在2022年
StarRocks_labs·2024-01-13 13:53

实录分享 | 央企大数据平台架构发展趋势与应用场景的介绍

分享嘉宾：孟子涵-中国华能集团信息中心平台架构师2021年华能就与Alluxio建立了合作，共同写了整个华能统一纳管的架构方案。这个方案我认为是现在我们在央企里边比较核心的一套体系，能让全集团所有我们认为重要的数字化资源实现真正的统一集中，让存储、计算、数据、应用、技术能力，能够在全集团范围内最大化的流动起来，让大家最大化使用这些资源。活动详情https://link.zhihu.com/?tar
Alluxio·2024-01-13 11:59

web前端 html+css+javascript游戏网页设计实例 (网页制作课作业)

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
IT黑马程序员·2024-01-13 10:06

HTML5期末考核大作业：基于Html+Css+javascript的网页制作（化妆品公司网站制作）

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
STU学生网页设计·2024-01-13 10:06

大数据开发工程师需要具备哪些技能？

在回答这个问题之前，需要充分了解一下当前大数据的几个就业方向，可以参考下主流互联网行业的部门架构、职责和JD，大数据开发工程师，总体来说有这么几类，不同的公司叫法不一样：1、数仓开发工程师2、算法挖掘工程师3、大数据平台开发工程师
郑小柒是西索啊·2024-01-12 21:58

手把手教你，Selenium 遇见伪元素该如何处理？

前言问题发生在很多前端页面中，大家会见到很多：:before、::after元素，比如【百度流量研究院】：比如【百度疫情大数据平台】：以【百度疫情大数据平台】为例，“累计确诊”文本并没有显示在HTML源代码中
小码哥说测试·2024-01-12 02:50

使用Sqoop将Hive数据导出到TiDB

关系型数据库与大数据平台之间的数据传输之前写过一些使用Sqoop将数据在HDFS与MySQL互导使用Sqoop将SQLServer视图中数据导入Hive使用DataX将Hive与MySQL中的表互导使用
光于前裕于后·2024-01-11 19:26

赶快点击 | 立即生成涛思数据 2023 年终总结报告

在今年，最值得一提的大事件就是伴随着六月的网站改版，TDengine正式升级为高性能、分布式的物联网、工业大数据平台，提供可私有化部署的TDengineEnterprise以及全托管的物
涛思数据（TDengine）·2024-01-11 15:46

TDengine 公布 2023 年发展“成绩”，六大亮点引人瞩目

在今年，最值得一提的大事件就是伴随着六月的网站改版，TDengine正式升级为高性能、分布式的物联网、工业大数据平台，提供可私有化部署的TDengineEnterprise以及全托管的物
涛思数据（TDengine）·2024-01-11 15:16

基于Flume、Kafka和Storm实现企业大数据平台的实时数据采集

很多企业投入大量的人力、物力和财力建设企业大数据平台，平台建设工作涵盖数据采集、数据处理、数据存储、数据服务、数据展示以及数据质量管理各个环节。
皮皮杂谈·2024-01-11 07:26

快来预约出行！浙江宁海“网约巴士”走出新思路，跑出市民新满意度

它以灵动、萌态十足的小巴士为载体，依托大数据平台及互联网+出行创新理念，将传统公交与动态拼车相结合，从而塑造出更灵活、更便宜、更便捷、更舒适的个性化出行服务体验，在贯彻公交便民惠民的服务中，也更好地满足了百姓的多元化出行需求
xinxunkandian·2024-01-10 23:24

2021-07-13

新一代工业互联网平台之二——极简工业大数据云平台架构大海_WH工业互联网1.技术架构极简工业云端大数据平台主要包括云端分布式大数据处理系统（数据处理）、WEB用户管理应用系统（建模分析）、小程序应用系统
大海WH·2024-01-10 16:55

案例分享 | 基于Linkis+DSS构建合合信息一站式数据开发平台

用户权限3.2引擎增强3.3作业调度3.4数据治理3.5IDS中一些小的功能改造点或应用项4.总结5.参考文档1.IDS的简介IntsigDataStudio（IDS）是上海合合信息科技股份有限公司，大数据平台基于微众
康月牙·2024-01-10 15:16

大创项目推荐 深度学习大数据物流平台 python

文章目录0前言1课题背景2物流大数据平台的架构与设计3智能车货匹配推荐算法的实现**1\.问题陈述****2\.算法模型**3\.模型构建总览**4司机标签体系的搭建及算法****1\.冷启动**2\.
laafeer·2024-01-10 04:29

面向应用的离线计算系统：周期任务&组合策略

而大数据平台通常是调度平台系统，和业务系统是两个独立的平台系统，如何建立交互方式。业务有个性化的实验策略，需要组合业务条件达到实验效果。比如捞取不同的数据实验算法策略。
乘风踏羽·2024-01-09 08:17

大数据平台比较-CDH、HDP、CDP

ApacheHadoop与CDH、HDP的比较一、Hadoop版本综述不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）Cloudera版本（Cloudera’sDistributionIncludingApacheHadoop，简称CDH）Hortonworks版本(HortonworksDataPlatform，简称HDP
Sql强·2024-01-09 07:24

流式湖仓增强，Hologres + Flink 构建企业级实时数仓

实时计算在企业大数据平台的比重也在不断提高，部分行业已经达到了50%。Hologres+Flink通过众多的丰富企业级能力，替换开源复杂的各类技术组件，减少多种技术栈学习、多种集群运维、
Elivis Hu·2024-01-08 22:52

Selenium 遇见伪元素该如何处理？

前言问题发生在很多前端页面中，大家会见到很多：:before、::after元素，比如【百度流量研究院】：比如【百度疫情大数据平台】：以【百度疫情大数据平台】为例，“累计确诊”文本并没有显示在HTML源代码中
明月与玄武·2024-01-08 13:51

大数据 Yarn - 资源调度框架

Yarn并不是随Hadoop的推出一开始就有的，Yarn作为分布式集群的资源调度框架，它的出现伴随着Hadoop的发展，使Hadoop从一个单一的大数据计算引擎，成为一个集存储、计算、资源管理为一体的完整大数据平台
善守的大龙猫·2024-01-08 10:48

【技术问题】CDH无法下载之后

很多以前的文章、书籍中提到CDH大数据平台，都是会引用Cloudera官网下载地址，例如：https://archive.cloudera.com/p/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-clo
yestolife123·2024-01-08 08:14

【期末网页设计】基于HTML学生信息管理系统网页项目的设计与实现

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
程序员-html网页设计·2024-01-08 04:09

深圳内推 | 腾讯大数据平台混元AIGC团队招聘文生3D方向算法实习生

合适的工作难找？最新的招聘信息也不知道？AI求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！腾讯腾讯混元大模型是由腾讯全链路自研的实用级大模型，拥有超千亿参数规模、预训练语料超2万亿tokens，具备强大的中文创作能力，复杂语境下的逻辑推理能力，以及可靠的任务执行能力。腾讯已将大模型技术深度应用到多个业务场景中，包括腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾
PaperWeekly·2024-01-08 02:08

城市地质大数据平台

2019年，自然资源部办公厅印发了关于《智慧城市时空大数据平台建设技术大纲（2019版）》的通知，要求加快推进智慧城市时空大数据平台建设工作，做好与其他智慧城市建设项目的衔接，为城市管理提供一张底板、一个平台
giself·2024-01-07 22:42

大数据平台数据治理与建设方案：PPT全文90页，附下载

关键词：数据治理，大数据，数据治理平台，数据治理顶层设计，大数据治理，数据治理建设一、数据治理建设需求分析1、业务需求和目标：首先，明确业务需求和目标是非常重要的。数据治理项目需要满足业务的需求和目标，例如提高决策效率、优化业务流程、提升数据安全性等。了解业务需求和目标有助于确定所需的数据类型、数据来源和数据使用者，以及数据的精度、可靠性、安全性等方面的要求。2、数据源和数据使用者：确定组织内的数
方案365·2024-01-06 17:23

【十年磨一剑】我们能从阿里架构师的身上学到什么？

和大家介绍下我目前所从事的工作：我目前从事分布式服务架构的设计与开发工作，在阿里的大数据平台上进行应用程序开发。我们整个系统架构采用了“前后端分离”的思想，前端关注数据展现，后端关注数
java成功之路·2024-01-06 09:40

轻量级云原生大数据平台“CloudEon“正式开源

随着云原生技术的发展，越来越多的业务场景需要使用容器来部署和管理应用程序，而Kubernetes作为容器编排平台的事实标准，自然也受到了越来越多的关注和使用。但是如果想在Kubernetes上部署和运维大数据服务是有比较高的学习成本，需要专业的运维人员来进行管理和维护，在这种情况下，我们开发出CloudEon平台，致力于简化多种大数据服务在Kubernetes上的部署和管理，同时还能更好地利用Ku
愛吃枸杞的路星河·2024-01-06 05:18

企业级大数据安全架构（一）平台安全隐患

作者：楼高引言当谈到企业级大数据平台时，安全性是一个至关重要的方面。随着数据规模的不断增长和信息的敏感性，大数据平台面临着多种安全隐患，需要得到充分的关注和解决，以确保其在生产环境中可靠可用。
云掣YUNCHE·2024-01-05 15:03
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他