大数据平台

基于大数据平台(XSailboat)的计算管道实现MySQL数据源的CDC同步--flink CDC

1.背景笔者在先前的一篇文档《数据标签设计–大数据平台(XSailboat)的数据标签模块》提到了关于数据标签的模块，现已实现并应用于项目中。
OkGogooXSailboat·2024-01-17 18:05

StreamX流批一体一站式大数据平台：大数据Flink可视化工具的革命性突破，让你的数据更高效、更直观！

介绍：StreamX，开源的流批一体一站式大数据平台，致力于让Flink开发更简单。它极大地降低了学习成本和开发门槛，使开发者可以专注于最核心的业务。
知识分享小能手·2024-01-17 12:15

智慧校园大数据平台业务系统介绍

常见业务系统以下是智慧校园常见的业务系统。这是某个智慧校园业务系统的数据流情况，我们可以发现业务系统和数据中心并未完全数据交互共享，因此我们在规划建设智慧校园大数据时需要协调各个职能部门的资源确认业务系统的数据接口。同时由于各个业务系统之间数据不统一，我们在采集数据过程中还需进行数据转换，转换成我们所需的数据格式，这些都带来大量的工作量。学校业务系统的数据类型和属性很多，有数百种。我们进行数据的归
shawn_song1212·2024-01-17 11:02

智慧校园大数据平台功能模块

学校概况模块智慧校园大数据平台的“学校概况”模块，主要给学校和院系领导使用，能够从宏观、全局把控学校教学、管理、科研、资产等各个方面的整体情况，可以预测学校的发展趋势并且给出决策建议。
shawn_song1212·2024-01-17 11:02

智慧校园大数据平台概述

背景2015年是中国的智慧校园大数据元年，政府、企业、学校、研究者、管理者、教师、社会公众等都开始关注智慧校园大数据，相关政策文件、研究机构、学术活动、市场产品等开始纷纷出现。然而，我国的智慧校园大数据研究与实践领域整体还处于起步探索阶段，是在“摸着石头过河”，涉及一系列关键问题亟待解决（如教育数据的自然采集、教育数据的安全管理与隐私保护、教育数据的无缝流转与开放共享、教育数据的深度挖掘以及学习分
shawn_song1212·2024-01-17 11:01

智慧校园大数据平台架构

数据计算与分析挖掘大数据平台涵盖了
shawn_song1212·2024-01-17 11:56

2022-06-22

同时大数据平台不光有采集信息的功能，还可以分析内容，让小区管理变得轻松，环境更安全。由此使得安防系统只能完成时间内的视频存储记录，仅可为事后分析提供证据。而其在事前预/报警的缺位，也让保平安
乐乐_ec94·2024-01-16 04:07

作业帮基于 DolphinScheduler 的数据开发平台实践

1.背景首先介绍下我们的大数据平台架构：数据计算层承接了全公司的数据开发需求，负责运行各类指标计算任务。
DolphinScheduler社区·2024-01-16 03:46

大数据平台计算层需要考虑的多种场景和对应的实现框架参考

如下图所示：大数据平台计算层数据处理是指对数据进行收集整理、组织、存储、维护、检索、传送等操作，该部分也是后续进行数据管理时的必要部分。数据处
皮皮杂谈·2024-01-15 04:19

2019组织架构变动（2）

这是2019年年初设定的组织架构，重点关注G端经营委员会下面的结构，当前的G端事业部的设置，除了市场部，品管部和运维事业部是职能组织，包含大部分人员的个税，社保，电子税务局，数据和大数据平台这5个事业部
人文CTO·2024-01-14 22:54

Linux下定位系统问题方法

说明：在大数据平台运维过程中，我们总会遇到系统硬件或软件的故障导致平台或应用出现异常的情况。这种情况下，我们就需要去定位系统故障点。下面是我再排查系统问题中常用的方法。
yinkp001·2024-01-14 06:40

html+eacher 100套数据大屏

私信即可获得源码001服务大数据可视化监管平台002水质情况实时监测预警系统003联心菜市场数据中心004政务大数据共享交换平台005可视化监控管理006全国疫情实时监控007惠民服务平台008兰州智慧消防大数据平台
TortyE·2024-01-14 05:10

腾讯实验平台基于 StarRocks 构建湖仓底座

作者：腾讯大数据平台部科学实验中心TechLead、专家工程师马金勇博士腾讯大数据平台部科学实验中心数据负责人、专家工程师胡明杰StarRocksContributor、腾讯高级工程师刘志行在2022年
StarRocks_labs·2024-01-13 13:53

实录分享 | 央企大数据平台架构发展趋势与应用场景的介绍

分享嘉宾：孟子涵-中国华能集团信息中心平台架构师2021年华能就与Alluxio建立了合作，共同写了整个华能统一纳管的架构方案。这个方案我认为是现在我们在央企里边比较核心的一套体系，能让全集团所有我们认为重要的数字化资源实现真正的统一集中，让存储、计算、数据、应用、技术能力，能够在全集团范围内最大化的流动起来，让大家最大化使用这些资源。活动详情https://link.zhihu.com/?tar
Alluxio·2024-01-13 11:59

web前端 html+css+javascript游戏网页设计实例 (网页制作课作业)

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
IT黑马程序员·2024-01-13 10:06

HTML5期末考核大作业：基于Html+Css+javascript的网页制作（化妆品公司网站制作）

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
STU学生网页设计·2024-01-13 10:06

大数据开发工程师需要具备哪些技能？

在回答这个问题之前，需要充分了解一下当前大数据的几个就业方向，可以参考下主流互联网行业的部门架构、职责和JD，大数据开发工程师，总体来说有这么几类，不同的公司叫法不一样：1、数仓开发工程师2、算法挖掘工程师3、大数据平台开发工程师
郑小柒是西索啊·2024-01-12 21:58

手把手教你，Selenium 遇见伪元素该如何处理？

前言问题发生在很多前端页面中，大家会见到很多：:before、::after元素，比如【百度流量研究院】：比如【百度疫情大数据平台】：以【百度疫情大数据平台】为例，“累计确诊”文本并没有显示在HTML源代码中
小码哥说测试·2024-01-12 02:50

使用Sqoop将Hive数据导出到TiDB

关系型数据库与大数据平台之间的数据传输之前写过一些使用Sqoop将数据在HDFS与MySQL互导使用Sqoop将SQLServer视图中数据导入Hive使用DataX将Hive与MySQL中的表互导使用
光于前裕于后·2024-01-11 19:26

赶快点击 | 立即生成涛思数据 2023 年终总结报告

在今年，最值得一提的大事件就是伴随着六月的网站改版，TDengine正式升级为高性能、分布式的物联网、工业大数据平台，提供可私有化部署的TDengineEnterprise以及全托管的物
涛思数据（TDengine）·2024-01-11 15:46

TDengine 公布 2023 年发展“成绩”，六大亮点引人瞩目

在今年，最值得一提的大事件就是伴随着六月的网站改版，TDengine正式升级为高性能、分布式的物联网、工业大数据平台，提供可私有化部署的TDengineEnterprise以及全托管的物
涛思数据（TDengine）·2024-01-11 15:16

基于Flume、Kafka和Storm实现企业大数据平台的实时数据采集

很多企业投入大量的人力、物力和财力建设企业大数据平台，平台建设工作涵盖数据采集、数据处理、数据存储、数据服务、数据展示以及数据质量管理各个环节。
皮皮杂谈·2024-01-11 07:26

快来预约出行！浙江宁海“网约巴士”走出新思路，跑出市民新满意度

它以灵动、萌态十足的小巴士为载体，依托大数据平台及互联网+出行创新理念，将传统公交与动态拼车相结合，从而塑造出更灵活、更便宜、更便捷、更舒适的个性化出行服务体验，在贯彻公交便民惠民的服务中，也更好地满足了百姓的多元化出行需求
xinxunkandian·2024-01-10 23:24

2021-07-13

新一代工业互联网平台之二——极简工业大数据云平台架构大海_WH工业互联网1.技术架构极简工业云端大数据平台主要包括云端分布式大数据处理系统（数据处理）、WEB用户管理应用系统（建模分析）、小程序应用系统
大海WH·2024-01-10 16:55

案例分享 | 基于Linkis+DSS构建合合信息一站式数据开发平台

用户权限3.2引擎增强3.3作业调度3.4数据治理3.5IDS中一些小的功能改造点或应用项4.总结5.参考文档1.IDS的简介IntsigDataStudio（IDS）是上海合合信息科技股份有限公司，大数据平台基于微众
康月牙·2024-01-10 15:16

大创项目推荐 深度学习大数据物流平台 python

文章目录0前言1课题背景2物流大数据平台的架构与设计3智能车货匹配推荐算法的实现**1\.问题陈述****2\.算法模型**3\.模型构建总览**4司机标签体系的搭建及算法****1\.冷启动**2\.
laafeer·2024-01-10 04:29

面向应用的离线计算系统：周期任务&组合策略

而大数据平台通常是调度平台系统，和业务系统是两个独立的平台系统，如何建立交互方式。业务有个性化的实验策略，需要组合业务条件达到实验效果。比如捞取不同的数据实验算法策略。
乘风踏羽·2024-01-09 08:17

大数据平台比较-CDH、HDP、CDP

ApacheHadoop与CDH、HDP的比较一、Hadoop版本综述不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）Cloudera版本（Cloudera’sDistributionIncludingApacheHadoop，简称CDH）Hortonworks版本(HortonworksDataPlatform，简称HDP
Sql强·2024-01-09 07:24

流式湖仓增强，Hologres + Flink 构建企业级实时数仓

实时计算在企业大数据平台的比重也在不断提高，部分行业已经达到了50%。Hologres+Flink通过众多的丰富企业级能力，替换开源复杂的各类技术组件，减少多种技术栈学习、多种集群运维、
Elivis Hu·2024-01-08 22:52

Selenium 遇见伪元素该如何处理？

前言问题发生在很多前端页面中，大家会见到很多：:before、::after元素，比如【百度流量研究院】：比如【百度疫情大数据平台】：以【百度疫情大数据平台】为例，“累计确诊”文本并没有显示在HTML源代码中
明月与玄武·2024-01-08 13:51

大数据 Yarn - 资源调度框架

Yarn并不是随Hadoop的推出一开始就有的，Yarn作为分布式集群的资源调度框架，它的出现伴随着Hadoop的发展，使Hadoop从一个单一的大数据计算引擎，成为一个集存储、计算、资源管理为一体的完整大数据平台
善守的大龙猫·2024-01-08 10:48

【技术问题】CDH无法下载之后

很多以前的文章、书籍中提到CDH大数据平台，都是会引用Cloudera官网下载地址，例如：https://archive.cloudera.com/p/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-clo
yestolife123·2024-01-08 08:14

【期末网页设计】基于HTML学生信息管理系统网页项目的设计与实现

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
程序员-html网页设计·2024-01-08 04:09

深圳内推 | 腾讯大数据平台混元AIGC团队招聘文生3D方向算法实习生

合适的工作难找？最新的招聘信息也不知道？AI求职为大家精选人工智能领域最新鲜的招聘信息，助你先人一步投递，快人一步入职！腾讯腾讯混元大模型是由腾讯全链路自研的实用级大模型，拥有超千亿参数规模、预训练语料超2万亿tokens，具备强大的中文创作能力，复杂语境下的逻辑推理能力，以及可靠的任务执行能力。腾讯已将大模型技术深度应用到多个业务场景中，包括腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾
PaperWeekly·2024-01-08 02:08

城市地质大数据平台

2019年，自然资源部办公厅印发了关于《智慧城市时空大数据平台建设技术大纲（2019版）》的通知，要求加快推进智慧城市时空大数据平台建设工作，做好与其他智慧城市建设项目的衔接，为城市管理提供一张底板、一个平台
giself·2024-01-07 22:42

大数据平台数据治理与建设方案：PPT全文90页，附下载

关键词：数据治理，大数据，数据治理平台，数据治理顶层设计，大数据治理，数据治理建设一、数据治理建设需求分析1、业务需求和目标：首先，明确业务需求和目标是非常重要的。数据治理项目需要满足业务的需求和目标，例如提高决策效率、优化业务流程、提升数据安全性等。了解业务需求和目标有助于确定所需的数据类型、数据来源和数据使用者，以及数据的精度、可靠性、安全性等方面的要求。2、数据源和数据使用者：确定组织内的数
方案365·2024-01-06 17:23

【十年磨一剑】我们能从阿里架构师的身上学到什么？

和大家介绍下我目前所从事的工作：我目前从事分布式服务架构的设计与开发工作，在阿里的大数据平台上进行应用程序开发。我们整个系统架构采用了“前后端分离”的思想，前端关注数据展现，后端关注数
java成功之路·2024-01-06 09:40

轻量级云原生大数据平台“CloudEon“正式开源

随着云原生技术的发展，越来越多的业务场景需要使用容器来部署和管理应用程序，而Kubernetes作为容器编排平台的事实标准，自然也受到了越来越多的关注和使用。但是如果想在Kubernetes上部署和运维大数据服务是有比较高的学习成本，需要专业的运维人员来进行管理和维护，在这种情况下，我们开发出CloudEon平台，致力于简化多种大数据服务在Kubernetes上的部署和管理，同时还能更好地利用Ku
愛吃枸杞的路星河·2024-01-06 05:18

企业级大数据安全架构（一）平台安全隐患

作者：楼高引言当谈到企业级大数据平台时，安全性是一个至关重要的方面。随着数据规模的不断增长和信息的敏感性，大数据平台面临着多种安全隐患，需要得到充分的关注和解决，以确保其在生产环境中可靠可用。
云掣YUNCHE·2024-01-05 15:03

2022年第十三届中国数据库技术大会（DTCC2022）-核心PPT资料下载

一、峰会简介本届大会以“数据智能价值创新”为主题，设置2大主会场，20+技术专场，邀请超百位行业专家，重点围绕时序数据库、图数据技术、实时数仓技术与应用实践、云原生数据库、大数据平台与数据安全等内容展开分享和探讨
百家峰会·2024-01-05 14:25

大数据平台Bug Bash大扫除最佳实践

为此，大数据平台部门组织了一次BugBash活动，既能提升自己对兄弟产品的理解和使用，又能促使自家产品功能日趋完善。今天来给大家分享一些实际操作过程和经验总结~二、什么是BugBash？
京东云技术团队·2024-01-05 11:12

html在线阅读小说网页制作模板 小说书籍网页设计 大学生静态HTML网页源码 dreamweaver网页作业 简单网页课程成品

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
STU网页设计与制作·2024-01-05 00:29

手把手教你，Selenium 遇见伪元素该如何处理？

前言问题发生在很多前端页面中，大家会见到很多：:before、::after元素，比如【百度流量研究院】：比如【百度疫情大数据平台】：以【百度疫情大数据平台】为例，“累计确诊”文本并没有显示在HTML源代码中
自动化测试老司机·2024-01-04 17:35

Linux集群组件启停查脚本

大数据平台中涉及很多集群，如果你使用的不是CDH、Ambari等集成版工具，而是自己去部署的源生组件集群，那可能需要简单的脚本去启动、停止、查看状态。这里以zookeeper为例，起一个简单的。
碼小白·2024-01-03 13:31

2021-12-29

据国家邮政局快递大数据平台实时监测数据显示，今年12月12日
190348b28eff·2024-01-02 19:22

Spark内容分享(二十四)：Apache Spark 在爱奇艺的应用实践

目录ApacheSpark在爱奇艺的现状Spark计算框架应用优化SparkSQL服务的落地与优化总结与展望ApacheSpark在爱奇艺的现状ApacheSpark是爱奇艺大数据平台主要使用的离线计算框架
之乎者也··2024-01-02 18:56

sqoop（DataX）-MySQL导入HIVE时间格问题

这里写自定义目录标题问题1：测试MySQL数据信息HIVE数据信息hive中用parquet（orc）列式文件格式存储解决方法问题2：解决方法问题1：用公司的大数据平台（DataX）导数，已经开发上线一个多月的一批报表
浊酒南街·2024-01-02 15:02

大数据平台与架构笔记

快捷键CTRL+alt+T==打开终端ctrl+shift+esc==打开任务后台~==/home/用户名Linux简单命令clear清屏ls查看cd..cd./当前目录cd/根目录mkdir创建目录mkdir目录名mkdir-p目录名//创建多级目录rm删除文件目录rm-r目录名//删除目录及目录下的内容rm文件名//删除文件rmg*rm*cat把文件内容回显到终端cat./文件名cp复制文件t
Area_J·2024-01-02 14:25

SDG大数据平台简介

（摘自百度）SDG大数据平台，围绕零饥饿、清洁饮水和卫生设施、可持续城市和社区、气候行动、水下生物、陆地生物等6个目标，面向公众、科研人员、决策者三类典型场景，提供“一站式”数
角砾岩队长·2024-01-02 08:20

最In干货大赏，SDCC 2017·深圳站完整版日程大放送

拥有互联网应用架构实战峰会、大数据技术实战峰会两大峰会，秉承干货实料的内容原则，邀请业内顶尖的架构师和数据技术专家，共话高可用/高并发/高性能的系统架构设计、分布式缓存服务、WebApp前端架构、消息引擎架构、弹性计算、大数据平台构建
仲培艺·2024-01-02 07:00
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他