大数据平台-架构基础第32页

中天钢铁在 GPS、AIS 调度中使用 TDengine

为了满足业务发展需求，我们需要新开发一套功能，对厂内每辆运输车辆的实时GPS位置进行追踪，通过大数据平台对GPS坐标进行处理、分析、可视化展

·2022-07-26 20:39

架构基础知识

一架构来源架构：人们对一个结构内的元素及元素间关系的一种主观映射的产物。最初来源于建筑行业，其所涉及的技术有：地基、整体结构、外观、供水系统、电系统、煤气系统、安全系统、网络系统等。架构师要把这些因素结合起来给施工者指导，同时也给客户一个整体远景图。二软件架构软件架构是软件系统的顶层结构，是对重复性业务的抽象和未来业务拓展的前瞻。架构目的决定应用架构的结构决定应用程序的处理方式三架构单位软件架构的

chengqiuming·2022-07-25 14:14

小海豚“变身”全新智能调度引擎，深入浅出在DDS的实践开发应用

王子健宇动源大数据平台开发工程师原搜狐畅游数据仓库开发工程师本次演讲主要包含四个部分

·2022-07-22 16:29

达梦dm8可视化工具_DM8(达梦8)数据库安装和使用

数据库入门及使用to达梦大学刘秀君原创,抄袭必究目录1介绍武汉达梦数据库有限公司成立于2000年，为中国电子信息产业集团(CEC)旗下基础软件企业，专业从事数据库管理系统的研发、销售与服务，同时可为用户提供大数据平台架构咨询

二师姐聊保险·2022-07-22 11:23

【重识云原生】第四章云网络4.8.3.1节——Open vSwitch简介

在传统的数据中心网络架构基础上，出现了一个新的、位于物理服务器内的接入层。

江中散人·2022-07-20 10:52

如何搭建云原生大数据平台的K8s底座

数据时代，企业如何让云原生大数据平台借力K8s以发挥最大价值，今天我们就跟着智

CSDN云计算·2022-07-19 07:52

数据湖存储的现状和趋势

有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。

公众号:肉眼品世界·2022-07-13 08:32

辨析数仓、大数据、数据中台的实质（内附21张架构图）

关于数仓、数据集市、数据湖、大数据平台以及数据中台，看到一篇从事21年的大佬写的文章分享，将这几者的本质和区别，结合自身经验，讲得偏僻入理，于是转来分享，希望对大家都有所感悟！

Jmayday·2022-07-13 08:36

从数据平台到报表开发，我靠这个零代码报表工具，转行后月薪3W

偶尔会跟大数据这行里的朋友聊天，先说一个我听到的故事：有一京东的哥们，在那工作三年了，大数据平台岗。数仓搭好了之后，天天就是写SQL，一个月28k。

Leo.yuan·2022-07-12 12:25

大数据只是听起来唬人?其实啥也不是。

这位同学在学校一直学习的是Java后端的工作，「然后现在做实时流平台，岗位是Java大数据，工作一年半了快，但是感觉大数据平台

王知无(import_bigdata)·2022-07-12 12:51

Spark 对战 OushuDB ！究竟是谁快出几十倍？

Hadoop生态系统经过多年的发展，已经在世界范围内广泛的采用，许多企业已经搭建了基于Hadoop生态圈的大数据平台，

·2022-07-12 10:05

软件架构设计-大型网站技术架构于业务架构融合之道——部分知识点总结【未完】

第二层：中间件与大数据平台中间件架构：分布式服务中间件、消息中间件、数据库中间件、缓存中间

jjyy2333·2022-07-08 22:53

首个先进级！阿里云大数据+AI平台通过信通院数据平台整体解决方案最高等级评测

该评测依据《集成化大数据平台能力分级要求》进行，共涉及10个能力域，44个能力项和577项技术要求。

·2022-07-08 11:35

数据仓库架构

Hadoop生态群及衍生技术慢慢走向“舞台”，Hadoop是以HDFS为核心存储，以MapReduce（简称MR）为基本计算模型的批量数据处理基础设施，围绕HDFS和MR，产生了一系列的组件，不断完善整个大数据平台的数据处理能力

Keven He·2022-07-04 12:53

苏宁6亿会员是如何做到精确快速分析的？

“随着苏宁业务的高速发展，大数据平台对海量的业务数据分析越来越具有挑战，尤其是在精确去重、复杂JOIN场景下，如用户画像、UV、新老买家、留存、流失用户等。

普通网友·2022-07-01 07:24

流批一体在京东的探索与实践

主要内容包括：整体思考技术方案及优化落地案例未来展望点击查看直播回放&演讲PDF一、整体思考提到流批一体，不得不提传统的大数据平台——Lambda架构。

·2022-06-30 16:06

日均 6000+ 实例，TB 级数据流量，Apache DolphinScheduler 如何做联通医疗大数据平台的“顶梁柱”？

作者|胡泽康鄞乐炜作者简介胡泽康联通（广东）产业互联网公司大数据工程师，专注于开源大数据领域，从事大数据平台研发工作鄞乐炜联通（广东）产业互联网公司大数据工程师，主要从事大数据平台的应用与引擎端开发01

·2022-06-30 16:05

密码协议与博弈论隐私计算

如何实现安全的数据流通，保护数据隐私并发挥数据的价值，支持多方的联合计算，是各大数据平台亟需解决的问题联邦学习作为一种加密分布式机

望舒向晚·2022-06-30 07:02

使用 Databricks 进行营销效果归因分析的应用实践【Databricks 数据洞察公开课】

作者：冯加亮阿里云开源大数据平台技术工程师本文介绍如何使用Databricks进行广告效果归因分析，完成一站式的部署机器学习，包括数据ETL、数据校验、模型训练/评测/应用等全流程。

·2022-06-22 18:28

使用Databricks+Mlflow进行机器学习模型的训练和部署【Databricks 数据洞察公开课】

作者：李锦桂阿里云开源大数据平台开发工程师ML工作流的痛点1.png机器学习工作流中存在诸多痛点：首先，很难对机器学习的实验进行追踪。

·2022-06-22 18:26

大数据毕业设计题目50例

大数据毕业设计题目1-10题1、“放管服”环境下科技政务大数据平台研究2、大数据对会计的挑战及其应对策略试析3、新疆畜牧业进入大数据时代4、大数据时代高校教学实效问题与路径选择5、大数据背景下互联网技术在泾阳县蔬菜种植农业供给侧结构性改革中的应用

love_java_code·2022-06-20 07:10

基于大数据平台的毕业设计

前言最近有很多人问我，大数据专业有什么好的毕设项目，我就简单的回复了一下。也有直接问我要源码的…所以就抽空写一写自己毕业设计的一个思路，大数据是我实习自学的，这个思路是我当初自己想的，就当做一份参考吧。在我毕业那年，同学们毕业设计大多都是以Java语言开发的各种管理系统、xx商城为主，包括我刚开始的想法也是这样的。这也是计算机专业很常见的毕业设计选题。这种选择的好处就是简单，网上模板多。动手能力强

叫我阿柒啊·2022-06-20 07:11

Java微服务与分布式的书,微服务分布式架构基础与实战：基于Spring Boot+Spring Cloud...

前言目前，SpringBoot+SpringCloud架构已经成为Java程序员的必备技能之一，刚开始学习时看到琳琅满目的Spring全家桶，可能会感到无从下手。如果只了解微服务中的各知识点，而忽略了以微服务分布式架构的方式学习系统的架构顺序，初学者可能就不知道如何使用微服务构建分布式系统。为了使读……第1章微服务分布式架构设计原理本章按照微服务分布式架构的顺序对其进行讲解，并以实例形式介绍如何编

weixin_39649405·2022-06-18 07:16

IEDA搭建Spring Cloud微服务项目架构(包含服务目录结构)详解_基础篇

微服务项目架构(包含服务目录结构)详解_基础篇文章目录IEDA搭建SpringCloud微服务项目架构(包含服务目录结构)详解_基础篇前言一、创建项目目录结构（项目服务总架构）1.项目配置Maven二、项目服务总架构基础上创建分支服务项

灰太狼yyds·2022-06-16 13:56

利用Python数据分析处理进行炒股实战行情

数据分析处理进行炒股实战行情目录本文主要介绍三部分：数据采集数据预处理利用SVM算法进行建模注:本文仅供参考借数据内容：包含股票、基金、期货、债券、外汇、行业大数据，同时包括了数字货币行情等区块链数据的全数据品类的金融大数据平台

政胤.·2022-06-15 12:59

大数据初步学习感悟

大数据是个很庞大的概念，设计的方方面面很多，自我感觉大数据入门有几方面必须要掌握的1、对于第一代大数据平台Hadoop的概念要了解，都有哪些模块，每个模块做什么的，以及了解hadoop的不足之处。

hongwei_chin·2022-06-13 12:57

基于vue + echarts 的大数据平台监控模板

左下角词云为3D动态旋转词云其他模块皆直接对接口即可附带下载地址：仿联想大数据监控评测平台-Webpack文档类资源-CSDN下载即下即用init(){consttags=document.querySelectorAll(".tag");constwrap=document.querySelector(".tag-wrap");letlen=tags.length;letvalueList=Ar

彭于晏之济南分宴.·2022-06-09 18:22

数智洞见｜银行业务暴增数据难支撑、难溯源、难协同？离线开发有妙招

自建的大数据平台使用弊端暴露早在2014年的时候，客户行内就成立了数据部门搭建了一套功能较为齐全，流程运转良好的数据平台体系。客户A采用GaussDB和Ora

数栈DTinsight·2022-06-07 18:29

Hive参数与性能企业级调优

Hive作为大数据平台举足轻重的框架，以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一。

五分钟学大数据·2022-06-06 11:00

AWS大数据三种经典玩法

目录前言1、AWS一站式大数据分析平台2、让人不得不喜欢的AWS优点：缺点：3、个人建议4、文章说明一、AWS大数据平台全家桶简介1、一首（数据源）2、一尾（数据应用）3、中间（大数据体系）3.1导入组件

他们叫我技术总监·2022-06-03 22:10

技术趋势-大数据架构

细数一下，大数据架构目前比较热的词包括：*数据湖、湖仓一体*批流合一、实时计算*存算分离、存储虚拟化*交易和分析融合，OLAP、HTAP、HSAP等等，基本上还是围绕大数据平台的存储和计算的两大主题。

舟行·2022-06-01 04:25

MaxCompute 公共云多租户设计的技术要点详解及产品实现特色

简介：公共云大数据平台在多租户的设计和实现方式上有所差异。本文主要介绍在公共云大数据平台的多租实现方案中需要考虑的问题和挑战，重点介绍了MaxCompute在计算和存储多租实现上的特点。

·2022-05-31 10:14

基于云服务MRS构建DolphinScheduler2调度系统

网上关于DolphinScheduler的介绍很多但是都缺少了与实际大数据平台结合的案例指导

华为云开发者社区·2022-05-28 11:00

蒋步星：轻量级大数据计算引擎

weixin_33670713·2022-05-28 03:30

QStreaming-轻量级大数据ETL开发框架

Lambda架构Kappa架构混合架构它们之间的区别如下：七牛的大数据平台在搭建过程中也经历了上面几个架构的变迁，也就是从最早的Lambda架构，到尝试使用Kappa架构，再到后面的新型混合ETL架构，

qq_21590139·2022-05-28 02:48

【技术干货】代码示例：使用 Apache Flink 连接 TDengine

除了核心的时序数据库功能外，TDengine还提供缓存、数据订阅、流式计算等大数据平台所需要的系列功能。

·2022-05-27 20:12

一文读懂云原生一体化数仓

云原生一体化数仓的发布背景1.市场情况IDC2021年的报告显示，2021年全球大数据软件市场规模达预计可达5414.2亿人民币，相比较2020年的4813.6亿元人民币，增长12.5%；2021年中国大数据平台软件市场规模预

阿里云技术·2022-05-27 07:22

海豚调度5月Meetup：6个月重构大数据平台，帮你避开调度升级改造/集群迁移踩过的坑

当今许多企业都有着技术架构的DataOps程度不够、二次开发成本高、迁移成本高、集群部署混乱等情况，团队在技术选型之后发现并不适合自己的需求，但是迁移成本和难度又比较大，甚至前团队还留下了不少坑，企业自有的开发能力又比较有限，导致后面的小伙伴上手难度高体验差。俗话说“工具选得好，下班回家早；调度用得对，半夜安心睡”，面对各种难点和痛点：如何有效地评估数据调度工具？如何平滑的过渡到ApacheDol

·2022-05-25 10:51

大数据平台技术栈

来源：https://www.jianshu.com/p/c688e47dae1d作者：georgeguo技术栈全貌大数据平台技术栈下面自底向上介绍各个层的主要项目。

超哥的杂货铺·2022-05-25 07:03

玩转集群配置中心，一文带你了解 Taier 控制台

课程视频回顾：Taier基础教程（二）：Taier1.1新功能详解&控制台介绍_哔哩哔哩_bilibili开源项目交流群：30537511（钉钉）开源项目地址：GitHub-DTStack/Taier:大数据平台

·2022-05-24 11:39

数字化浪潮来临，如何实现业务敏捷交付和科技持续治理？

BizStack向下衔接分布式架构基础设施，向上支撑中台应用和业务应用，在满足高性能、高可用、高可靠、可扩展等非功能需求的基础上，提供业务建模、架构治理、应用模板、服务编排低代码、中台开发运营等能力。

·2022-05-23 19:29

DTCC2014：钱岭：电信运营商大数据平台和应用实践

DTCC2014：钱岭：电信运营商大数据平台和应用实践在4月10日上午的《数据库技术探索》主题演讲中，来自中国移动研究院云计算系统部总经理助理钱岭先生，分享了关于《电信运营商大数据平台和应用实践》的相关话题

拟声的主扬·2022-05-20 13:19

钱岭：电信运营商大数据平台和应用实践

在4月10日上午的《数据库技术探索》主题演讲中，来自中国移动研究院云计算系统部总经理助理钱岭先生，为我们分享了关于《电信运营商大数据平台和应用实践》的相关话题，其中主要包括两个部分，电信运营商大数据面临的挑战和

gaokeke·2022-05-20 13:49

专访中国移动钱岭：大数据更像是一种“倍增器”

考虑到数据的价值，早在2013年，中国移动就开始了企业级大数据平台规划与建

AI科技大本营·2022-05-20 13:17

构建AR视频空间大数据平台（物联网及工业互联网、视频、AI场景识别）

本文主要介绍物联网及工业互联网、视频和AI场景识别构建AR视频空间大数据平台的简要方案。有技术、有产品、有方案。

iNeuOS工业互联网系统·2022-05-19 16:00

使用Databricks进行零售业需求预测的应用实践

作者：李锦桂阿里云开源大数据平台开发工程师本文从零售业需求预测痛点、商店商品模型预测的实践演示，介绍Databricks如何助力零售商进行需求、库存预测，实现成本把控和营收增长。

·2022-05-18 10:21

稳态和敏态_david_lv的博客-CSDN博客

很多人也不明白现在为啥流行那么多新技术：低代码开发平台、RPA、微服务架构、大数据平台...。很多中国企业说我们要微服务，我们要大数据平台。很多中国IT厂商也说自己就是微服务架构，就是大数据平台。

·2022-05-17 19:00

如何使用Delta Lake构建批流一体数据仓库

作者：李元健，Deltabricks软件工程师冯加亮，阿里云开源大数据平台技术工程师D

·2022-05-13 14:14

国内主流大数据平台对比

收集、分析和处理数据对于企业发展决策来说确实是非常有意义的事情，并且能够产生很大的社会、技术、经济价值。但更多的数据却不意味着更多的信息，甚至也不能代表从中能够获得更多的知识或者智慧。网络媒体对于“大数据”概念的炒作让很多并不真正懂得技术的人进入了大数据行业。一、大数据行业真实业态中国大数据网对于“大数据”的概念炒作发表了相关看法：“今天的真实业态：90%的大数据产品是伪需求，所以没人买单。”简单

·2022-05-06 10:52

【树图科技头条】 2022年5月5日星期四

【媒体动态】《CCTV13》朝闻天下报道了:青年文化大数据平台发布会，上海树图区块链研究院CTO伍鸣博士作为底层技术提供方出席发布会。4.【生态项目】淘

·2022-05-05 15:30

推荐频道

大数据平台-架构基础