大数据平台-架构基础

5118优惠码vip、svip、专业版和旗舰版使用yhm666

5118大数据平台会员优惠码【yhm666】，结算时勾选“使用优惠码”，然后在优惠码窗口中输入yhm666，然后点确定即可享受特价会员价格。
暴富程序员·2024-01-23 11:34

cdh6.3.2的hive配udf

背景大数据平台的租户要使用udf，他们用beeline连接，意味着要通过hs2，但如果有多个hs2，各个hs2之间不能共享，需要先把文件传到hdfs，然后手动在各hs2上createfunction。
zdkdchao·2024-01-23 07:02

大数据平台的硬件规划、网络调优、架构设计、节点规划

1.大数据平台硬件选型要对Hadoop大数据平台进行硬件选型，首先需要了解Hadoop的运行架构以及每个角色的功能。
小枫@码·2024-01-22 17:18

大数据平台软硬件规划

一.大数据集群节点规划1.HDFS集群节点规划假如业务系统数据量每天增量50T，保留周期30天，那么HDFS存储容量为50T*30天*3副本*2倍（数据源+清洗加工）=9000T=8.79P假如每个机器的磁盘是4T*10=40T，每台机器的可用存储容量为40T*0.75=30T，节点预估数量=9000T/30=300节点，所以datanode的节点最小数量为300个。2.YARN集群节点规划根据任
小枫@码·2024-01-22 17:17

现如今大数据交易的主要类型

从行业发展格局来看，2015年各地加速建立大数据交易平台，在目前大数据价值日益凸显的环境中，2016年或许仍会有不同类型的地方性大数据平台加入进来;而随着地方性大数据交易机构的增多，不同大数据交易机构的数据交易可能会出现
发源地大数据交易平台·2024-01-21 11:59

橙信通宁都县果品加工企业入网入云工作动员部署会召开！

宁都县果茶局局长宋小保、宁都县果茶局副局长赖树群、宁都县果茶局市场营销股股长张志春、橙信通赣南脐橙大数据平台供应链总监管永基、宁都县全部果品加工企业负责人，共计20余人出席会议。
橙信通大数据平台·2024-01-21 08:54

客户案例｜知名证券机构核心大数据平台升级之路

1项目背景在金融领域中，数据处理一直是IT系统中非常重要的一部分，证券发行、登记、托管、交易、结算的各个环节都有大量的数据产生。Hadoop作为海量数据处理的关键技术框架，自诞生以来就改变了企业对数据的存储、处理和分析的过程，因具备开源低成本、高可靠等特性，在证券行业得到了广泛的应用。某综合类证券机构，早年以Hadoop平台为基础，结合多种大数据处理技术，构建了大数据专用存储与处理系统。但随着实际
云掣YUNCHE·2024-01-21 01:17

阿里云 E-MapReduce 全面开启 Serverless 时代

EMR2.0平台阿里云正式发布云原生开源大数据平台EMR2.0已历经一年时间，如今EMR2.0全新平台在生产上已经全面落地，资源占比超过60%。
Apache Spark中国社区·2024-01-20 12:22

CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享

阿里云研究员、开源大数据平台负责人王峰，分享了”阿里
Apache Spark中国社区·2024-01-20 12:51

程序员必备的面试技巧——大数据工程师面试必备技能

目录前言一、不同工程师的职责和技能要求1、数仓开发工程师2、算法挖掘工程师3、大数据平台开发工程师4、大数据前端开发工程师二、大数据技术架构图三、大数据相关的技术内容四、大数据面试经验1、大数据开发岗位
Francek Chen·2024-01-20 11:22

数据中台到底是什么？

跟大数据平台是什么关系？在架构层面是怎么体现的？数据中台跟产品又有什么关系？
治理之路·2024-01-19 11:23

智算让大模型触手可及

本文整理自2023年12月20日举办的「2023百度云智大会·智算大会」主论坛，百度智能云AI与大数据平台总经理忻舟的主题演讲《智算让大模型触手可及》。
百度Geek说·2024-01-19 07:27

一站式大数据平台XSailboat简介--Hadoop、Hive、Flink、DataStudio、数据服务、API网关、认证中心、数据可视化、离线分析、实时计算、应用引擎等

1.引言从2021年年底开始，笔者带领一个微型团队开始开发我们的大数据平台XSailboat，目前已经初步具备实用化条件，产品将持续性地开发、完善、迭代升级。
OkGogooXSailboat·2024-01-19 06:26

Jackson标签的高阶使用样例--多继承/子类、对象id、JsonIdentityInfo、JsonTypeInfo、JsonSubTypes

1.背景最近笔者在开发大数据平台XSailboat的数据资产目录模块。它的其中一个功能是能定义并查看资产数据。我们支持的资产类型不仅有关系数据库表，也支持Kafka主题，hdfs上的文件等。
OkGogooXSailboat·2024-01-19 06:19

构建高效数据生态：数据库、数据仓库、数据湖、大数据平台与数据中台解析_光点科技

本文将深入探讨数据库、数据仓库、数据湖、大数据平台以及数据中台的功能和价值，帮助您构建一个符合自身业务需求的高效数据生态系统。
光点数据治理·2024-01-18 12:24

情报研判分析系统开发，可视化大数据研判平台建设

情报研判分析系统功能：1、大数据多维度预测分析：通过大数据平台和算法对历史数据
d13823153201·2024-01-18 12:08

公安情报大数据分析研判平台建设解决方案，情报信息平台建设

公安情报大数据分析研判平台建设解决方案，情报信息平台建设公安情报大数据分析研判平台建设解决方案，通过构建汇聚公安内部各警种部门和公安外部单位各类社会数据的大数据平台，以公安数据业务为基础、情报需求为主导
d13823153201·2024-01-18 12:37

Flink的ListState在小规模场景下的缓存提速和接口优化丰富的实践

1.背景笔者的大数据平台XSailboat中包含以DAG方式可视化的离线分析和实时计算的开发、运维功能。
OkGogooXSailboat·2024-01-17 18:36

Aviator表达式扩展--数组、列表负向序号索引以及自己的JSON库支持方括号([])赋值

1.背景笔者开发的大数据大数据平台XSailboat中的DataStudio模块包含基于DAG图的实时计算可视化开发功能，实现了Flink计算任务的可视化开发（想要了解更多，可以查看《Flink的DAG
OkGogooXSailboat·2024-01-17 18:36

关于Flink在一条计算管道中配置流和数据流通过广播方式合流的情形下，无保存点和检查点重跑时，让配置流先行，数据流等延迟几秒再进入合流节点的思考

1.背景笔者带领的团队在自研的大数据平台XSailboat上进行专家策略规则的计算管道开发时，遇到这样一种情形：计算管道中存在一条配置流和数据流通过广播方式合流的情形。
OkGogooXSailboat·2024-01-17 18:36

本地运行Flink退出时java.nio.file.DirectoryNotEmptyException、目录没有正常删除解决方法

1.背景在开发大数据平台XSailboat中的查看Flink任务的状态数据工具时，用StateProcessAPI解析保存点数据，将其从HDFS上读取出来再将其解析过后下沉到HDFS以CSV格式保存，然后由其它接口提供对这个文件的分页加载功能
OkGogooXSailboat·2024-01-17 18:05

Flink的Reduce算子，Name-Position形式的Row数据在使用保存点/检查点重新启动的时候，变成了Position-Based形式的Row解决

1.背景大数据平台XSailboat提供了基于ApacheFlink的实时计算管道开发功能。DataStudio的实时计算管道开发功能中提供了分区规约节点(keyBy+reduce)。
OkGogooXSailboat·2024-01-17 18:05

数据标签设计 -- 大数据平台(XSailboat)的数据标签模块

原先就有在大数据平台XSailboat中增加“数据标签”模块的设想，现在有这样的需求，正好趁此机会将其实现。
OkGogooXSailboat·2024-01-17 18:35

基于大数据平台(XSailboat)的计算管道实现MySQL数据源的CDC同步--flink CDC

1.背景笔者在先前的一篇文档《数据标签设计–大数据平台(XSailboat)的数据标签模块》提到了关于数据标签的模块，现已实现并应用于项目中。
OkGogooXSailboat·2024-01-17 18:05

StreamX流批一体一站式大数据平台：大数据Flink可视化工具的革命性突破，让你的数据更高效、更直观！

介绍：StreamX，开源的流批一体一站式大数据平台，致力于让Flink开发更简单。它极大地降低了学习成本和开发门槛，使开发者可以专注于最核心的业务。
知识分享小能手·2024-01-17 12:15

智慧校园大数据平台业务系统介绍

常见业务系统以下是智慧校园常见的业务系统。这是某个智慧校园业务系统的数据流情况，我们可以发现业务系统和数据中心并未完全数据交互共享，因此我们在规划建设智慧校园大数据时需要协调各个职能部门的资源确认业务系统的数据接口。同时由于各个业务系统之间数据不统一，我们在采集数据过程中还需进行数据转换，转换成我们所需的数据格式，这些都带来大量的工作量。学校业务系统的数据类型和属性很多，有数百种。我们进行数据的归
shawn_song1212·2024-01-17 11:02

智慧校园大数据平台功能模块

学校概况模块智慧校园大数据平台的“学校概况”模块，主要给学校和院系领导使用，能够从宏观、全局把控学校教学、管理、科研、资产等各个方面的整体情况，可以预测学校的发展趋势并且给出决策建议。
shawn_song1212·2024-01-17 11:02

智慧校园大数据平台概述

背景2015年是中国的智慧校园大数据元年，政府、企业、学校、研究者、管理者、教师、社会公众等都开始关注智慧校园大数据，相关政策文件、研究机构、学术活动、市场产品等开始纷纷出现。然而，我国的智慧校园大数据研究与实践领域整体还处于起步探索阶段，是在“摸着石头过河”，涉及一系列关键问题亟待解决（如教育数据的自然采集、教育数据的安全管理与隐私保护、教育数据的无缝流转与开放共享、教育数据的深度挖掘以及学习分
shawn_song1212·2024-01-17 11:01

智慧校园大数据平台架构

平台架构基础硬件层基础硬件层是由一组低廉的PC或服务器组合构建而成。基础硬件层主要承载着数据的存储、运算、容错、调度和通信等任务，对基础应用层下达的指令进行执行和反馈。
shawn_song1212·2024-01-17 11:56

2022-06-22

同时大数据平台不光有采集信息的功能，还可以分析内容，让小区管理变得轻松，环境更安全。由此使得安防系统只能完成时间内的视频存储记录，仅可为事后分析提供证据。而其在事前预/报警的缺位，也让保平安
乐乐_ec94·2024-01-16 04:07

作业帮基于 DolphinScheduler 的数据开发平台实践

1.背景首先介绍下我们的大数据平台架构：数据计算层承接了全公司的数据开发需求，负责运行各类指标计算任务。
DolphinScheduler社区·2024-01-16 03:46

大数据平台计算层需要考虑的多种场景和对应的实现框架参考

如下图所示：大数据平台计算层数据处理是指对数据进行收集整理、组织、存储、维护、检索、传送等操作，该部分也是后续进行数据管理时的必要部分。数据处
皮皮杂谈·2024-01-15 04:19

2019组织架构变动（2）

这是2019年年初设定的组织架构，重点关注G端经营委员会下面的结构，当前的G端事业部的设置，除了市场部，品管部和运维事业部是职能组织，包含大部分人员的个税，社保，电子税务局，数据和大数据平台这5个事业部
人文CTO·2024-01-14 22:54

stm32 - 基础架构

stm32-基础架构基础架构外设概念系统结构引脚定义晶振工程基础架构外设概念NVIC（内核外设）SysTick（内核外设）其他是片上外设系统结构内核引出三条总线ICode指令总线：连接Flash闪存（编写的程序
aoaoGofei·2024-01-14 11:04

Linux下定位系统问题方法

说明：在大数据平台运维过程中，我们总会遇到系统硬件或软件的故障导致平台或应用出现异常的情况。这种情况下，我们就需要去定位系统故障点。下面是我再排查系统问题中常用的方法。
yinkp001·2024-01-14 06:40

html+eacher 100套数据大屏

私信即可获得源码001服务大数据可视化监管平台002水质情况实时监测预警系统003联心菜市场数据中心004政务大数据共享交换平台005可视化监控管理006全国疫情实时监控007惠民服务平台008兰州智慧消防大数据平台
TortyE·2024-01-14 05:10

腾讯实验平台基于 StarRocks 构建湖仓底座

作者：腾讯大数据平台部科学实验中心TechLead、专家工程师马金勇博士腾讯大数据平台部科学实验中心数据负责人、专家工程师胡明杰StarRocksContributor、腾讯高级工程师刘志行在2022年
StarRocks_labs·2024-01-13 13:53

实录分享 | 央企大数据平台架构发展趋势与应用场景的介绍

分享嘉宾：孟子涵-中国华能集团信息中心平台架构师2021年华能就与Alluxio建立了合作，共同写了整个华能统一纳管的架构方案。这个方案我认为是现在我们在央企里边比较核心的一套体系，能让全集团所有我们认为重要的数字化资源实现真正的统一集中，让存储、计算、数据、应用、技术能力，能够在全集团范围内最大化的流动起来，让大家最大化使用这些资源。活动详情https://link.zhihu.com/?tar
Alluxio·2024-01-13 11:59

web前端 html+css+javascript游戏网页设计实例 (网页制作课作业)

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
IT黑马程序员·2024-01-13 10:06

HTML5期末考核大作业：基于Html+Css+javascript的网页制作（化妆品公司网站制作）

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
STU学生网页设计·2024-01-13 10:06

大数据开发工程师需要具备哪些技能？

在回答这个问题之前，需要充分了解一下当前大数据的几个就业方向，可以参考下主流互联网行业的部门架构、职责和JD，大数据开发工程师，总体来说有这么几类，不同的公司叫法不一样：1、数仓开发工程师2、算法挖掘工程师3、大数据平台开发工程师
郑小柒是西索啊·2024-01-12 21:58

手把手教你，Selenium 遇见伪元素该如何处理？

前言问题发生在很多前端页面中，大家会见到很多：:before、::after元素，比如【百度流量研究院】：比如【百度疫情大数据平台】：以【百度疫情大数据平台】为例，“累计确诊”文本并没有显示在HTML源代码中
小码哥说测试·2024-01-12 02:50

使用Sqoop将Hive数据导出到TiDB

关系型数据库与大数据平台之间的数据传输之前写过一些使用Sqoop将数据在HDFS与MySQL互导使用Sqoop将SQLServer视图中数据导入Hive使用DataX将Hive与MySQL中的表互导使用
光于前裕于后·2024-01-11 19:26

赶快点击 | 立即生成涛思数据 2023 年终总结报告

在今年，最值得一提的大事件就是伴随着六月的网站改版，TDengine正式升级为高性能、分布式的物联网、工业大数据平台，提供可私有化部署的TDengineEnterprise以及全托管的物
涛思数据（TDengine）·2024-01-11 15:46

TDengine 公布 2023 年发展“成绩”，六大亮点引人瞩目

在今年，最值得一提的大事件就是伴随着六月的网站改版，TDengine正式升级为高性能、分布式的物联网、工业大数据平台，提供可私有化部署的TDengineEnterprise以及全托管的物
涛思数据（TDengine）·2024-01-11 15:16

【架构详细解读】

目录架构基础#如何理解架构的演进？#如何理解架构的服务化趋势？#架构中有哪些技术点？缓存#谈谈架构中的缓存应用？#在开发中缓存具体如何实现？#使用缓存的经验？限流#什么是限流？三种限流的算法？
奥耶可乐冰·2024-01-11 09:34

基于Flume、Kafka和Storm实现企业大数据平台的实时数据采集

很多企业投入大量的人力、物力和财力建设企业大数据平台，平台建设工作涵盖数据采集、数据处理、数据存储、数据服务、数据展示以及数据质量管理各个环节。
皮皮杂谈·2024-01-11 07:26

快来预约出行！浙江宁海“网约巴士”走出新思路，跑出市民新满意度

它以灵动、萌态十足的小巴士为载体，依托大数据平台及互联网+出行创新理念，将传统公交与动态拼车相结合，从而塑造出更灵活、更便宜、更便捷、更舒适的个性化出行服务体验，在贯彻公交便民惠民的服务中，也更好地满足了百姓的多元化出行需求
xinxunkandian·2024-01-10 23:24

2021-07-13

新一代工业互联网平台之二——极简工业大数据云平台架构大海_WH工业互联网1.技术架构极简工业云端大数据平台主要包括云端分布式大数据处理系统（数据处理）、WEB用户管理应用系统（建模分析）、小程序应用系统
大海WH·2024-01-10 16:55

案例分享 | 基于Linkis+DSS构建合合信息一站式数据开发平台

用户权限3.2引擎增强3.3作业调度3.4数据治理3.5IDS中一些小的功能改造点或应用项4.总结5.参考文档1.IDS的简介IntsigDataStudio（IDS）是上海合合信息科技股份有限公司，大数据平台基于微众
康月牙·2024-01-10 15:16
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他