大数据系统

阿里巴巴大数据系统体系架构

数据应用层：这是最顶层，面向不同的用户群体提供服务，包括对内（公司内部使用）、对平台（平台用户）、对商家（商家使用）、对公众（普通消费者）。数据服务与基础工具层：这一层提供了一些基础服务和工具，例如：OneService：可能是一种服务或工具，用于统一数据服务。TDDL+MySQL：TDDL是淘宝分布式数据层的缩写，与MySQL结合使用，提供数据库服务。HBase：一个分布式列存储系统，适合于存储
大连赵哥·2025-01-30 09:34

Mysql数据库和Sql语句

Mysql数据库和Sql语句一、Mysql数据库1、数据库：组织、存储、管理数据的仓库2、数据库的管理系统（DBMS）：实现对数据有效组织、管理和存取的系统软件3、数据库软件：mysql、oracle（大数据系统一般使用
Jessica小戴·2025-01-21 02:12

大数据测试

大数据测试主要测试的点涵盖了多个方面，以确保大数据系统能够正常运行并满足业务需求。
这不巧了·2024-09-07 10:32

《Hadoop核心技术》作者翟周伟 ：我与Hadoop的不解之缘

2009年，利用Hadoop构建商业级大数据系统，是国内该领域最早的一批人之一；负责设
xytlwp·2024-08-25 21:27

Spring Event如何优雅实现系统业务解耦、实现原理及使用注意项

比如，在当下移动端电商app进行注册账号操作，注册成功之后会发送短信、邮箱、站内信等通知，发放红包活动抵用券，推送用户注册信息给大数据系统进行数据分析以便后期个性化推荐等等。
奔向理想的星辰大海·2024-08-23 16:58

大数据开发（Kafka面试真题-卷一）

它在大数据系统中的角色是什么？2、请解释以下Kafka的工作原理和它与传统消息队列服务的不同之处？3、解释以下ApacheKafka的作用以及它与常见消息队列系统（如RabbitMQ）之间的区别？
Key-Key·2024-03-18 23:05

测试环境搭建整套大数据系统（三：搭建集群zookeeper，hdfs，mapreduce，yarn，hive）

一：搭建zkhttps://blog.csdn.net/weixin_43446246/article/details/123327143二：搭建hadoop，yarn，mapreduce。1.安装hadoop。sudotar-zxvfhadoop-3.2.4.tar.gz-C/opt2.修改java配置路径。cd/opt/hadoop-3.2.4/etc/hadoopvimhadoop-env.
宇智波云·2024-02-20 08:05

大数据测试

功能性测试大数据功能主要涉及系统实现面向大数据分析应用的POSIXAPI，包括文件读取与访问控制，元数据操作，锁操作等功能；大数据分析系统的POSIX语义不同，实现的文件系统API也不同，功能测试要覆盖到大数据系统涉及实现的
jinhm007·2024-02-06 17:53

降本增效利器！趣头条Spark Remote Shuffle Service最佳实践

1.业务场景与现状趣头条是一家依赖大数据的科技公司，在2018-2019年经历了业务的高速发展，主App和其他创新App的日活增加了10倍以上，相应的大数据系统也从最初的100台机器增加到了1000台以上规模
阿里云技术·2024-02-05 09:29

工业大数据系统与应用北京市重点实验室第一届 学术委员会第七次会议成功举行...

2月1日上午，工业大数据系统与应用北京市重点实验室第一届学术委员会第七次会议在双清大厦4号楼大数据系统软件国家工程研究中心2层会议室成功举行。
数据派THU·2024-02-03 19:16

测试环境搭建整套大数据系统（一：基础配置，修改hostname，hosts，免密，时间同步）

一：使用服务器配置。二：修改服务器名称hostname，hosts。在Linux系统中，hostname和/etc/hosts文件分别用于管理主机名和主机名解析。在三台服务器上，分别执行以下命令。vim/etc/hostnamexdso-hadoop-test-001vim/etc/hosts192.168.50.60xdso-hadoop-test-001192.168.50.61xdso-ha
宇智波云·2024-02-03 00:15

测试环境搭建整套大数据系统（二：安装jdk，mysql）

一：安装JDK参考https://blog.csdn.net/weixin_43446246/article/details/123328558二：安装mysql1.因为我们安装cdh6.3.2。cdh支持的是5.6和5.7版本的mysql。2.步骤wgethttps://downloads.mysql.com/archives/get/p/23/file/mysql-server_5.7.36-
宇智波云·2024-02-02 23:44

如何接手一个大数据项目

作为一个数据开发小白，如何接手公司内的大数据系统呢？
Mmj666·2024-01-30 15:19

大数据分析12大就业方向

他们的基础岗位分别是大数据系统研发工程师、大数据应用开发工程师、大数据分析师。对于求职者来说，大数据只是所从事事业的一个方向，而职
sissi52·2024-01-22 08:14

pyspark 结构数据处理

现在随着技术的更新，数据化实现越来越高效便捷，一整套大数据系统，至少需要从数据建模、技术选型、页面交互三方面实现。
haleyprince·2024-01-19 00:20

第27章 大数据系统测试

目录一、主要内容二、大数据概述1、大数据的定义2、大数据的特点三、大数据的测试策略1、大数据面临的挑战2、大数据质量检测的测试策略3、大数据测试流程4、大数据测试工具一、主要内容1、大数据概述2、大数据测试策略二、大数据概述1、大数据的定义是指无法在一定时间内用常规的软件工具来进行捕捉、管理和处理的数据的集合2、大数据的特点数据类型多样例如发一条微博可能是文字、图片、视频；也可能是语法连贯的、语法
是李黏黏鸭·2024-01-12 21:15

如何进行大数据系统测试

大数据系统常见的架构形式有如下几种：Hadoop架构：HadoopDistributedFileSystem(HDFS)：这是一种分布式文件系统，设计用于存储海量数据并允许跨多台机器进行高效访问。
Feng.Lee·2024-01-12 21:41

京东（天猫淘宝）数据分析工具-鲸参谋系统全功能解析——行业大盘、红蓝海市场、品牌分析、店铺分析、商品分析、竞品监控（区分自营和POP）

作为第三方电商数据平台，鲸参谋电商大数据系统能够为品牌方和商家提供包括行业趋势、热门品牌、店铺分析、单品分析在内的多个层面数据分析，帮助商家做出更加准确的经营决策，提升经营效率，实现精准营销。
jingcanmou_data·2024-01-10 13:58

数据不一、分段收视、强制跳台，大数据系统出台也难治行业乱象

文丨玖肆跨年演唱会是每年必不可少的跨年套餐。假唱、走调、设备故障、XXX救场……这是每年晚会同步直播时，网友们必定会在微博等社交平台讨论的话题，今年也不例外，从在十二月三十日领跑跨年演唱会的浙江卫视开始，杨颖跑调、朴树忘词、李荣浩笑场、延禧集体假唱、何炅话筒没声音、何炅救场等突发性的固定公式话题再度登上热搜，同样的问题以不同的形式发生在不同的人身上。但今年也新增了话题事件，比如前日蔡徐坤鹿晗灯牌b
清娱·2024-01-10 08:01

面向应用的离线计算系统：周期任务&组合策略

2问题2.1业务系统和大数据系统交互在大数据平台部署一个服务，接收业务系统的请求，转化为内部的一个调度任务。如果业务系统并发太多，不停提交到大
乘风踏羽·2024-01-09 08:17

Spark调优解析-spark数据倾斜优化2（七）

1数据倾斜优化1.1为何要处理数据倾斜（DataSkew）什么是数据倾斜对Spark/Hadoop这样的大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。何谓数据倾斜？
有语忆语·2024-01-05 12:53

【1230践行笔记】杜杜（795字）

我自己本职做的是会计，但是如果仅仅停留在做账报税的基础工作，我相信很快就会被取代，只要大数据系统的建立，从源头填个单子，其他部门的相关单子就可以直接出
小草杜杜·2024-01-04 09:22

用python抓取yarn和jstorm界面资源信息在grafana展示

背景：大数据系统分布式计算和存储强大功能推动了科技的进步，而在大数据运维过程中计算资源是时刻要关注的指标。
运维仙人·2024-01-04 07:29

上半年收视数据出炉，6部电视剧破2，剧王是孙俪主演的

国家广电总局广播电视节目综合评价大数据系统“中国视听大数据”公布了上半年电视剧收视情况，收视破2的电视剧共有6部。
windy天意晚晴·2023-12-28 17:47

云原生向量计算引擎 PieCloudVector：为大模型提供独特记忆

πDataCS以云原生技术重构数据存储和计算，「一份存储，多引擎数据计算」，让AI模型更大更快，全面升级大数据系统至大模型时代。
OpenPie｜拓数派·2023-12-16 12:34

新手入门：Spark 部署实战入门

Spark在整个大数据系统中处于中间偏上层的地位，如下图，对hadoop起到了补充作用：基本概念Fork/Join框架是Java7提供了的一个用于并行执行任务的框架，是一个把大任务分割成若干个小任务，
weixin_34256074·2023-12-15 07:27

关于新手入门：Spark 部署实战入门

Spark在整个大数据系统中处于中间偏上层的地位，如下图，对hadoop起到了补充作用：基本概念Fork/Join框架是Java7提供了的一个用于并行执行任务的框架，是一个把大任务分割成若干个小任务，
IT资讯科技·2023-12-15 07:18

大数据开发：Kafka消息存储到Broker的流程

消息经kafka引入到大数据系统平台，存储是一道重要的关卡。今天的大数据开发学习分享，我们就主要来讲讲Kafka消息存储到Broker的流程。
成都加米谷大数据·2023-12-04 23:34

大数据测试要点

功能性测试大数据功能主要涉及系统实现面向大数据分析应用的POSIXAPI，包括文件读取与访问控制，元数据操作，锁操作等功能；大数据分析系统的POSIX语义不同，实现的文件系统API也不同，功能测试要覆盖到大数据系统涉及实现的
代码墨白·2023-12-02 08:27

大数据下的密码技术挑战

采用了大数据技术的信息系统，称为大数据系统。大数据系统通常由大数据平台、大数据应用以及处理的数据集合构成，下图给出了大数据系统的模型。大数据系统构成大数据系统的特征是数据体量大、种类多、聚
yoku酱·2023-11-27 17:57

大数据技术之数据安全与网络安全——CMS靶场(文章管理系统)实训

数据与网络安全作为保障大数据系统正常运行的基石，同样备受关注。今天写博客时候发现自己很久没更新数
星川皆无恙·2023-11-26 06:21

Spark 数据倾斜及其解决方案

一、什么是数据倾斜对Spark/Hadoop这样的分布式大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。对于分布式系统而言，理想情况下，随着系统规模（节点数量）的增加，应用整体耗时线性下降。
沐白的微笑·2023-11-24 09:17

简墨的进化之路：打造大模型数据计算系统的云存储底座

πDataCS以云原生技术重构数据存储和计算，一份存储，多引擎数据计算，让AI模型更大更快，全面升级大数据系统至大模型时代。
OpenPie｜拓数派·2023-11-23 02:28

C++实现高频设计模式

面试能说出这几种常用的设计模式即可1.策略模式1.1业务场景大数据系统把文件推送过来，根据不同类型采取不同的解析方式。
Wind哥·2023-11-19 02:22

ApachePulsar原理解析与应用实践（学习笔记一）

大数据系统往往需要处理流式数据，通过消息队列将数据进行采集和汇总，然后导入大数据计算引擎或者存储。目前各种云原生技术都比较丰富，但是消息中间件MQ的云原生技术目前了解到的只有pulsa
坚持学习的Lele·2023-11-16 14:17

CNCC 2023收官，Milvus Cloud与行业大咖共话向量数据库系统

Zilliz受邀参与【智能时代的大数据系统】技术论坛。智能时代的到来，无疑给社会经济和日常生活带来了前所未有的冲击。
LCHub低代码社区·2023-11-16 05:06

一文深度解读阿里云CDN实时日志的前世今生：挖掘实时数据的无限价值 ...

12月26日，阿里云CDN实时日志服务举办线上直播发布会，全网首次深度解读阿里云CDN大数据系统技术演进、产品特性、应用场景与业务实操。CDN实时日志源起何处？阿里云CDN从2014年正式商业
weixin_33994429·2023-11-16 01:49

APUS与深圳大学大数据国家工程实验室联合训练开源中文大模型

日前，APUS与深圳大学大数据系统计算技术国家工程实验室（以下简称“国家工程实验室”）达成战略合作。
商业资讯汇·2023-11-15 22:03

大数据系统建模方法论简谈

1.根据业务需求构建总线矩阵--明确需求构建总线矩阵的目的：总线矩阵也是BI核心之一，基本上只要详细了解企业业务战略线就能得出总线矩阵，它对应着企业每一个业务单元，提取业务单元中的一致性维度和事实量值组组合成企业总线矩阵也就是多维分析模型；总线矩阵也是BI项目实施交付的必要成果之一，它与数据仓库的概念模型非常吻合。时间用户地区商品优惠券活动编码度量值订单√√√√件数/金额订单详情√√√√件数/金额
Vincer_DB·2023-11-13 16:30

《大数据系统与编程》MapReduce程序实现词频统计实验报告

MapReduce程序实现词频统计实验目的1）理解Hadoop中MapReduce模块的处理逻辑；2）熟悉MapReduce编程；实验平台操作系统：Linux工具：Eclipse或者IntellijIdea等JavaIDE实验内容1）在电脑上新建文件夹input，并input文件夹中创建三个文本文件：file1.txt,file2.txt,file3.txt。三个文本文件的内容分别是：file1.
学习使我哈皮！·2023-11-13 03:51

神策数据第七届“星斗奖”榜单今日公布！

本次评审会特邀北京信息化协会秘书长凌玲、北京市科委/中关村管委会企业促进中心主任徐剑、中国电子技术标准化研究院培训中心主任吴东亚、国家工业信息安全发展研究中心人工智能所副所长刘巍、中国软件评测中心副总工周润松、清华大学大数据系统国家工程研究中心总工王晨
神策数据·2023-11-12 07:31

SpringBoot入门-打印请求日志

在日志系统中打印请求信息是很有用的功能，在开发中可以方便调试，在生产中可以快速定位问题，同时这些日志信息可以同步给大数据系统进行数据挖掘与分析。
隐形喷火龙·2023-11-10 14:46

从分布式管理到多租户实现，企业级大数据系统如何利用开源生态构建？

大数据系统的应用领域首先回顾一下历史。从中我们可以看到一些趋势，在大数据生态发展的过程中，大数据系统的管理系统，大数据系统的安全，易用性，机器学习不断的补充到生态系统中来并不断完善。
weixin_33943836·2023-11-09 16:33

消费金融系统-回忆录

目录消费金融系统业务网关SS综合查询平台IQP单证平台SSP定价系统PMS营销管理系统MM交易渠道网关TC财务系统FA大数据系统ODX风控系统IRISK风控系统RMS风控系统RMFP客户信息系统CIS进件系统
每天的每一天·2023-11-08 10:25

一种基于动态水位值的Flink调度优化算法(flink1.5以前)，等同于实现flink的Credit-based反压原理

优化flink反压说明1flink反压介绍1.1介绍1.2大数据系统反压现状1.4flinktask与task之间的反压1.5netty水位机制作用分析2反压优化算法3重点！
Direction_Wind·2023-11-05 00:48

众智引领未来：2023中国高校计算机大赛——大数据挑战赛冠军揭晓

8月27日，由清华大学和大数据系统软件国家工程研究中心联合举办，云智慧协办的“2023中国高校计算机大赛——大数据挑战赛”（以下简称“大赛”）以“线下答辩+全球直播”的形式完美落幕。
云智慧AIOps社区·2023-11-03 20:24

Linux配置ntp时间服务器（全）

大数据系统内不同计算设备之间控制、计算、处理、应用等数据或操作都具有时序性，若计算机时间不同步，这些应用或操作或将无法正常进行。
With__Sunshine·2023-10-30 12:26

Linux下 配置NTP时间服务器

时间同步即是利用互联网络传送标准时间信息，实现大数据系统内时间同步。网络时间同步协议(NTP)是时间同步的技术基础。（一）确认ntp的安装1）确认是
Lil-Jay·2023-10-30 12:25

Spark踩坑记——初试

Spark在整个大数据系统中处于中间偏上层的地位，如下图，对hadoop起到了补充作用：基本概念Fork/Join框架是Java7提供了的一个用于并行执行任务的框架，
sysmedia·2023-10-29 18:51

TimFin金融数据系统开发-软件工程部分（springboot+vue）

timFin金融大数据系统开发（一）需求、原型设计、原型实现及代码细节虽然成品八成是个不落地的toy，但是这是本人第一次正经的软件工程实践基本思路是敏捷开发、基于构件的开发，不断抛弃原型prototype
TimTargaryen·2023-10-29 05:10
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他