大数据系统

大数据测试之大数据系统及特点

一、大数据系统简介扫健康码了没？相信大家每天都会不厌其烦地听到这种询问。支付宝付款，相信大家也是每天都在扫码付款，这已经成为了生活的一部分。这些能产生非常巨量数据的应用系统，我们称之为大数据系统。
千锋IT教育·2023-10-21 10:10

大数据开发实战教程目录

大数据开发实战教程目录一、课程性质、目的和任务本课程目的是让学生了解并掌握四个领域（1）大数据系统的起源及系统特征（2）大数据系统的架构设计及功能目标设计（3）大数据系统程序开发、企业大数据案例分析的内容利用真机实验环节以及大数据实训一体机来提升学生对大数据开发的实践能力
AI_Bao·2023-10-20 08:51

重磅！海云安联合深圳大学共同举行“人工智能联合实验室”揭牌仪式

2023年10月17日，大数据系统计算技术国家工程实验室-深圳海云安网络安全技术有限公司人工智能联合实验室(以下简称“联合实验室”)揭牌仪式在深圳大学致真楼图灵会议室举行。
海云安·2023-10-19 16:23

大数据 | 实验一：大数据系统基本实验 | MapReduce 初级编程

文章目录实验目的实验平台实验内容编程实现文件的合并和去重编程实现对输入文件的排序对指定的表格进行信息挖掘实验目的1）通过实验掌握基本的MapReduce编程方法。2）掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。实验平台1）操作系统：Linux；2）Hadoop版本：3.2.2；实验内容编程实现文件的合并和去重packagehdfs;importjava.
啦啦右一·2023-10-18 14:28

大数据处理框架技术，你了解了多少？

本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信
yoku酱·2023-10-13 00:15

软考高级架构师下篇-18

大数据利用过程4.大数据处理系统架构分析3.典型的大数据架构1.Lambda架构2.Kappa架构3.Lambda架构与Kappa架构的对比4.大数据架构的实践1.大规模视频网络2.广告平台3.公司智能决策大数据系统
拒绝冗余·2023-10-10 21:49

大数据系统架构-Hadoop生态系统

Hadoop是较早用于处理大数据集合的分布式存储计算基础架构，通过Hadoop，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的为例执行告诉运算和存储。简单来说，Hadoop是一个平台，在它之上，可以更容易地开发和运行大规模数据的软件。01Hadoop概述Hadoop体系也是一个计算框架，在这个框架下，可以使用一种简单的编程模式，通过多台计算机构成的集群，分布式处理大数据集。
小成小成小成·2023-10-10 02:08

大数据架构设计（四十五）

大数据复杂性、不确定性特征描述和刻画方法以及大数据系统建模。数据易构性与决策易购性的关系。
后端从入门到精通·2023-10-06 10:20

大数据平台

大数据平台定义1.大数据平台，顾名思义就是整合网站应用和大数据系统之间的差异，将应用程序产生的数据导入到大数据系统，经过处理计算后再导出给应用程序使用。
Movle·2023-10-06 07:46

大数据系统的学习路径、思维导图

附Java/C/C++/机器学习/算法与数据结构/前端/安卓/Python/程序员必读书籍书单大全：书单导航页（点击右侧极客侠栈即可打开个人博客）：极客侠栈①【Java】学习之路吐血整理技术书从入门到进阶最全50+本（珍藏版)②【算法数据结构+acm】从入门到进阶吐血整理书单50+本（珍藏版)③【数据库】从入门到进阶必读18本技术书籍网盘吐血整理网盘(珍藏版)④【Web前端】从HTML到JS到AJ
python算法小白·2023-09-27 18:02

大数据测试

功能性测试大数据功能主要涉及系统实现面向大数据分析应用的POSIXAPI，包括文件读取与访问控制，元数据操作，锁操作等功能；大数据分析系统的POSIX语义不同，实现的文件系统API也不同，功能测试要覆盖到大数据系统涉及实现的
Twins_zuoyou·2023-09-25 05:59

大数据开发工程师的面试题

大数据开发工程师的面试题通常包括：1.对大数据技术的理解；2.如何使用Hadoop构建大数据系统；3.如何使用MapReduce来处理大数据；4.如何使用Spark分析大数据；5.如何使用NoSQL数据库构建大数据系统
高天艳阳·2023-09-24 08:00

使用 Databend 加速 Hive 查询

澳门科技大学在读硕士，Databend研发工程师实习生ApacheOpenDAL(Incubating)CommitterPsiACE(ChojanShang)·GitHub随着架构的不断迭代和更新，大数据系统的查询目标也从大吞吐量查询逐步转移转向快速的交互式查询
Databend·2023-09-23 03:27

tp5 php ES的使用

本解决方案是基于Mysql数据库、Hadoop生态（可选）、ElasticSearch搜索引擎三大数据系统实现一个分布式全文搜索系统。主要包括数据接入、数据索引和全文搜索3个模块。
.海上月·2023-09-21 11:14

Hadoop技术生态简介

Hadoop可以说是第一代大数据技术框架的主流选择，很多早期开始搭建大数据系统平台的企业，都是从Hadoop
会飞的鱼go·2023-09-20 11:56

众智引领未来：2023中国高校计算机大赛——大数据挑战赛冠军揭晓

8月27日，由清华大学和大数据系统软件国家工程研究中心联合举办，云智慧协办的“2023中国高校计算机大赛——大数据挑战赛”（以下简称“大赛”）以“线下答辩+全球直播”的形式完美落幕。
·2023-09-19 22:22

2023中国高校计算机大赛热度再刷新：2100+参赛队伍，获超480所国内知名高校关注！

近日，由清华大学和大数据系统软件国家工程研究中心联合举办，云智慧协办的“2023中国高校计算机大赛——大数据挑战赛”（以下简称“大赛”）完成了初赛阶段比赛，进入到复赛阶段。
·2023-09-19 22:51

Benchmarking Big Data Systems: A Review阅读笔记

论文原文链接摘要随着大数据系统近年来的飞速发展，各种开源的基准测试被设计出来比较和评估这些系统的性能，并促进了他们性能的提升。文章首先给出了流行的benchmark的总览。
Yuanzhe_Hao·2023-09-16 11:33

大数据对教育行业重要作用有哪些？

若教育工作者广泛采用大数据系统，能够将学习过程提高到一个新水平。教育要求不断变化，需要更新现有实践并提供额外的资源。大数据正在以新颖的方式塑造教育部门。大数据是制定更快更好的决策的关键。
我想去吃ya·2023-09-15 17:33

kafka学习一：原理和概念

在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用（消息）和离
健康平安的活着·2023-09-15 10:17

官方收视数据发布，《余生》仅排第六，第一名众望所归

对比其他网站公布的数据，无疑中国视听大数据官方微博更具有权威性，因为他的数据来自国家广播电视总局节目收视综合评价大数据系统。接下来就让我们看看这个榜单。
娱记新资·2023-09-11 16:23

本是同根生-双数据库集群keepalived virtual_route_id冲突导致连接故障

项目场景：一企业近期陆续开始升级办公与大数据系统，新的承包商。原有的数据库是某国内大品牌A，现在新的功能准备陆续迁移到大品牌B上。系统部署后，A依旧承担比较轻松的财务、仓库管理，B承担实时的线上业务。
丁劲犇·2023-09-11 13:06

《阿里大数据之路》读书笔记：第三章 数据同步

应用场景：同类型不同集群数据库之间的数据同步主数据库与备份数据库之间的数据备份主系统与子系统之间的数据更新不同地域、不同数据库类型之间的数据传输交换大数据系统中的数据同步数据从业务系统同步进入数据仓库数据从数据仓库同步进入数据服务或数据应用一
蓦然_·2023-09-10 17:14

以赛促学！2023 中国高校计算机大赛大数据挑战赛圆满收官

本次大赛由清华大学和大数据系统软件国家工程研究中心联合举办，云智慧（北京）科技有限公司协办，上海和今信息科技有限公司（下简称“和鲸科技”）提供竞赛平台支持。
ModelWhale·2023-09-09 08:15

人民日报：多挖掘大数据“富矿”崔斌课题组在大数据中取得重要进展

通过安装在角落的传感器，对整个城市的节能减排进行24小时监测；借助车流量监控和大数据系统，实现红绿灯变换时间的动态调整……海量信息转化为决策资源，大幅提升着城市的精细化管理水平，打造出更加智慧、智能的政府和城市
慕苏zy·2023-09-08 17:16

大数据实验一：大数据系统基本实验（第四部分：NoSQL和关系数据库的比较）

一、实验目的1）理解4种数据库（MySQL、HBase、Redis和MongDB）的概念及不同点。2）熟练使用4种数据库操作常用的shell命令。3）熟悉4种数据库操作常用的JavaAPI。二、实验平台1）操作系统：Linux（Ubuntu18.04）；2）Hadoop版本：2.9.0；3）MySQL版本：5.7.28；4）HBase版本：1.2.6；5）Redis版本：4.0.8；6）MongD
EGNIR·2023-09-05 07:36

大数据实验一：大数据系统基本实验（第五部分：MapReduce初级编程）

1）编程实现文件的合并和去重对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件C。importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.ha
EGNIR·2023-09-05 07:05

说说Lambda架构

Marz在Twitter工作期间开发了著名的实时大数据处理框架Storm，Lambda架构是其根据多年进行分布式大数据系统的经验总结提炼而成。
学一次·2023-09-01 07:28

AI助乡行——点燃乡村振兴新引擎

在智慧农业中，人工智能技术可以通过信息感知、计算机视觉、智能决策、可视化大数据系统等，帮助农业更高效、更合理的利用农业资源，提高农业生
拓世AI数字人·2023-08-31 14:54

途牛科技与火山引擎数智平台合作 打造企业大数据系统“降本”新范式

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近日，南京途牛科技有限公司与火山引擎数智平台（VeDI）的合作获得新进展：途牛大数据系统全面迁移至火山引擎开源大数据平台
·2023-08-31 11:05

4、大数据系统组件

在对大数据系统有了个初步的理解后，明白了大数据系统的架构其实是各不相同的，都是根据企业各自的需求来选择相应的组件构成自己的系统，那么常用的组件有哪些呢？它们分别的作用是什么呢？
朗如行玉山_5b30·2023-08-30 16:08

众智引领未来：2023中国高校计算机大赛——大数据挑战赛冠军揭晓

8月27日，由清华大学和大数据系统软件国家工程研究中心联合举办，云智慧协办的“2023中国高校计算机大赛——大数据挑战赛”（以下简称“大赛”）以“线下答辩+全球直播”的形式完美落幕。
·2023-08-30 14:03

数据仓库总结

数据成本：减少不必要的数据冗余，实现计算结果数据复用，降低大数据系统中的存储成
袁奎·2023-08-30 08:27

Apache Arrow - Parquet存储与使用

简介Parquet是一种高效的列式存储格式，广泛用于大数据系统中的数据仓库和数据管理工具中，旨在提高数据分析的性能和效率，能够更好地支持数据压缩和列式查询，同时兼顾读写速度和数据大小初衷为了让Hadoop
·2023-08-29 18:48

Hadoop完全分布式安装，全网最详细！

大数据系统开发一、CentOS7系统安装1、新建虚拟机2、编辑虚拟机参数3、安装操作系统3.1开启虚拟机3.2选择installCentOS7白色字体显示，通过键盘的上下键进行选择然后回车；3.3选择语言
正好.·2023-08-28 12:23

《企业大数据系统构建实战：技术、架构、实施与应用》一2.3　大数据制度和流程规范...

本节书摘来自华章出版社《企业大数据系统构建实战：技术、架构、实施与应用》一书中的第2章，第2.3节，作者吕兆星郑传峰宋天龙杨晓鹏，更多章节内容可以访问云栖社区“华章计算机”公众号查看2.3大数据制度和流程规范
weixin_33709219·2023-08-26 19:57

《企业大数据系统构建实战：技术、架构、实施与应用》——2.3　大数据制度和流程规范...

本节书摘来自华章计算机《企业大数据系统构建实战：技术、架构、实施与应用》一书中的第2章，第2.3节，作者吕兆星郑传峰宋天龙杨晓鹏，更多章节内容可以访问云栖社区“华章计算机”公众号查看。
weixin_33832340·2023-08-26 19:57

搭建测试mongodb副本集

简介(木有目录,建议去gitee看:https://gitee.com/xiaofeipapa/docker_mongodb)我司数据说多不多,说少不少,也到了搭个大数据系统的时候了.更何况我们系统最重要的环节
小肥爬爬·2023-08-24 17:46

数据湖是什么

数据湖(DataLake)是大数据系统中的一个重要概念,其主要特征是:1.集中存储所有原始数据数据湖试图存放所有可获得的原始数据,包括结构化数据、半结构化数据及非结构化数据。
diannao720·2023-08-24 09:09

管理一家餐饮店需要考虑哪些事情

餐饮连锁化的发展趋势越来越明显，需要考虑的不仅是单店运营问题，更要考虑供应链和大数据系统搭
DreamerShane·2023-08-24 02:56

途牛科技与火山引擎数智平台合作 打造企业大数据系统“降本”新范式

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近日，南京途牛科技有限公司与火山引擎数智平台（VeDI）的合作获得新进展：途牛大数据系统全面迁移至火山引擎开源大数据平台
·2023-08-23 12:52

从Hadoop到Spark，大数据技术发展概况

大数据从概念走向落地，得益于大数据技术的成熟，尤其是以Hadoop为代表的第一代大数据系统框架，为大数据在企业当中的现实落地，提供了稳固的技术支持，而随着大数据的发展，大数据技术也在更新迭代。
加米谷大数据张老师·2023-08-23 05:48

大数据学习的必备五大核心技术

大数据系统的技术庞大而复杂。基础技术包括数据采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等技术类别和不同的技术层次。
AydanLinux·2023-08-23 03:57

week32

本周目标：Belady现象的解释操作系统计组IO/MMchapter刷力扣ubuntu磁盘/网络/命令行进阶*1tarball之类的使用Question大数据系统实验要学吗？
Great_GNU&linux·2023-08-20 21:23

大数据营销公司到底有什么用？

现在各种大数据系统，软件，可谓花团锦簇的。所谓我也来凑了一个热闹。简单说，大数据就是基础数据，他这个不分行业，除非客户有行业需求，大数据起到两个作用，一个是聚集，一个分析。
超厉害的养乐多·2023-08-19 14:42

数仓建模方法论

成本：减少不必要的数据冗余，实现计算结果的复用，降低大数据系统中
浪尖聊大数据-浪尖·2023-08-17 12:51

2023中国高校计算机大赛热度再刷新：2100+参赛队伍，获超480所国内知名高校关注！

近日，由清华大学和大数据系统软件国家工程研究中心联合举办，云智慧协办的“2023中国高校计算机大赛——大数据挑战赛”（以下简称“大赛”）完成了初赛阶段比赛，进入到复赛阶段。
·2023-08-16 15:55

信息流广告投放

今天小编来讲讲信息流广告与大数据精准营销结合的投放步骤：1.找到精准用户与问题需求大数据精准营销中最大的特点就是可以精准的找到广告主的用户群体，在通过线下大数据采集，把广告主的潜在和已有客户的数据信息采集到，这些采集到的数据再通大数据系统的清洗去重
uiv_0b33·2023-08-13 21:12

Centos7.9编写分布式集群大数据系统_自启动脚本---Linux工作笔记058

由于为了方便,系统在启动的时候,设置成系统所有的,集群软件都自动启动,这样,可以减少,运维成本,要不然,这么多,工具,有的还不知道放到什么位置了,一个个去启动,非常麻烦.首先编辑:编辑这个文件:然后编辑这个文件,写上自己,自启动脚本的位置,然后保存:wq然后再给这个文件赋值上,执行权限,然后,重启以后,这脚本,我们设置在rc.local中的,就会自动执行了.然后后面是构建:启动脚本,的内容了:
脑瓜凉·2023-08-12 04:23

DWF低代码开发技术及其在数字化运营和运维平台建设中的应用

前言2019年以来清华大学软件学院、大数据系统软件国家工程实验室与云智慧合作，推进大数据系统技术和软件在智能业务运维领域的应用。
云智慧AIOps社区·2023-08-10 11:41
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他