大数据学习问题合集

比较Spark与Flink

ApacheSpark和ApacheFlink都是目前非常流行的大数据处理引擎，但它们在架构、处理模式、应用场景等方面有一些显著的区别。
傲雪凌霜，松柏长青·2024-09-11 04:29

Apache Flink：实时流处理与批处理的统一框架

导语在大数据处理领域，流处理和批处理是两种主要的处理方式。然而，传统的系统通常将这两者视为独立的任务，需要不同的工具和框架来处理。
小码快撩·2024-09-11 04:28

大数据平台（数据中台、数据中枢、数据湖、数据要素）建设方案

大数据平台（数据中台、数据中枢、数据湖、数据要素）建设方案大数据平台（数据中台、数据中枢、数据湖、数据要素）建设方案项目背景和目标项目背景项目目标建设原则与策略数据中台架构设计整体架构设计思路数据采集层数据存储层数据计算层数据服务层数据中枢功能实现数据治理功能数据资产管理功能数据安全管控功能数据服务总线功能数据湖存储与计算方案数据湖存储架构设计数据湖计算框架选择数据湖应用场景分析数据湖安全与合规性
数字化建设方案·2024-09-11 04:26

大数据分析与安全分析

大数据分析一、大数据安全威胁与需求分析1.1大数据相关概念发展大数据：是指非传统的数据处理工具的数据集大数据特征：海量的数据规模、快速的数据流转、多样的数据类型和价值密度低等大数据的种类和来源非常多，包括结构化
Zh&&Li·2024-09-11 03:21

数据中台建设方案-基于大数据平台(下)

数据中台建设方案-基于大数据平台(下)1数据中台建设方案1.1总体建设方案1.2大数据集成平台1.3大数据计算平台1.3.1数据计算层建设计算层技术含量最高，最为活跃，发展也最为迅速。
FRDATA1550333·2024-09-11 03:49

Python在金融大数据分析中的AI应用实战

随着人工智能时代的到来，Python作为一种功能强大的编程语言，在金融领域的大数据分析中扮演着日益重要的角色。
田野猫咪·2024-09-11 02:45

使用python实现微信小程序自动签到

学校：重庆财经职业学院学院：应用技术学院专业班级：大数据技术与应用05班名字：吴雨璇指导老师：张彤老师一：使用python实现微信小程序自动签到意义1.首先对于咱们的APP有很大的作用,那就是当用户点击签到以后
光头哥不光头·2024-09-11 02:43

Java Kafka生产者实现

推荐：「stormsha的主页」，「stormsha的知识库」持续学习，不断总结，共同进步，为了踏实，做好当下事儿~专栏导航Python系列:Python面试题合集，剑指大厂Git系列:Git操作技巧GO
stormsha·2024-09-11 01:09

CSP-J 算法基础 选择排序

选择排序的时间复杂度为O(n²)，不适合大数据集，但由于其实现简单，通常被用于教学和理解基本排
人才程序员·2024-09-10 23:26

大数据平台--调度系统

调度系统是数据仓库的重要组成部分，也是每个银行或公司一个基础软件或服务，需要在全行或全公司层面进行规划，在全行层面统一调度工具和规范，由于数据类系统调度作业较多，交易类系统批量优先级高，调度系统的整体架构如下：调度中心对调度批次和作业进行创建、管理、监控，它负责所有批量作业的调度和编排；在整个作业过程中，作业之间关系分为触发，依赖和互斥。1、触发触发关系表示一个作业完毕后，生成另一个作业的控制文件
小瓶盖的猪猪侠·2024-09-10 20:36

hutool获取大数据量的excel内容及sheet名称问题

读取大数据量的excel时代码如下privatestaticRowHandlercreateRowHandler(){returnnewRowHandler(){@Overridepublicvoidhandle
liu_qixiang·2024-09-10 18:54

惊喜！万博智云亮相2024数博会和第三届828 B2B企业节

摘要万博智云作为2024828B2B企业节铂金合作伙伴，在2024中国国际大数据产业博览会的828B2B企业节开幕式上亮相，并参加了本次828企业节的一系列活动，包括在华为展台现场开展的“‘云上大咖团’
万博智云OneProCloud·2024-09-10 17:35

020 现代数据中心的路由与交换架构

引言现代数据中心的设计必须兼顾高性能、高可用性和灵活性，以满足云计算、大数据、人工智能等应用的需求。在这样的背景下，数据中心的路由与交换架构设计显得尤为重要。
Network_Engineer·2024-09-10 16:03

【鼠鼠学AI代码合集#5】线性代数

在前面的例子中，我们已经讨论了标量的概念，并展示了如何使用代码对标量进行基本的算术运算。接下来，我将进一步说明该过程，并解释每一步的实现。标量（Scalar）的基本操作标量是只有一个元素的数值。它可以是整数、浮点数等。通过下面的Python代码，我们可以很容易地进行标量的加法、乘法、除法和指数运算。代码实现：importtorch#定义两个标量x=torch.tensor(3.0)#标量x，值为3
鼠鼠龙年发大财·2024-09-10 16:58

【专题】2024年中国AI人工智能基础数据服务研究报告合集PDF分享（附原数据表）

报告合集显示，2023年中国AI基础数据服务市场规模达到45亿元，且未来五年复合增长率有望达到30.4%。
拓端研究室·2024-09-10 11:03

2024最强流量卡推荐合集丨到底哪款最有性价比？

手机流量卡全国无限流量19元办理,近年来，随着手机的普及和互联网的快速发展，手机流量已经成为了现代人生活中必不可少的一部分。无论是在工作中还是在日常生活中，我们都离不开手机流量的支持。然而，手机流量套餐的价格却一直是人们关注的焦点。近日，一款名为“全国无限流量19元”的手机流量卡的上市，立即引起了广大用户的关注。☞大流量卡套餐「→点这免费申请办理」或关注微·信·公·众·号「卡泡泡」自助办理！据了解
全网优惠分享·2024-09-10 10:34

写作进阶课（八）：出书流程和市场分析

出版合集的书也可以加入作协。主流文学变现比较困难。2、网文出版（需要有流量）影响力比较大的网文才能出版，但是网文比较容易变现。网文要日更六千字，保证日更才能做到变现。网文网站一般有日更奖励。
小木山庄的溜溜·2024-09-10 05:59

IAAS: IT公司去IOE-Alibaba系统构架解读

【导读】互联网的普及，智能终端的增加，大数据时代悄然而至。在这个数据为王的时代，数十倍、数百倍的数据给各
wishchin·2024-09-10 04:18

龙芯+FreeRTOS+LVGL实战笔记（新）——05部署主按钮

此外，也可以前往本人在B站的视频合集（图2所示）观看所有演示视频，合集首个视频链接为：借助RT-Thread和LVGL，在龙芯板上搞定两个
南耿先生·2024-09-10 02:26

龙芯+FreeRTOS+LVGL实战笔记（新）——02准备工程和驱动文件

此外，也可以前往本人在B站的视频合集（图2所示）观看所有演示视频，合集首个视频链接为：借助RT-Thread和LVGL，在龙芯板上搞定两个
南耿先生·2024-09-10 02:56

龙芯+FreeRTOS+LVGL实战笔记（新）——04开启主任务

此外，也可以前往本人在B站的视频合集（图2所示）观看所有演示视频，合集首个视频链接为：图1《龙芯+RT-Thread+LVGL实战笔记》专
南耿先生·2024-09-10 02:56

开源项目的认识理解

1.开源项目的发展趋势1.持续增长与普及-开源项目将继续增长，特别是在云计算、大数据、人工智能等领域。-开源软件在企业中的应用将更加普及，成为企业IT战略的一部分。
禁默·2024-09-10 01:23

未完待续

分院:大数据工程学院班级:19计本1班姓名:李思雪不知不觉，我们送走了活力四射的春天，迎来了烈日炎炎夏天。对于夏天的的印象，不仅有火红的太阳，湛蓝的天空，茂盛的枝叶……还有的是那让人不得不说的毕业季。
大数据工程学院19计本1班·2024-09-10 00:32

理性拥抱机器学习热潮：ML祖师爷Tom Mitchell最新洞见

此次主题为"AI生万物，谐音爱生万物，科学技术要有人文的温度，机器有爱，真芯英雄"的大会上，全球人工智能领袖汇聚全球业界顶尖领袖，探讨在基础硬件、大数据与开源平台、深度学习为代表的算法等人工智能领域的最新洞见
「已注销」·2024-09-10 00:33

Yarn介绍 - 大数据框架

YARN的概述YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x版本中的一个新特性。它的出现其实是为了解决第一代MapReduce编程框架的不足，提高集群环境下的资源利用率，这些资源包括内存，磁盘，网络，IO等。Hadoop2.X版本中重新设计的这个YARN集群
why do not·2024-09-09 23:58

浅析大数据Hadoop之YARN架构

YARN提供了资源管理和资源调度等机制1.1原HadoopMapReduce框架对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述
haotian1685·2024-09-09 22:26

大数据知识总结（三）：Hadoop之Yarn重点架构原理

文章目录Hadoop之Yarn重点架构原理一、Yarn介绍二、Yarn架构三、Yarn任务运行流程四、Yarn三种资源调度器特点及使用场景Hadoop之Yarn重点架构原理一、Yarn介绍ApacheHadoopYarn(YetAnotherReasourceNegotiator，另一种资源协调者)是Hadoop2.x版本后使用的资源管理器，可以为上层应用提供统一的资源管理平台。二、Yarn架构Y
Lansonli·2024-09-09 22:22

弹性搜索引擎Elasticsearch：本地部署与远程访问指南

在大数据时代，数据搜索和分析成为企业核心竞争力的关键因素。弹性搜索引擎Elasticsearch作为一种分布式、可扩展的搜索和分析引擎，受到广泛欢迎。
猴哥是肖鸿·2024-09-09 20:39

深度学习思考

对理论话深度学习很有意义，一个思路是经验值，将每一层在特定任务下都有输出，对结果作经验总结，比方说浅层输出低层次的几何轮廓特征，高层输出语意特征，我曾经在objecttracking用过这样的方法,在大数据集测试
夜雪朝歌·2024-09-09 19:45

2024年大数据最新实时数仓之实时数仓架构(Hudi)

技术框架Kafka：用于接入数据源；FlinkCDC：如果直接接入业务数据源可以考虑CDC方式，如果通过Kafka缓冲接入业务数据可以忽略;Flink：用于数据ETL，包括接入数据、处理数据及输出数据全链路数据计算任务；Spark：用于数据ETL，包括处理数据及输出数据全链路数据计算任务；Hudi：湖仓一体数据管理框架，用来管理模型数据，包括ODS/DWD/DWS/DIM/ADS等；Doris：O
2401_84185556·2024-09-09 19:34

实时数仓之实时数仓架构(Hudi)(1)，2024年最新熬夜整理华为最新大数据开发笔试题

+Hudi：湖仓一体数据管理框架，用来管理模型数据，包括ODS/DWD/DWS/DIM/ADS等；+Doris：OLAP引擎，同步数仓结果模型，对外提供数据服务支持；+Hbase：用来存储维表信息，维表数据来源一部分有Flink加工实时写入，另一部分是从Spark任务生产，其主要作用用来支持FlinkETL处理过程中的LookupJoin功能。这里选用Hbase原因主要因为Table的HbaseC
2401_84181221·2024-09-09 19:04

基于实时深度学习的推荐系统架构设计和技术演进

月29日阿里云开发者大会，秦江杰和刘童璇的分享，内容包括实时推荐系统的原理以及什么是实时推荐系统、整体系统的架构及如何在阿里云上面实现，以及关于深度学习的细节介绍本文整理自5月29日阿里云开发者大会，大数据与
阿里云云栖号·2024-09-09 19:03

《钝感力》| 钝感是一种沉默但有力的回击力

2018年浙江省离婚大数据显示，有35%的离婚原因都是生活琐事。其实婚姻的破裂并没有那么多狗血剧情，最多的都是生活中的小摩擦。
夏小半的江湖·2024-09-09 18:01

大数据新视界--大数据大厂之MySQL数据库课程设计：MySQL集群架构负载均衡故障排除与解决方案

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
青云交·2024-09-09 18:26

大数据新视界--大数据大厂之MySQL 数据库课程设计：MySQL 数据库 SQL 语句调优的进阶策略与实际案例（2-2）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
青云交·2024-09-09 18:26

大数据新视界--大数据大厂之MySQL 数据库课程设计：开启数据宇宙的传奇之旅

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
青云交·2024-09-09 18:56

大数据新视界--大数据大厂之MySQL数据库课程设计：揭秘 MySQL 集群架构负载均衡核心算法：从理论到 Java 代码实战，让你的数据库性能飙升！

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
青云交·2024-09-09 17:17

（实测68款四大运营商手机卡套餐合集）

流量卡市场五花八门、鱼龙混杂，前有9.9元100G坑到你内裤都不剩的物联网卡、后有1元当日不限量网速垃到全程460的虚拟运营商流量卡。都让不少小白成为了不良商家镰刀下的韭菜~如果你选择了一个没有背书、近几个月才开始写流量卡相关、点赞与评论数相差很大的所谓的“流量卡博主”。那么恭喜你！下一搓韭菜可能就是你~作为移不动集团前官方认证的产品经理，知乎早期深耕流量卡内容、多次荣登流量卡热榜回答第一、通信领
全网优惠分享·2024-09-09 17:29

starrocks和clickhouse数据库比较

下面是这两者的一些主要比较点：1.基础架构与设计目标Starrocks:Starrocks是一个专注于实时数据分析的平台，常用于大数据处理和商业智能应用。
CodeMaster_37714848·2024-09-09 16:12

tyut数据分析考试资料

CA.数据分析可以通过计算机工具和数学知识处理数据｜B.可以做出具有针对性的决策｜C.数据分析没有实际的使用意义｜D.在大数据环境下，数据分析能够挖掘出更有价值的信息2、下列关于数据分析概念的描述错误的是
study NH·2024-09-09 15:02

大数据量查询：流式查询与游标查询

最近在做一个计算相关的功能，大体就是有很多条SQL，每条SQL都涉及复杂地运算，最后要将所有计算结果进行合并分析。经初步测试，每个SQL起码会查出几十万条记录，我们现在有毛毛多的这种SQL。最大的问题不在于速度，毕竟涉及运算的功能，想要从速度入手就得靠中间件和算法了。内存占用才是我们最需要注意的，一旦数据量很大且一次性冲入Java堆内存，程序会直接OOM然后离开人世。比如使用非分页的普通查询，这张
不识愁滋味.·2024-09-09 14:01

大数据（Hbase简单示例）

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.TableName;importorg.apache.hadoop.hbase.client.*;importorg.apache.hadoop.hbase
BL小二·2024-09-09 13:18

Python实用技巧: 获取 后缀名(扩展名) 或 文件名

Python实用技巧:获取后缀名(扩展名)或文件名个人主页：高斯小哥高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程希望得到您的订阅和支持
高斯小哥·2024-09-09 12:41

最新【JAVA问题解决方案】02，字节跳动大数据开发高级工程师

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！publicvoidexcelTest(){Lists
2401_84586779·2024-09-09 10:01

数据仓库系列篇之基本概述

:Spinach|GHB@Link:http://blog.csdn.net/bocai8058文章目录前言什么是数据仓库数据仓库与数据库的区别为什么要建立数据仓库及数仓平台的优势为什么要建立数据仓库大数据数仓平台的特点或优势数据仓库和数据集市的关系前言通过收集资料
小学僧来啦·2024-09-09 09:53

深智城基于超融合数据库MatrixOne的一站式交通大数据平台改造

在智慧交通应用中，数据处理需求极为复杂，涉及人、车辆、道路和环境等多个方面，产生了大量异构数据。交通管理人员需要对这些数据进行实时分析和决策，以应对各种交通事件。然而，在实际生产中会发现数据处理缺陷、管理复杂度高、云原生基础设施兼容性不足等问题。实践证明，MatrixOne可完整、稳定支撑深智城集团的交通数字实时仿真项目，实现秒级的业务及分析实时性，并在技术、管理和成本方面均得到了显著提升，大幅降
MatrixOrigin·2024-09-09 07:42

客户数据管理的最佳实践-构建客户统一视图

今天我想跟各位分享的主题是客户信息管理，这个也是现在很多企业关注的一个话题，从大数据的发展，包括数据变现，很多都是在数字营销、ECIF、客户信息管理这些领域，尤其关注这些问题的是保险业。
hanxiaolaa·2024-09-09 06:00

东方博宜oj 提高答案 合集

点个赞谢谢！！！1542-小X算排名#includeusingnamespacestd;intN,a[100010],ra[100010];boolcmp(intx,inty){returnx>y;}intefl(intx){intl=1,r=N,mid;while(l>1;if(a[mid]usingnamespacestd;structnode{intlen;intnum;};nodea[10
雨颜纸伞（hzs）·2024-09-09 05:28

大数据面试刷题

对于大数据方向的求职者来说，牛客网是一个一站式的学习平台，可以帮助他们系统地提升面试竞争力。超级码客（www.chaoj
陈吉俊·2024-09-09 03:43

学习大数据DAY14 PLSQL基础语法3

目录二重循环三种循环随便嵌套exitcontinuereturn作业数据提取游标隐式游标显示游标动态游标游标使用流程游标属性游标配合循环使用示例作业2参数游标currentof语句作业3PLSQL基础语法（三）二重循环三种循环随便嵌套beginfornin1..10loopdbms_output.put_line(n);forjin1..5loopdbms_output.put('*');endl
工科小石头·2024-09-09 01:58
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他