大数据随笔

比较Spark与Flink

ApacheSpark和ApacheFlink都是目前非常流行的大数据处理引擎，但它们在架构、处理模式、应用场景等方面有一些显著的区别。
傲雪凌霜，松柏长青·2024-09-11 04:29

Apache Flink：实时流处理与批处理的统一框架

导语在大数据处理领域，流处理和批处理是两种主要的处理方式。然而，传统的系统通常将这两者视为独立的任务，需要不同的工具和框架来处理。
小码快撩·2024-09-11 04:28

大数据平台（数据中台、数据中枢、数据湖、数据要素）建设方案

大数据平台（数据中台、数据中枢、数据湖、数据要素）建设方案大数据平台（数据中台、数据中枢、数据湖、数据要素）建设方案项目背景和目标项目背景项目目标建设原则与策略数据中台架构设计整体架构设计思路数据采集层数据存储层数据计算层数据服务层数据中枢功能实现数据治理功能数据资产管理功能数据安全管控功能数据服务总线功能数据湖存储与计算方案数据湖存储架构设计数据湖计算框架选择数据湖应用场景分析数据湖安全与合规性
数字化建设方案·2024-09-11 04:26

大数据分析与安全分析

大数据分析一、大数据安全威胁与需求分析1.1大数据相关概念发展大数据：是指非传统的数据处理工具的数据集大数据特征：海量的数据规模、快速的数据流转、多样的数据类型和价值密度低等大数据的种类和来源非常多，包括结构化
Zh&&Li·2024-09-11 03:21

数据中台建设方案-基于大数据平台(下)

数据中台建设方案-基于大数据平台(下)1数据中台建设方案1.1总体建设方案1.2大数据集成平台1.3大数据计算平台1.3.1数据计算层建设计算层技术含量最高，最为活跃，发展也最为迅速。
FRDATA1550333·2024-09-11 03:49

Python在金融大数据分析中的AI应用实战

随着人工智能时代的到来，Python作为一种功能强大的编程语言，在金融领域的大数据分析中扮演着日益重要的角色。
田野猫咪·2024-09-11 02:45

使用python实现微信小程序自动签到

学校：重庆财经职业学院学院：应用技术学院专业班级：大数据技术与应用05班名字：吴雨璇指导老师：张彤老师一：使用python实现微信小程序自动签到意义1.首先对于咱们的APP有很大的作用,那就是当用户点击签到以后
光头哥不光头·2024-09-11 02:43

CSP-J 算法基础 选择排序

选择排序的时间复杂度为O(n²)，不适合大数据集，但由于其实现简单，通常被用于教学和理解基本排
人才程序员·2024-09-10 23:26

周末随笔

周末，和儿子睡到自然醒，话说我这儿子也是枚吃货和睡货。下床给他放起儿歌，这个小家伙便开始手舞足蹈，“妈妈，快看，我跳舞了，好看么？”我承认，一大早就被你萌到了。自从生了孩子，以前内心弱小的我，不知不觉变得很强大，为母则刚确实不是假的。还记得刚怀孕的时候，没有什么激动的心情，唯一让我印象深刻的心情就是，未来这一年，我都不用忍受大姨妈的折磨，这对于平时痛经的我来说，毫无疑问是一个天大的好消息。不知道有
爱吃辣条的30岁·2024-09-10 22:08

大数据平台--调度系统

调度系统是数据仓库的重要组成部分，也是每个银行或公司一个基础软件或服务，需要在全行或全公司层面进行规划，在全行层面统一调度工具和规范，由于数据类系统调度作业较多，交易类系统批量优先级高，调度系统的整体架构如下：调度中心对调度批次和作业进行创建、管理、监控，它负责所有批量作业的调度和编排；在整个作业过程中，作业之间关系分为触发，依赖和互斥。1、触发触发关系表示一个作业完毕后，生成另一个作业的控制文件
小瓶盖的猪猪侠·2024-09-10 20:36

晨间随笔‖花盆里有颗油菜花

图片发自App郁郁葱葱的花死掉了，无奈之下，我把花盆搬到了楼顶，从此没有去关注它，过了一个秋天，又过了一个冬天，来到了春天，有一天，我去楼上无意间看了看，看了看闲置很久的花盆，咦，花盆里竟然有一抹绿，孤孤单单的生长了出来，顽强的生长了出来，没有人为的干预下，这颗小小的油菜花，竟然悄悄的长了很高，这不由得让我感叹，让我为大自然里生命力的顽强而感叹，无论多么恶劣的环境，总有一些顽强的生命在生根，在发芽
利创天·2024-09-10 19:15

hutool获取大数据量的excel内容及sheet名称问题

读取大数据量的excel时代码如下privatestaticRowHandlercreateRowHandler(){returnnewRowHandler(){@Overridepublicvoidhandle
liu_qixiang·2024-09-10 18:54

惊喜！万博智云亮相2024数博会和第三届828 B2B企业节

摘要万博智云作为2024828B2B企业节铂金合作伙伴，在2024中国国际大数据产业博览会的828B2B企业节开幕式上亮相，并参加了本次828企业节的一系列活动，包括在华为展台现场开展的“‘云上大咖团’
万博智云OneProCloud·2024-09-10 17:35

020 现代数据中心的路由与交换架构

引言现代数据中心的设计必须兼顾高性能、高可用性和灵活性，以满足云计算、大数据、人工智能等应用的需求。在这样的背景下，数据中心的路由与交换架构设计显得尤为重要。
Network_Engineer·2024-09-10 16:03

shell脚本随笔

一shell基础1.Shell程序本身的功能是很弱的，比如文件操作、输入输出、进程管理等都得依赖内核。我们运行一个命令，大部分情况下Shell都会去调用内核暴露出来的接口，这就是在使用内核，只是这个过程被Shell隐藏了起来，它自己在背后默默进行，我们看不到而已。2.Shell本身支持的命令并不多，功能也有限，但是Shell可以调用其他的程序。这使得Shell命令的数量可以无限扩展，其结果就是Sh
渺小_1912·2024-09-10 13:08

2021-08-04

心情随笔——做自己而立之年的我，只身寄居异地，经历了这么多，只是为了曾经单纯而又普通的梦想。而此时此刻的我，真心觉得好难，我累了！
梦雪0827·2024-09-10 12:00

［新教育教师随笔］孩子的成长过程中，父母扮演者什么样的角色?

伊川县县直中学杜利鸽在央视《谢谢了，我的家》节目中，请到过一位特殊的父亲做嘉宾，他叫蔡笑晚。他说他一辈子都在想怎么教育孩子。实际上他最大的成功，就是把自己的6个孩子养出5个博士，也都培养成了对社会有用的人。我是一名教师，我也是一位妈妈。我也认可教育孩子，是我们父母最伟大的事业。但是我仍然不是一位合格称职的妈妈。父母在养育中逃避的每一个责任，都可能面临加倍的风险。父母为养育孩子付出的每一分心血，命运
三只猫dudu·2024-09-10 10:19

先锋自由

先锋自由（思想随笔）写文章并不是为了炫耀知识，而是展示思想的风采。自由，并不是随心所欲，并不是自我放纵，并不是毫无原则。真正的自由是生命的极乐状态，是不受时空限制，不受规则约束，不受观念束缚。
天下行者一心·2024-09-10 10:59

随笔记录git提交出错和原生js以JSON格式请求接口导出Excel

GIT提交代码出错Fileexists.原文链接https://www.cnblogs.com/sweetbullet/p/9889997.html前端js导出,参数以json格式发送post请求原文链接https://www.cnblogs.com/sweetbullet/p/9843178.html
山丘lemon·2024-09-10 09:03

红源随笔

2019年8月24日红源悟语自我觉醒:想，都是问题；做，才是答案！今日成长一个人成功的关键取决于他的心态，每个人都应有积极、进取的心态！今日感悟生活真正的精彩还是做自己！
红源随笔·2024-09-10 07:35

[day14]睡前随笔

2019.4.13阴，周六1.随意浏览一些文章，无意中看到整理师，营养师，心理咨询师这些，可以充实以后的生活～2.手账本到位，跟预想有点差距，不过无所谓了，凡是先开始行动起来最重要。已将书单库进行了分类标识，持续update…3.身体好像有了些反应，持续关注中，祝好！！！
关关_hcyr·2024-09-10 07:23

来猜谜语啦11405

【今思迟】制谜条数已达：11405上期榜上有名：byz高原沙默随笔【今日五谜】11401谜面：一卜便知非好兆（字）11402谜面：来到一阵吻儿女（成语）11403谜面：英莲若不遇薛皤（孟子句）11404
今思迟·2024-09-10 06:04

IAAS: IT公司去IOE-Alibaba系统构架解读

【导读】互联网的普及，智能终端的增加，大数据时代悄然而至。在这个数据为王的时代，数十倍、数百倍的数据给各
wishchin·2024-09-10 04:18

晚间随笔

漆黑的夜里躺在床上莫名的睡不着，打开手机听着歌又莫名的触动。总是这样，不知为何，就像薛定谔的猫，不知自己是什么状态。有感触却不知从何而起，也许这就是人，感性却又不失理性。生活就是这样，有时候总能引发你的共鸣，或悲伤或甜蜜！思绪不经意间的翻飞总能把你带到你想去的地方，那是你所向往的乌托邦！晚安，陌生人！好梦！
逸语锋缘·2024-09-10 01:36

〖随笔〗尘世繁杂，我心悠然

原创：红尘闲云闲云醉语一直喜欢一个词——“淡淡”，固执地认为它所描绘出的事物都是清丽、脱俗的。许多的事物，只要加上了“淡淡”两字，它的味道就会变得清新、淡雅，给人的感觉也会变得轻柔、温馨。淡淡的花香，淡淡的眼神，淡淡的忧伤，淡淡的岁月……所有这些淡淡的，都能让躁狂的心渐渐安宁，让平庸的灵魂慢慢升腾。如果能够把“淡淡”两字融化在我们的心里，再溶合在我们的性情中，那么就可以生成一个更美丽的词来——“悠
红尘闲云·2024-09-10 01:04

开源项目的认识理解

1.开源项目的发展趋势1.持续增长与普及-开源项目将继续增长，特别是在云计算、大数据、人工智能等领域。-开源软件在企业中的应用将更加普及，成为企业IT战略的一部分。
禁默·2024-09-10 01:23

随笔

不知道又怎么了，我们俩开始吵架，我删了他，他也没有再给我打电话，什么时候，爱的深沉的两个人，就这样如此的泼皮，不愿意去让步，去理解，而只是一昧的指责，曾经舍不得伤害的心，也随意的践踏，我是一个得过且过的人，但我并不觉得伤害了我的尊严，有辱我人格的现象，我可以慢慢习惯，或许没有你，我也会很好，不是吗？
昱黎麦冬·2024-09-10 01:45

未完待续

分院:大数据工程学院班级:19计本1班姓名:李思雪不知不觉，我们送走了活力四射的春天，迎来了烈日炎炎夏天。对于夏天的的印象，不仅有火红的太阳，湛蓝的天空，茂盛的枝叶……还有的是那让人不得不说的毕业季。
大数据工程学院19计本1班·2024-09-10 00:32

随笔（探悟）

生活不能从来，苦了累了，停下来擦干眼泪，继续前行。因为你的生存环境，和别人不同，自己不努力，你将寸步难行。天大的事自己不去扛，将会是死路一条。幸运的人，受了委屈，有父母为你喊冤叫屈。而我没有那么幸运，所以，自己不坚强，谁替你坚强。有家以后，我明白了，感情需要培养，受了委屈要忍，受了不公平待遇还要忍，不然这个家，就会闹得，鸡飞狗跳，永无安宁。为此，我远离事非，不让我的孩子和我一样苦，我要努力挣钱，培
杰语唱响·2024-09-10 00:50

理性拥抱机器学习热潮：ML祖师爷Tom Mitchell最新洞见

此次主题为"AI生万物，谐音爱生万物，科学技术要有人文的温度，机器有爱，真芯英雄"的大会上，全球人工智能领袖汇聚全球业界顶尖领袖，探讨在基础硬件、大数据与开源平台、深度学习为代表的算法等人工智能领域的最新洞见
「已注销」·2024-09-10 00:33

2021-01-02随笔

人工智能时代最重要的是机器学习，像数据分析、图像识别、数据挖掘、自然语言处理、语音识别等都是以其为基础的，也可以说人工智能的各种应用都需要机器学习来支撑。现在各大公司越来越注重数据的价值，人工成本也是越来越高，所以机器学习也就变得不可或缺了。数据分析、自然语言处理、语音识别，这将是作为前端人员的我，在2021年学习的重点。现收集几本关于数据分析的书籍，作为参考书籍学习：1.《跟着迪哥学Python
0清婉0·2024-09-09 23:26

Yarn介绍 - 大数据框架

YARN的概述YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x版本中的一个新特性。它的出现其实是为了解决第一代MapReduce编程框架的不足，提高集群环境下的资源利用率，这些资源包括内存，磁盘，网络，IO等。Hadoop2.X版本中重新设计的这个YARN集群
why do not·2024-09-09 23:58

浅析大数据Hadoop之YARN架构

YARN提供了资源管理和资源调度等机制1.1原HadoopMapReduce框架对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述
haotian1685·2024-09-09 22:26

2022-01-18随笔

转眼间，二姑娘四个月大了。她已经能稍挺起她的脖颈，可以让爸爸妈妈竖着抱了。大姑娘这学期明显活泼了很多，尤其是在幼儿园。班主任老师跟宝妈说过，老大课堂上有时候跟小朋友交头接耳，不认真听讲。回家后，我问她，老师说你上课跟小朋友说话，你跟谁说话了？聊什么了？她会笑着说，跟那谁谁谁，说那啥啥啥了。搁以前，她在课堂上很拘谨。自从有了妹妹，爸爸和妈妈的爱一分为二后，不知道是不是对她缺少关注，她算是彻底解放天性
壮志男酬·2024-09-09 22:37

大数据知识总结（三）：Hadoop之Yarn重点架构原理

文章目录Hadoop之Yarn重点架构原理一、Yarn介绍二、Yarn架构三、Yarn任务运行流程四、Yarn三种资源调度器特点及使用场景Hadoop之Yarn重点架构原理一、Yarn介绍ApacheHadoopYarn(YetAnotherReasourceNegotiator，另一种资源协调者)是Hadoop2.x版本后使用的资源管理器，可以为上层应用提供统一的资源管理平台。二、Yarn架构Y
Lansonli·2024-09-09 22:22

2019-04-28开篇

不知道会写多久，我不想定这个计划，我只当是随笔。我在这个地方待了六年有余，回想想，今年开始是我最清闲的一年。往年的工作都是每天忙忙碌碌，事无巨细。今年上半年却能让我空闲三个月。
黑咖啡喝咖啡·2024-09-09 21:19

弹性搜索引擎Elasticsearch：本地部署与远程访问指南

在大数据时代，数据搜索和分析成为企业核心竞争力的关键因素。弹性搜索引擎Elasticsearch作为一种分布式、可扩展的搜索和分析引擎，受到广泛欢迎。
猴哥是肖鸿·2024-09-09 20:39

随笔（探悟）

女儿长大了，成熟了，每天下班回来都高兴的说，父母在真好，回家就吃饭。吃过晚饭，我们在聊天，女儿说工作这段日子，非常满意，今年单位来的几个大学生里，就我一个研究生。单位的领导和同志都很友好。有一位阿姨亲切的喊我女儿，我称呼她日本妈。还有一位女朋友，用中文名字叫，忧吉她们对我非常好，经常给我带好吃的。女儿说，让我俩，明天包饺子，给她俩每人一份尝尝咱们中国饺子。女儿下班后，回来说她俩很高兴，说中国饺子好
杰语唱响·2024-09-09 19:48

深度学习思考

对理论话深度学习很有意义，一个思路是经验值，将每一层在特定任务下都有输出，对结果作经验总结，比方说浅层输出低层次的几何轮廓特征，高层输出语意特征，我曾经在objecttracking用过这样的方法,在大数据集测试
夜雪朝歌·2024-09-09 19:45

2024年大数据最新实时数仓之实时数仓架构(Hudi)

技术框架Kafka：用于接入数据源；FlinkCDC：如果直接接入业务数据源可以考虑CDC方式，如果通过Kafka缓冲接入业务数据可以忽略;Flink：用于数据ETL，包括接入数据、处理数据及输出数据全链路数据计算任务；Spark：用于数据ETL，包括处理数据及输出数据全链路数据计算任务；Hudi：湖仓一体数据管理框架，用来管理模型数据，包括ODS/DWD/DWS/DIM/ADS等；Doris：O
2401_84185556·2024-09-09 19:34

实时数仓之实时数仓架构(Hudi)(1)，2024年最新熬夜整理华为最新大数据开发笔试题

+Hudi：湖仓一体数据管理框架，用来管理模型数据，包括ODS/DWD/DWS/DIM/ADS等；+Doris：OLAP引擎，同步数仓结果模型，对外提供数据服务支持；+Hbase：用来存储维表信息，维表数据来源一部分有Flink加工实时写入，另一部分是从Spark任务生产，其主要作用用来支持FlinkETL处理过程中的LookupJoin功能。这里选用Hbase原因主要因为Table的HbaseC
2401_84181221·2024-09-09 19:04

基于实时深度学习的推荐系统架构设计和技术演进

月29日阿里云开发者大会，秦江杰和刘童璇的分享，内容包括实时推荐系统的原理以及什么是实时推荐系统、整体系统的架构及如何在阿里云上面实现，以及关于深度学习的细节介绍本文整理自5月29日阿里云开发者大会，大数据与
阿里云云栖号·2024-09-09 19:03

《钝感力》| 钝感是一种沉默但有力的回击力

2018年浙江省离婚大数据显示，有35%的离婚原因都是生活琐事。其实婚姻的破裂并没有那么多狗血剧情，最多的都是生活中的小摩擦。
夏小半的江湖·2024-09-09 18:01

大数据新视界--大数据大厂之MySQL数据库课程设计：MySQL集群架构负载均衡故障排除与解决方案

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
青云交·2024-09-09 18:26

大数据新视界--大数据大厂之MySQL 数据库课程设计：MySQL 数据库 SQL 语句调优的进阶策略与实际案例（2-2）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
青云交·2024-09-09 18:26

大数据新视界--大数据大厂之MySQL 数据库课程设计：开启数据宇宙的传奇之旅

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
青云交·2024-09-09 18:56

大数据新视界--大数据大厂之MySQL数据库课程设计：揭秘 MySQL 集群架构负载均衡核心算法：从理论到 Java 代码实战，让你的数据库性能飙升！

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
青云交·2024-09-09 17:17

starrocks和clickhouse数据库比较

下面是这两者的一些主要比较点：1.基础架构与设计目标Starrocks:Starrocks是一个专注于实时数据分析的平台，常用于大数据处理和商业智能应用。
CodeMaster_37714848·2024-09-09 16:12

tyut数据分析考试资料

CA.数据分析可以通过计算机工具和数学知识处理数据｜B.可以做出具有针对性的决策｜C.数据分析没有实际的使用意义｜D.在大数据环境下，数据分析能够挖掘出更有价值的信息2、下列关于数据分析概念的描述错误的是
study NH·2024-09-09 15:02

大数据量查询：流式查询与游标查询

最近在做一个计算相关的功能，大体就是有很多条SQL，每条SQL都涉及复杂地运算，最后要将所有计算结果进行合并分析。经初步测试，每个SQL起码会查出几十万条记录，我们现在有毛毛多的这种SQL。最大的问题不在于速度，毕竟涉及运算的功能，想要从速度入手就得靠中间件和算法了。内存占用才是我们最需要注意的，一旦数据量很大且一次性冲入Java堆内存，程序会直接OOM然后离开人世。比如使用非分页的普通查询，这张
不识愁滋味.·2024-09-09 14:01
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他