大数据中台第58页

消息中间件之Kafka(一)

1.简介高性能的消息中间件，在大数据的业务场景下性能比较好，kafka本身不维护消息位点，而是交由Consumer来维护，消息可以重复消费，并且内部使用了零拷贝技术，性能比较好Broker持久化消息时采用了

coffee_babe·2024-01-20 15:15

中台架构真的不香了吗？阿里巴巴的业务都拆分啦！！

中台架构这个曾经火到爆的架构模式，它成也阿里巴巴，败也阿里巴巴，也就是阿里巴巴用自己的业务去亲自践行中台架构，并取得了阶段性的成功，很多阿里巴巴的技术大咖也因此而发家，但是最终还是毁在了资本家的商业化的决策上

架构随笔录·2024-01-20 15:14

解决celery与kafka的联用问题

0X01背景大数据过滤、导入，用celery下发任务，任务内容为kafka生产一些数据。

LzSkyline·2024-01-20 15:25

Oracle 12CR2 RAC部署翻车，bug避坑经历

大家好，我是【IT邦德】，江湖人称jeames007，10余年DBA及大数据工作经验一位上进心十足的【大数据领域博主】！

IT邦德·2024-01-20 15:14

潜力商品

由于采用大数据进行识别，具体规则较为复杂。提升商品力原则：在保障买家体验的基础上，综合交易能力较好的商品，或综合交易有增长趋势的优质商品。

诗半雅·2024-01-20 14:35

【大数据】了解 YARN 架构的基础知识

了解YARN架构的基础知识1.为什么是YARN2.YARN简介3.YARN的组成部分3.1ResourceManager资源管理器3.1.1Scheduler调度程序3.1.2ApplicationManager应用程序管理器3.2NodeManager节点管理器3.3ApplicationMaster应用程序主控3.4Container容器4.在YARN中提交应用程序5.HadoopYARN中的

G皮T·2024-01-20 14:23

Spring Cloud可视化智慧工地大数据云平台源码（人、机、料、法、环五大维度）

智慧工地平台是依托物联网、互联网、AI、可视化建立的大数据管理平台，是一种全新的管理模式，能够实现劳务管理、安全施工、绿色施工的智能化和互联网化。

源码技术栈·2024-01-20 14:42

行程码为什么知道你在哪儿？

行程码依托大数据和云计算行程码最重要的功能：过去14天你去过哪里。大数据会根据你去过的位置自动判断你的个人代码是否存在风险。有些人会问，我关掉手机，取出SIM卡，手机里没有我的个人信息，

粘木氏.嘚啵儿·2024-01-20 14:12

芯品荟 | “微蒸烤一体机”屏驱市场调研报告

二、市场规模中国微蒸烤一体机年产量约3000万台，其中台式占比80%左右，嵌入式占比20%左右。全球台式蒸烤箱市场规模达到

华芯微特SYNWIT·2024-01-20 13:30

Hive调优一文打尽

一、调优概述Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。

跟着大数据和AI去旅行·2024-01-20 13:16

卓有成效管理者的必备技能：精准分析、掌控支配自己的时间

通过大数据分析，每一位卓有成效的管理者身上都有一个共同的特点：精准分析、掌握支配自己的时间。时间是这个世界上最稀有的资源，也是最不可或缺的。

玉言胖胖·2024-01-20 13:15

阿里云 E-MapReduce 全面开启 Serverless 时代

本文整理自阿里云智能EMR负责人李钰（花名：绝顶）在2023云栖大会开源大数据专场的分享，演讲主题为阿里云E-MapReduce全面开启Serverless时代。

Apache Spark中国社区·2024-01-20 12:22

阿里云开源大数据产品年度发布

本文整理自阿里云计算平台事业部开源大数据产品总监陈守元在2023云栖大会开源大数据专场的分享，演讲主题为阿里云开源大数据产品年度发布。

Apache Spark中国社区·2024-01-20 12:52

CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享

阿里云研究员、开源大数据平台负责人王峰，分享了”阿里

Apache Spark中国社区·2024-01-20 12:51

阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse

01背景信息数据湖与传统的数据仓库相比，可以更灵活地处理各种类型的数据，并支持高度可扩展的存储，通常被用于大数据分析。

Apache Spark中国社区·2024-01-20 12:51

时评素材 | 年度词汇扎堆，世界显示不确定性（2020年12月）

1.年度词汇扎堆，世界显示不确定性光明日报，黄典林时事：从2004年开始，作为当今全球最权威的英文词典之一，《牛津英语词典》基于对语料库的大数据分析，每年都会发布一个年度词汇。

一把锯子·2024-01-20 12:25

李浩然：从大数据能力提升项目出发，探索化工大数据之路 | 提升之路系列（一）...

导读为了发挥清华大学多学科优势，搭建跨学科交叉融合平台，创新跨学科交叉培养模式，培养具有大数据思维和应用创新的“π”型人才，由清华大学研究生院、清华大学大数据研究中心及相关院系共同设计组织的“清华大学大数据能力提升项目

数据派THU·2024-01-20 12:59

程序员必备的面试技巧——大数据工程师面试必备技能

目录前言一、不同工程师的职责和技能要求1、数仓开发工程师2、算法挖掘工程师3、大数据平台开发工程师4、大数据前端开发工程师二、大数据技术架构图三、大数据相关的技术内容四、大数据面试经验1、大数据开发岗位

Francek Chen·2024-01-20 11:22

2020-02-16

临沂市财金大数据有限公司|二次预警！利用疫情诈骗的套路，全在这里了！O二次预警！利用疫情诈骗的套路，全在这里了！

财金人啊·2024-01-20 11:46

20210820晨间日记D877

昨晚没有做什么正确的事，就是看小说和电视剧，小说是《大数据修仙》，电视剧是《扫黑风暴》，孙红雷、江疏影等主演，前面看起来还不错，看了两集就到了12点多，今天还有事，就没有继续熬夜了。

坤道率然·2024-01-20 11:49

大数据的常见处理流程

具体的大数据处理方法其实有很多，但是根据长时间的实践，笔者总结了一个基本的大数据处理流程，并且这个流程应该能够对大家理顺大数据的处理有所帮助。

kuntoria·2024-01-20 11:17

CPU密集型和IO密集型

CPU密集型CPU密集型工作负载是指需要大量的CPU时间来执行的工作负载，例如大数据分析、图像处理或者科学计算等。这种工作负载通常涉及大量的计算和数据处理，需要许多CPU周期才能完成。

mhz2977170·2024-01-20 11:52

2023年数据中心年终总结：政策扶持、技术创新齐发力

回首2023年，国内大数据领域如同一艘巨轮，在信息化浪潮中乘风破浪，成就斐然。

中创算力·2024-01-20 11:42

上海智慧岛大数据云计算中心项目正式封顶！

上海智慧岛大数据云计算中心封顶仪式现场1月15日，云端股份在上海智慧岛大数据云计算中心举行封顶仪式。

YUNDUANNET·2024-01-20 10:24

大数据开发之Kafka（概述、快速入门、生产者）

第1章：Kafka概述1.1定义Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。

Key-Key·2024-01-20 10:39

在传统企业做互联网产品经理，我有几点思考

传统企业感受到传统业务模式在市场上的危机，开始重金追求线上化，再加上近年来也有不少企业打造出产业互联网化、数据中台、数字化等等成功案例，可谓是跃跃欲试。越来越多的公司选择自己搭建互联网团队。

涛涛记得笑·2024-01-20 10:23

大数据开发之Hadoop（完整版+练习）

第1章：Hadoop概述1.1Hadoop是什么1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2、主要解决，海量数据的存储和海量数据的分析计算问题。3、Hadoop通常是指一个更广泛的概念-Hadoop生态圈1.2Hadoop优势（4高）1、高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。2、高扩展性：再集群

Key-Key·2024-01-20 10:36

移动端 h5-table react版本支持虚拟列表

github.com/duKD/react-h5-table有帮助的话给个小星星有两种表格组件常规的：支持左侧固定滑动每行点击回调支持指定列排序支持滚动加载更多效果和之前写的vue3版本类似vue3h5表格大数据量时使用虚拟列表

cheerfulCoder·2024-01-20 10:29

Kylin安装学习教程

Kylin安装学习教程Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL接口及多维分析（OLAP）能力以支持大数据分析，最初由eBayInc.开发并贡献到开源社区。

Luo_Yang111·2024-01-20 09:28

曾经

大数据工程学院19计本2班龙安倩不管曾经我们有多开心；不管遇见你是缘分或者偶然；不管我们的曾经有多么美好；不管曾经我有多喜欢你；不管曾经我有多努力去对你好；不管曾经我为了让你开心找了多少次度娘、记了多少句土味情话

19计本二班·2024-01-20 09:29

零基础转行Python难度大吗？从哪学起？

：Python基础语法python字符串解析python时间和日历python文件操作，数据处理python界面编程python面向对象高级语法命名空间和作用域应用案例分析语言基础阶段项目图形界面实现大数据查询

Python小远·2024-01-20 09:04

2023年平板哪个牌子好用又实惠(10款性价比超高的平板电脑)

依托大数据的权威来帮助我们进行选择和决策，让我们一起来看下平板电脑排行榜吧。二、平板电脑性价比排行榜前十名1、小米平板推荐

古楼·2024-01-20 08:01

2019-03-20

财金大数据-https://mp.weixin.qq.com/s/n_Nmk460gQHiaJx296-z8g?

财金科技·2024-01-20 08:03

python中scrapy可以爬取多少数据_使用Scrapy爬取大规模数据

于是想做一次大数据量的爬取。选择的数据源是简书用户，使用的是Scrapy框架。同时也想对简书的用户做一个数据分析。

weixin_39567943·2024-01-20 08:23

TCP、UDP以及ensp的基础配置

3、TCP协议可以实现流控（流量控制），而UDP不行；4、TCP可以分段（将大数据包分为几个小的部分，分别发送），而UDP不行；5、TCP消耗资源较大，传输效率较低；UDP耗费资源较少，速度快；TCP和

还有醒着的咩·2024-01-20 08:20

JVM工作原理与实战(十九)：运行时数据区-方法区

专栏导航JVM工作原理与实战RabbitMQ入门指南从零开始了解大数据目录专栏导航前言一、运行时数据区二、方法区1.方法区介绍2.方法区在Java虚拟机的实现3.类的元信息4.运行时常量池5.字符串常量池

橘子-青衫·2024-01-20 08:35

JVM工作原理与实战(十七)：运行时数据区-栈内存溢出

专栏导航JVM工作原理与实战RabbitMQ入门指南从零开始了解大数据目录专栏导航前言一、Java虚拟机栈二、栈内存溢出1.栈内存溢出介绍2.设置虚拟机栈的大小总结前言JVM作为Java程序的运行环境，

橘子-青衫·2024-01-20 08:05

JVM工作原理与实战(十八)：运行时数据区-堆

专栏导航JVM工作原理与实战RabbitMQ入门指南从零开始了解大数据目录专栏导航前言一、运行时数据区二、堆1.堆介绍2.关键参数总结前言JVM作为Java程序的运行环境，其负责解释和执行字节码，管理内存

橘子-青衫·2024-01-20 08:05

JVM工作原理与实战(二十)：直接内存

专栏导航JVM工作原理与实战RabbitMQ入门指南从零开始了解大数据目录专栏导航前言一、直接内存1.直接内存作用二、在直接内存上创建数据总结前言JVM作为Java程序的运行环境，其负责解释和执行字节码

橘子-青衫·2024-01-20 07:31

Data Bricks Delta Lake 入门

在大数据这个领域，对象存储的最影响效率的问题就是针对对象存储数据的更新，传统的对象存储如AWS的S3，Azure的Blob等如果要更新要给对象数据的时候

AI普惠大师·2024-01-20 07:03

【开源分享】LarkMidTable数据中台

LarkMidTableLarkMidTable中文名称云雀，云代表大数据，雀代表平凡和自由。

猿徕如此·2024-01-20 07:59

大数据导论（2）---大数据与云计算、物联网、人工智能

文章目录1.云计算1.1云计算概念1.2云计算的服务模式和类型1.3云计算的数据中心与应用2.物联网2.1物联网的概念和关键技术2.2物联网的应用和产业2.3大数据与云计算、物联网的关系1.云计算1.1

冒冒菜菜·2024-01-20 07:49

5G+物联网：连接万物，重塑智慧社区，开启未来生活新纪元，助力智慧社区的革新与发展

这些优势使得5G能够支持更多设备的连接，为物联网、大数据、

方案365·2024-01-20 06:31

中国人民大学与加拿大女王大学金融硕士项目——金融人员2024年都在关注哪些呢？

从移动支付到区块链技术，再到人工智能和大数据分析，金融科技正在改变着金融行业的生态格局。金融人需要关注这些新技术在金融领域的应用，并了解它们如何改变传

xu17160175782·2024-01-20 06:53

2019-04-07这就是“新零售”,看不懂以后还怎么做生意?

新零售，即企业以互联网为依托，通过运用大数据、人工智能等先进技术手段，对商品的生产、流通与销售过程进行升级改造，进而重塑业态结构与生态圈，并对线上服务、线下体验以及现代物流进行深度融合的零售新模式。

笑伟程豪·2024-01-20 05:45

2024年最新安全且稳定的大数据传输方式

随着大数据时代的兴起，数据传输的速度和效率已经成为企业竞争的关键因素。到了2024年，大数据传输领域迎来了新的趋势和挑战，同时也涌现出了一系列创新的解决方案。

镭速·2024-01-20 05:30

为梦想踏出第一步：入住博客啦

#一.自我介绍大家好呀，我是一名来自湖南的大一学生，就读于一所双非本科院校，专业嘛是数据科学与大数据技术，我是一个对编程一窍不通的小菜鸟，但我这个小菜鸟又对编程有着浓厚的兴趣，也希望自己能在这一领域有所进步

果苏·2024-01-20 05:54

比拼Kafka，大数据分析新秀Pulsar到底好在哪

在用户选择一个消息系统时，消息模型是用户首先考虑的事情。消息模型应涵盖以下3个方面：消息消费——如何发送和消费消息；消息确认（ack）——如何确认消息；消息保存——消息保留多长时间，触发消息删除的原因以及怎样删除；消息消费模型在实时流式架构中，消息传递可以分为两类：队列（Queue）和流（Stream）。队列（Queue）模型队列模型主要是采用无序或者共享的方式来消费消息。通过队列模型，用户可以创

java菜·2024-01-20 04:19

余老师带你学习大数据-Spark快速大数据处理第十章Kafka第八节Kafka-Connect

kafkaKafkaConnect基本概念1、KafkaConnect是Kafka流式计算的一部分，左侧是数据源包括了数据库、hadoop、文本等等，右侧是数据结果包括了文本、hadoop、数据库，中间上层就是KafkaConnect，它里面会有很多的输入，将输入的内容的读取进来转交给Kafka里，也有可能将kafka里的内容拿出来放到我们的外部数据源中。2、KafkaConnect主要用来与其他

weixin_45810046·2024-01-20 03:41

龙腾荆楚 | 软件供应链安全检测中心落地襄阳

襄阳市直部门领导：襄阳市委网络安全和信息化委员会办公室副主任孙京瑞，市行政审批局三级调研员、市大数据中心负责人杨永旗，市中小企业服务中心负责人全虎，市行政

开源网安·2024-01-20 03:08

推荐频道

大数据中台