大数据-KAFKA 第28页

redis大数据统计之hyperloglog，GEO，Bitmap

目录一、亿级系统常见的四中统计1、聚合统计2、排序统计3、二值统计4、基数统计二、hyperloglog去重的方式有哪些？hyperloglog实战演示1、技术选型2、代码演示三、GEOGEO实战演示四、Bitmap一、亿级系统常见的四中统计1、聚合统计聚合统计：统计多个集合元素的聚合结果，交并差集和聚合函数的应用。用于推广社交2、排序统计排序统计：在面对需要展示最新列表、排行榜等场景时，如果数据

Poetry-Distance·2024-02-08 20:59

Elasticsearch 别名：灵活索引管理的利器

在现代的大数据应用中，Elasticsearch以其卓越的全文搜索能力和分布式特性，成为了许多企业和开发者的首选数据存储和查询引擎。

地瓜伯伯·2024-02-08 20:29

国内唯一连续入选Gartner，Quick BI是如何做到的？

阿里云QuickBI凭借灵活的公共云部署，私有化独立部署能力、无缝对接各类云上数据库和自建数据库、可视化搭建分析、高效数据处理能力与强大数据计算能力，使得在2022年持续入选GartnerABI魔力象限报告

阿里云技术·2024-02-08 19:23

大数据从何学起？大数据脑图+学习路线清晰的告诉你！

近些年，大数据的火热可谓是技术人都知道啊，很多人呢，也想学习大数据相关，但是又不知道从何下手，所以今天柠檬这里分享几个大数据脑图，希望可以让你清楚明白从哪里入门大数据，知道该学习以及掌握哪些知识点；当然还有自学教程分享哦

yoku酱·2024-02-08 18:16

小长假自驾游规划好了吗？高德五一出行指南来啦！

依托超7亿高德地图用户、海量交通出行数据、位置大数据，高德运用机器学习和综

科技看点·2024-02-08 18:15

Hadoop深度运维：Apache集群原地升级Ambari-HDP

作者介绍冯武，目前在瓜子从事大数据集群运维管理，主要负责Hadoop、Ansible、Ambari、ClouderaManager等技术栈的维护调优工作。

Summer_1981·2024-02-08 18:42

消息中间件：Puslar、Kafka、RabbigMQ、ActiveMQ

消息队列消息队列：它主要用来暂存生产者生产的消息，供后续其他消费者来消费。它的功能主要有两个：暂存（存储）队列（有序：先进先出从目前互联网应用中使用消息队列的场景来看，主要有以下三个：异步处理数据系统应用解耦业务流量削峰消息队列模型点对点模式多个生产者可以向同一个消息队列发送消息，一个消息只能被一个消费者消费，在被消费成功后，这条消息会被移除。如果消费者处理消息失败了，那么这条消息会重新被消费。发

Kingairy·2024-02-08 18:33

脑影像组学培训班（直播：2023.8.15~8.18）

★课程简介★随着大数据、人工智能的深入融合发展，一项新的研究方法开始用于临床研究，它就是影像组学。它可以对普通影像图像进行更深层

茗创科技·2024-02-08 18:47

简单总结下8.25技术大会感受

人工智能、大数据、机器学习、区块链，未来会做出更多有意思的东西。2、学无止境，技术要修炼内功。以后就算转行人工智能、大数据、机器学习也是思想贯通的。不要守护自己一亩三分地，要积极拥抱新技术和新革命。

码农突围·2024-02-08 17:07

一探究竟，详解Kafka生产者和消费者的工作原理！

主题和日志对于每个主题，Kafka群集都会维护一个分区日志，如下所示：image.png每个分区（Partition）都是有序的(所以每一个Partition内部都是有序的)，不变的记录序列，这些记录连续地附加到结构化的提交日志中

废柴程序员·2024-02-08 17:42

flink消费kafka源

后来一通折腾，发现我当时消费的配置，是用FlinkKafkaConsu

MinaLing·2024-02-08 16:14

博客被阮一峰引流后，我对“大数据”的分析与思考

事情经过2021年9月3日，一个普通的的早上，我照常打开了我的小博客网站echeverra，看看有没有评论，虽然知道大概率没几个人访问，更鲜有人评论，可还是想打开自己的小窝瞅上那么两眼。嗯？24人在线？1124人访问？在线人数正开着早会，我也没太细想，可能是后台统计出了问题。又过了一会收到了一条评论。评论哦，阮一峰周刊上的，我平时有个习惯，喜欢看一些名人的博客，向大佬学习，每周五阮一峰老师的科技周

echeverra·2024-02-08 15:33

Mongodb GridFS——适合大小超过16MB的文件

一、概述GridFS是基于mongodb存储引擎是实现的“分布式文件系统”，底层基于mongodb存储机制，和其他本地文件系统相比，它具备大数据存储的多个优点。

0X码上链·2024-02-08 15:48

人从众叕出游的意义究竟是什么？

imageimageimage许多国庆七天长假结束了，想必很多小伙伴们和小鱼一样，也经历了人从众叕模式，观看过人山人海，并为国庆出游大数据贡献一分微薄之力……以前，小鱼也十分不解，明知道是出游高峰，为什么还是那么多人顶着烈日出门

摩西爱吃鱼·2024-02-08 14:33

大数据毕设选题 - 深度学习股票预测系统（python Django）

文章目录0前言1课题背景2实现效果3Django框架4数据整理5模型准备和训练6最后0前言Hi，大家好，这里是丹成学长的毕设系列文章！对毕设有任何疑问都可以问学长哦!这两年开始，各个学校对毕设的要求越来越高，难度也越来越大…毕业设计耗费时间，耗费精力，甚至有些题目即使是专业的老师或者硕士生也需要很长时间，所以一旦发现问题，一定要提前准备，避免到后面措手不及，草草了事。为了大家能够顺利以及最少的精力

caxiou·2024-02-08 14:05

python毕设选题 - 基于大数据的抖音短视频数据分析与可视化 - python 大数据可视化

文章目录0前言1课题背景2数据清洗3数据可视化地区-用户观看时间分界线每周观看观看路径发布地点视频时长整体点赞、完播4进阶分析相关性分析留存率5深度分析客户价值判断5最后0前言这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业

DanCheng-studio·2024-02-08 14:34

python毕设选题 - 基于时间序列的股票预测于分析

四种模型的名称：3数据预览4理论公式4.1协方差4.2相关系数4.3scikit-learn计算相关性5金融数据的时序分析5.1数据概况5.2序列变化情况计算最后1简介Hi，大家好，今天向大家介绍一个大数据项目大数据分析

DanCheng-studio·2024-02-08 14:04

深入理解Spark的前世今生

文章来源：https://blog.csdn.net/qq_42107047/article/details/80239094感谢大神分享~~~~~一：大数据的概述1.1Spark是什么？

闲云野鹤~~~·2024-02-08 14:01

【Spark重点难点】你以为的Shuffle和真正的Shuffle

我在B站读大学，大数据专业【Spark重点难点01】你从未深入理解的RDD和关键角色通俗解释上节课我们讲了DAGScheduler划分Stage的原理:DAGScheduler调度时会根据是否需要经过Shuffle

王知无(import_bigdata)·2024-02-08 14:00

深入理解Spark BlockManager：定义、原理与实践

深入理解SparkBlockManager：定义、原理与实践1.定义Spark是一个开源的大数据处理框架，其主要特点是高性能、易用性以及可扩展性。

涤生大数据·2024-02-08 14:57

【大数据面试题】Flink第一弹60连发

感谢胖子大佬提供的企业面试题。本文因为时间关系只有部分答案，后续的答案小编会持续补全，请持续关注本系列。年后升职加薪就靠它了。胖子大佬就在交流群里，需要加群的公众号回复【加群】。更多面试题可以参考：《Flink面试通关手册》1、Flink如何保证精确一次性消费Flink保证精确一次性消费主要依赖于两种Flink机制1、Checkpoint机制2、二阶段提交机制Checkpoint机制主要是当Fli

王知无(import_bigdata)·2024-02-08 14:26

温习大数据框架阿里Flink面试题

1、Flink如何保证精确一次性消费Flink保证精确一次性消费主要依赖于两种Flink机制1、Checkpoint机制2、二阶段提交机制Checkpoint机制主要是当Flink开启Checkpoint的时候，会往Source端插入一条barrir，然后这个barrir随着数据流向一直流动，当流入到一个算子的时候，这个算子就开始制作checkpoint，制作的是从barrir来到之前的时候当前算

Coding路人王·2024-02-08 14:26

大数据面试题之 Flink

Flink基础架构组成？Flink程序在运行时主要有TaskManager，JobManager，Client三种角色。JobManager是集群的老大，负责接收FlinkJob，协调检查点，Failover故障恢复等，同时管理TaskManager。包含：Dispatcher、ResourceManager、JobMaster。TaskManager是执行计算的节点，每个TaskManager负

尚硅谷铁粉·2024-02-08 14:26

【大数据面试】Flink 04：状态编程与容错机制、Table API、SQL、Flink CEP

六、状态编程与容错机制1、状态介绍(1)分类流式计算分为无状态和有状态无状态流针对每个独立事件输出结果，有状态流需要维护一个状态，并基于多个事件输出结果(当前事件+当前状态值)(2)有状态计算举例窗口复杂事件处理：一分钟出现两次流与other的关联操作2、有状态的算子数据源source，数据存储sink都是有状态的状态与算子相关联，有两种类型的状态：算子状态和键控状态(1)算子状态(operato

哥们要飞·2024-02-08 14:25

大数据常见面试题

大数据常见面试题1、MySQL索引有哪些？

ChlinRei·2024-02-08 14:25

【大数据面试题】004 Flink状态后端是什么

一步一个脚印，一天一道大数据面试题。在实时处理中，状态管理是十分常用的。比如监控某些数据是否一直快速增长。那就需要记录到之前的状态，数值。那作为最热门的实时处理框架，Flink对状态管理是有一套的。

Jiweilai1·2024-02-08 14:25

java和javascript的区别和联系

区别设计目的和用途：Java是一种通用的、面向对象的编程语言，设计用于在各种平台上（如Windows、Mac、Linux、Android等）运行，广泛应用于企业级应用、移动应用（特别是Android应用）、大数据

Persistence is gold·2024-02-08 14:19

大数据概念与术语简介

介绍大数据是一个总称，用于描述从大型数据集中收集、组织、处理和获取见解所需的非传统策略和技术。

白如意i·2024-02-08 14:38

报备系统助力疫情防控更精准及时

为进一步做好疫情防控工作，我乡上线使用了河南省“来（返）豫人员社区（村）报备系统”，运用大数据手段提前预警、有效溯源、精准掌握、联防联控，以更加数字化、智能化的方式丰富我乡疫情防控手段，减轻基层疫情防控人员的工作负担

汉胡萝卜·2024-02-08 12:20

2.Kafka生产过程

三、Kafka生产过程分析1.写入方式producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高

chongweiLin·2024-02-08 12:56

【20210804】今日十点感悟

可以给自己缓冲的时间，但最好不要太长；2、最好一件事，比同时做几件事，得到的利益更大；3、遇事不要想当然，都排除几个原因；4、这个世界上的美食有很多，没事多研究研究；5、喜欢吃的东西不一定要点外卖，也可以自己学；6、大数据也不一定准确

邱小美是Kelly·2024-02-08 12:24

大数据技术闲侃之-鹰隼试翼风尘翕张

前言似乎是需要把一系列串起来，继走出校门、岗位选择之后，现在又开始卷职业规划了，有同学提出想了解了解职业规划的事情。写这篇文章也是因为之前做了个开头，后续持续很久放在记事本上面吃灰了。这段时间呢，组里有3位刚从校园的同学进来，组里年龄瞬间拉低了一个很大的水平，不管愿不愿意，反正生理年龄上来了一场风暴式的洗牌，主要找工作这个事情上如果相同水平的话，肯定越小的未来潜力越大嘛。我自己也是参与到了这些新鲜

敏叔V587·2024-02-08 11:41

mac docker 宿主机和容器间网络打通

从我过去多次学习大数据组

敏叔V587·2024-02-08 11:10

＜网络安全＞《19 安全态势感知与管理平台》

1概念安全态势感知与管理平台融合大数据和机器学习技术，提供可落地的安全保障能力，集安全可视化、监测、预警和响应处置于一体。

Ealser·2024-02-08 11:30

No.2大数据入门 | 环境搭建：jdk1.8安装及环境配置

上一篇文章我们安装了虚拟机以及linux操作系统，接下来就要安装在操作系统上运作的大数据核心hadoop分布式系统基础架构！

滚滚红尘_8133·2024-02-08 11:43

影响世界的女性

前段时候人工智能AI的问世让我们惊叹到科技的进步，我们的大数据时代又开启了新的征途。

清源李·2024-02-08 11:21

小白解说之Prometheus监控入门

一、开源监控方案开源监控系统种类繁多，随着这么多年技术的革新，云计算大数据等技术的发展,目前还比较流行的是Prometheus、Nightingale、Open-falcon、Zabbix.大家感兴趣可以自行

小白说互联网·2024-02-08 11:43

【深度学习】“智能皮肤：深度学习驱动的‘智慧之眼‘应用如何革新皮肤病诊疗未来“

这个革新性的故事始于一场科研马拉松，一群跨学科的研究者们汇集了全球范围内的皮肤病学数据，构建了一个前所未有的庞大数据库。

德天老师·2024-02-08 11:25

Python在无人机器狗

大数据处理能力：无人机器狗可能会产生大量的传感器数据和图像数据

python无人驾驶医学芯片·2024-02-08 11:43

智领云独家技术支持，第十届全国高校新一代信息技术暑假师资研修班隆重开营

当前，以人工智能、大数据、云计算等为代表的新技术，驱动人类社会快速进入以数字化应用为基础的智能时代。在此背景下，数字化成为催生教育结构变革的重要力量。

智领云科技·2024-02-08 10:31

我的理想

大数据工程学院19计本2班沙仕康每个人都会有理想，有的人理想很远大，很有抱负。而有的很渺小，各不相同。我的理想却是飘摇不定的，一直在变。

19计本二班·2024-02-08 10:40

Spark streaming batch运行时间过长问题02

继续排查发现，在用Spark读取Kafka数据之后，由于数据通过Kafka读取后是逗号分隔的字符串，但是为了解决字符串某些字段中还有逗号的问题，只能使用正则表达式匹配，导致性能过慢。

kk_io·2024-02-08 10:01

扔了又如何

大数据太可怕了，前几天写了篇关于不想评职称的文章，结果这些天，各个平台推送给我的文章几乎都与此有关。还有一些劝人放下的文章，我也点进去看了一些，聊以自慰。说实在，对评职称这件事，我是真的放下了的。

苠苠的日常·2024-02-08 09:00

400集！分享珍藏很久的Python学习路线！（附资料）

Python一直有胶水语言之称，应用场景相当广泛，不止有爬虫、数据分析，更可以加入到WEB、大数据、AI的应用池之中，而且开发效率相当恐怖。

smley·2024-02-08 09:46

Flink Checkpoint过程

Checkpoint使用了Chandy-Lamport算法流程1.正常流式处理（尚未Checkpoint）如下图，Topic有两个分区，并行度也为2，根据奇偶数我们假设任务从Kafka的某个Topic中读取数据

orange大数据技术探索者·2024-02-08 09:49

Flink Format系列(2)-CSV

Flink的csv格式支持读和写csv格式的数据，只需要指定'format'='csv'，下面以kafka为例。

sf_www·2024-02-08 09:48

大数据毕业设计PySpark+PyFlink航班预测系统飞机票航班数据分析可视化大屏机票预测机票爬虫飞机票推荐系统大数据毕业设计计算机毕业设计

博主介绍：✌全网粉丝100W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久，选择我们就是选择放心、选择安心毕业✌由于篇幅限制，想要获取完整文章或者源码，或者代做，可以给我留言或者找我聊天。感兴趣的可以先收藏起来，还有大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，希望帮助更多的人。1.DrissionPage自动化Python爬虫工具采

B站计算机毕业设计超人·2024-02-08 09:17

聚鲸融从数字经济角度解读互联网产业发展

从云计算、大数据到人工智能、区块链,数字技术的快速发展为互联网产业带来了前所未有的机遇。聚鲸融紧跟数字技术发展趋势,为

2301_79004341·2024-02-08 09:11

storm整合kafka

maven4.0.0storm-kafka-mysqlstorm-kafka-mysql0.0.1-SNAPSHOTjarstorm-kafka-mysqlUTF-8javaxjavaee-api8.0providedorg.glassfish.webjavax.servlet.jsp.jstl1.2.2org.apache.stormstorm-core0.9.5provided

piziyang12138·2024-02-08 09:01

Springboot整合Redis使用RedisTemplate操作redis五大类型用法详解

1、案例说明springboot整合redis之后，提供了操作redis的简便方式通过通用对象redisTemplate方式操作String,Hash,List,SetSortSet五大数据类型本案例中使用

雾林小妖·2024-02-08 09:48

推荐频道

大数据-KAFKA