kafka运维大数据第2页

月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线

决定暂时放弃就业，先准备考研，买了数学和408的资料书3月9日-3月13日，因疫情原因，宿舍区暂封，这段时间在准备考研，发现内容特别多3月13日-3月19日，大部分时间在刷Hadoop、Zookeeper、Kafka

「已注销」·2024-09-14 23:30

分布式消息队列Kafka

分布式消息队列Kafka简介：Kafka是一个分布式消息队列系统，用于处理实时数据流。消息按照主题（Topic）进行分类存储，发送消息的实体称为Producer，接收消息的实体称为Consumer。

叶域·2024-09-14 22:55

科锐国际（计算机类），汤臣倍健，中建三局，宁德时代，途游游戏，得物，顺丰，康冠科技24春招内推

职能类、IT技术类、商业分析类、生产运营类【内推链接】https://sourl.cn/JSDhLU【推荐码】ES3W2T②科锐国际(OD项目组--计算机专场)【招聘岗位】软件开发工程师、软件测试工程师、大数据开发工程师

weixin_53585422·2024-09-14 22:54

大数据之flink与hive

其实吧我不太想写flink，因为线上经验确实不多，这也是我需要补的地方，没有条件创造条件，先来一篇吧flink：高性能低延迟流批一体的分布式计算框架基于事件时间对实时数据精准处理快速响应支持批处理，高效离线分析和数据挖掘数据仓库的引擎丰富数据源/接收器，集成多种数据存储格式和源，比较常见就是咱们今天的主题hive了checkpoint恢复机制，故障恢复快速恢复计算任务分布式弹性扩展，据业务灵活增加

星辰_mya·2024-09-14 21:17

新一代网络研发利器——开物™，让用户每一行代码都贡献在核心创新

随着云计算、人工智能、大数据的快速发展，现有的IT系统越来越复杂，传统网络技术难以满足新的业务需求，DPU技术开始崭露头角，越来越多的企业与研究机构认识到高性能网络处理技术带来的巨大价值，并积极开展创新与实践

中科驭数·2024-09-14 20:13

Java中的大数据处理框架对比分析

Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。

省赚客app开发者·2024-09-14 20:41

K8S学习之PV&&PVC

如典型的mysql，kafka，zookeeper等等。在我们有比较优秀的商业存储的前提下，非常推荐使用有状态服务进行部署，计算和存储分离那是相当的爽的。

david161·2024-09-14 20:10

Java 学习路线：语言、框架、中间件与数据库

Java是一门功能强大、应用广泛的编程语言，适用于企业级应用、Web开发、大数据处理、Android开发等各种场景。

高危型·2024-09-14 20:07

揭秘OozieBundle：架构组件与核心概念

揭秘OozieBundle：架构、组件与核心概念1.背景介绍在大数据领域，数据处理工作流程通常由多个复杂的作业组成,这些作业之间存在着依赖关系。

光剑书架上的书·2024-09-14 18:59

前端发布 CDN缓存

每次都需要去找运维刷CDN…让我彻底记住了CDN缓存CDN（ContentDeliveryNetwork，内容分发网络）是一种广泛使用的互联网技术，旨在提高用户访问网站的速度和可靠性。

跳动的世界线·2024-09-14 15:36

如何快速的构建企业运维可视化大屏

基于AIOps理念研发的新一代运维监大屏全盘展示IT运行状态，减轻运维人员的重复性工作量，提高IT系统排错速度，加速运维知识学习积累。

益达_glmsb·2024-09-14 13:19

海量数据查找最大K个值：数据结构与算法的选择

在处理大数据集时，经常需要找到数据集中最大的K个元素，这样的需求在很多领域都有广泛应用，例如推荐系统中寻找评分最高的K个商品、数据分析中找出最重要的K个特征、搜索引擎中找到排名前K的结果等等。

星辰@Sea·2024-09-14 12:18

Google大数据架构技术栈

数据存储层ColossusColossus作为Google下一代GFS（GoogleFileSystem）。GFS本身存在一些不足单主瓶颈GFS依赖单个主节点进行元数据管理，随着数据量和访问请求的增长，出现了可扩展性瓶颈。想象一下，只有一位图书管理员管理着一个庞大的图书馆——最终，事情变得难以承受。元数据可扩展性有限主节点上的集中元数据存储无法有效扩展，影响了性能并妨碍了PB和EB级数据的管理。实

剑海风云·2024-09-14 10:37

绿色智慧档案馆构想之智慧档案馆环境综合管控一体化平台

智慧档案平台基于物联网、云计算、大数据、档案人健康防护、档案安全防护等新技术，实现了对档案的收、管、存、用全业务流程管理；实现了对档案实体资源与数字资源的集中建设与管理；实现

盛世宏博智慧档案·2024-09-14 10:32

大数据时代，我们都是透明人

新时代有几个特点，其中之一便是信息技术的发展让我们生活更便捷，与此同时，各行业获取客户的信息也更方便和完整，收集到的数据再加以运用又会助力其他产业的更新和进步，这就是大数据的作用。

随心追梦人·2024-09-14 08:27

Kafka系列之：kafka命令详细总结

Kafka系列之：kafka命令详细总结一、添加和删除topic二、修改topic三、平衡领导者四、检查消费者位置五、管理消费者群体一、添加和删除topicbin/kafka-topics.sh--bootstrap-serverbroker_host

快乐骑行^_^·2024-09-14 08:55

搭建Kafka+zookeeper集群调度

前言硬件环境172.18.0.5kafkazk1Kafka+zookeeperKafkaBroker集群172.18.0.6kafkazk2Kafka+zookeeperKafkaBroker集群172.18.0.7kafkazk3Kafka

krb___·2024-09-14 07:17

使用MLOps进行AI部署的顶级公司

自从AI技术进入主流领域以来，MLOps（机器学习运维）已成为在生产环境中部署和管理机器学习模型的一系列实践，这对企业的成败起着关键作用。

AI研报·2024-09-14 07:12

虚拟现实智能家居实训系统实训解决方案

随着科技的飞速发展，智能家居已成为现代生活的重要组成部分，它不仅极大地提升了居住的便捷性与舒适度，还推动了物联网、大数据、人工智能等前沿技术的融合应用。

武汉唯众智创·2024-09-14 06:10

命令行工具部署达梦数据库 DMDPC（BP 多副本架构）

解达梦数据库DPC集群的主要使用场景：DMDPC关注和解决的是大数据、计算与存储分离、高可用、支持全部的SQL标准、拥有完整的事务处理能力和集群规模能够动态伸缩的业务场景：大量的复杂查询操作要求优化器能够生成优良的执行计划

百代繁华一朝都-绮罗生·2024-09-14 06:39

ansible入门

ansible是目前最受运维欢迎的自动化运维工具，基于Python开发，集合了众多运维工具（SaltStackpuppet、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能

打败404·2024-09-14 04:56

云平台下存储运维的变革与实践

【摘要】未来存储监控平台可结合整体智能运维分层立体的监控体系，实现从基础设施到租户业务的端到端全覆盖的立体监控，提供基础监控、业务监控、链路监控等方面通用平台能力，将监控平台+云服务+一线运维等各云服务监控整合基于监控平台实现自己特定业务监控

宋罗世家技术屋·2024-09-14 03:50

国家等保 2.0 时代，你的移动安全要如何防护？

在2017年5月等保制度顺应时代要求一跃升级到2.0，不仅安全等级的评定条件更加严格，保护要求也扩展到移动互联、云计算、大数据、物联网和工业控制等新技术和新应用领域。在

Reneeeeee412·2024-09-14 02:38

构建Java微服务架构的CI/CD流程

随着微服务架构的流行，CI/CD已成为开发和运维流程中的关键部分，通过自动化的构建、测试和部署，能够大幅提高开发效率和系统可靠性。什么是CI/CD？CI/C

微赚淘客系统@聚娃科技·2024-09-14 02:39

Kafka和Pulsar深入解析

Kafka多租户：单租户系统数据迁移：依赖MirrorMaker，需要额外维护。市场上也有ConfluentReplicator等供应商工具。分层存储：由供应商提供商业使用。

jasen91·2024-09-14 01:39

云原生应用——软件的未来

因此，云原生应用应运而生，它代表了软件开发和运维的新范式，预示着软件的未来。什么是云原生应用？云原生应用是指那些专门为在云环境中运行而量身定制和优化的应用程序。

快乐非自愿·2024-09-14 01:37

Psutil：Python 系统和进程监控利器

引言在现代IT运维和系统管理中，实时监控系统资源和进程状态是一项至关重要的任务。

ivwdcwso·2024-09-14 00:31

利用zabbix监控ogg进程(Windows平台)

Linux运维老纪·2024-09-14 00:25

TDengine和DolphinDB哪个更好，哈哈哈哈，闲来无聊分析了一下。(1)

TDengine是专为时序数据设计的，针对的是物联网、工业互联网、IT运维场景。这些场景是不需要特殊的查询函数的，更关心的是写入速度、查询速度。

2401_84023482·2024-09-14 00:54

计算机毕业设计选题推荐-基于Python框架项目推荐（中）

博主介绍：✌十余年IT大项目实战经验、在某机构培训学员上千名、专注于本行业领域✌技术范围：Java实战项目、Python实战项目、微信小程序/安卓实战项目、爬虫+大数据实战项目、Nodejs实战项目、PHP

计算机毕设大佬·2024-09-13 22:14

CentOS 运维常用的shell脚本

文章目录一、操作系统磁盘空间查看实时获取系统运行状态获取cpu、内存等系统运行状态获取系统信息二、应用程序获取进程运行状态查看有多少远程的IP在连接本机三、用户管理统计当前Linux系统中可以登录计算机的账户有多少个创建用户四、自动化管理自动备份日志文件监控的页面地址，对tomcat状态进行重启或维护实时监控本机内存和硬盘，剩余空间不足发送报警邮件一、操作系统磁盘空间查看disk_info.shd

一碗情深·2024-09-13 19:01

Linux系统部署Kafka教学

第一步：Zookeeper安装（准备工作）1、解压安装将安装包上传到/opt/software目录下，解压并修改名称tar-zxvfapache-zookeeper-3.5.7-bin.tar.gz-C/opt/module/mvapache-zookeeper-3.5.7-bin/zookeeper2、配置服务器编号1)在/opt/module/zookeeper-3.5.7/这个目录下创建zk

情书学长·2024-09-13 18:26

VBA 把Excel表当做一个大数据库来操作

VBA把Excel表当做一个大数据库来操作SubSqlQueryBJD(strBillNoAsString)DimstrSqlAsStringDimarrCol()AsStringDimstrLineWhereDimarrWhere

码猩·2024-09-13 18:52

【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（十一）

本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中

向往风的男子·2024-09-13 18:51

【2023年】云计算金砖牛刀小试3

A场次题目：OpenStack平台部署与运维业务场景：某企业拟使用OpenStack搭建一个企业云平台，用于部署各类企业应用对外对内服务。

geekgold·2024-09-13 17:17

【2023年】云计算金砖牛刀小试

A模块题目OpenStack平台部署与运维任务1私有云平台环境初始化（6分）IP主机名192.168.157.30controller192.168.157.31compute1.配置主机名把controller

geekgold·2024-09-13 17:47

【2023年】云计算金砖牛刀小试2

A场次题目：Openstack平台部署与运维control172.17.31.10compute172.17.31.20compute任务1私有云平台环境初始化1.初始化操作系统使用提供的用户名密码，登录竞赛云平台

geekgold·2024-09-13 17:47

网络安全（黑客）自学

一、什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。

白帽子凯哥·2024-09-13 17:16

网络安全（黑客）——自学2024

经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。作为一个合格的网络安全工程师，应该做到攻守兼备，毕竟知己知彼，才能百战百胜。

白帽子黑客-宝哥·2024-09-13 16:43

入门网络安全工程师要学习哪些内容

如果你以后想成为安全产品工程师，学的内容侧重点就和渗透测试工程师不一样，如果你想成为安全开发工程师，学的侧重点就和安全运维工程师不一样。网络安全工程师学的东

白帽黑客2659·2024-09-13 16:43

淘宝购物攻略,省钱技巧大揭秘!

很早之前就已经开始实行网购返利，但还是有那么一部分人不愿意相信，戒备心的驱使下网购一直都是原价，但用大数据告诉你淘宝一年返利好几亿，就我本人一个月返利都好几百，特别是在双十一那种电商节的时候返利提现上千很容易

测评君高省·2024-09-13 14:31

数仓开发之DWD层完整使用 (第五章)

ETL）2）新老访客状态标记修复（1）前端埋点新老访客状态标记设置规则（2）新老访客状态标记修复思路3）利用侧输出流实现数据拆分（1）埋点日志结构分析（2）分流日志分类（3）分流思路3、图解4、代码1）在KafkaUtil

小坏讲微服务·2024-09-13 13:22

Python基础知识进阶之正则表达式_头歌python正则表达式进阶

知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是

前端陈萨龙·2024-09-13 13:50

【计算机毕设-大数据方向】基于Hadoop的电商交易数据分析可视化系统的设计与实现

博主介绍：✌全平台粉丝5W+,高级大厂开发程序员，博客之星、掘金/知乎/华为云/阿里云等平台优质作者。【源码获取】关注并且私信我【联系方式】最下边感兴趣的可以先收藏起来，同学门有不懂的毕设选题，项目以及论文编写等相关问题都可以和学长沟通，希望帮助更多同学解决问题前言随着电子商务行业的迅猛发展，电商平台积累了海量的数据资源，这些数据不仅包括用户的基本信息、购物记录，还包括用户的浏览行为、评价反馈等多

程序员-石头山·2024-09-13 13:19

Kafka 应用场景

数据流处理：Kafka支持实时数据流处理，能够在数据流动时进行处理和分析，确保应用程序与最新信息保持同步！日志聚合：可以将来自不同来源的日志集中和聚合，简化应用程序的调试和监控！

zinuxer·2024-09-13 12:15

分布式离线计算—Spark—基础介绍

Spark各种概念之间的关系Executor的优点Spark运行基本流程Spark运行架构的特点Spark的部署模式Spark三种部署方式Hadoop和Spark的统一部署摘要：Spark是基于内存计算的大数据并行计算框架

测试开发abbey·2024-09-13 11:11

Kafka的ack机制

ack=0/1/-1的不同情况：0：producer不等待broker的ack，broker一接收到还没有写入磁盘就已经返回，当broker故障时有可能丢失数据；1：producer等待broker的ack，partition的leader落盘成功后返回ack，如果在follower同步成功之前leader故障，那么将会丢失数据；-1：producer等待broker的ack，partition的

香山上的麻雀·2024-09-13 10:18

【大数据】如何读取多个Excel文件并计算列数据的最大求和值

导语：在数据分析和处理中，我们经常需要从多个Excel文件中提取数据并进行计算。本文将带您通过一个实用的Python教程，学习如何读取D盘目录下特定文件夹内的多个Excel文件，并计算特定列数据的最大求和值。文章目录一、准备工作二、教程步骤1.导入必要的库2.设置文件路径3.获取Excel文件列表4.选择文件5.初始化最大求和值6.指定求和的列索引7.读取Excel文件并计算列求和8.输出结果三、

熬夜的王·2024-09-13 10:04

大数据领域的深度分析——AI是在帮助开发者还是取代他们？

在大数据领域，生成式人工智能（AIGC）的应用正在迅速扩展，改变了数据科学家和开发者的工作方式。本文将从大数据的专业视角，探讨AI工具在这一领域的作用，以及它们是如何帮助开发者而非取代他们的。

阳爱铭·2024-09-13 09:32

python实现模糊逻辑_基于Python的大数据集模糊逻辑

我的团队一直致力于在两个大数据集上运行模糊逻辑算法。第一个(子集)大约是180K行，包含我们需要在第二个(超集)中匹配的人的姓名、地址和电子邮件。超集包含250万条记录。

takeiiii·2024-09-13 09:00

推荐频道

kafka运维大数据