kafka源码分析走读-k

读取hdfs上snappy压缩文件并发送kafka的两种方式速度测试

最近有一个需求，因为第一次做，踩了许多坑，故在此记录一下需求背景：现在hdfs上有一份snappy压缩的文件，要把这份文件中的数据读出来并发送给kafka解决思路平时我90%的时间都是在消费kafka，
今天上上签·2025-03-26 04:40

「React源码分析」一. React开源项目概览

2021SC@SDUSCReact简介正如React项目官网所说，React是一个「用于构建用户界面的JavaScript库」。人们往往也会将React与Vue、Angular作为前端三大框架进行对比（但如今Angular的热度也越来越小了，而前两者的社区规模和热度仍在不断发展壮大）。React相对其他前端框架（说前端框架其实并不准确，因为React早已不再单纯地面向“前端”，本身也并不是所谓的“
英国大爷扫广场·2025-03-26 03:58

K8S学习之基础五十：k8s中pod时区问题并通过kibana查看日志

k8s中pod默认时区不是中国的，挂载一个时区可以解决vipod.yamlapiVersion:v1kind:Podmetadata:name:counterspec:containers:-name:
云上艺旅·2025-03-26 02:23

K8S学习之基础四十九：dns只能解析短域名问题

之前遇到一个问题，kibana看不到es日志，通过后台查询发现解析不到es的完整主机名通过dig测试发现只能解析短域名，无法解析全域名通过排查发现pod中的/etc/resolv.conf中都有localdomain，大概路是这个问题引起，手工删除后测试，长短域名均可解析解决办法：暴力解决：手工修改服务器的/etc/resolv.conf，注释#searchlocaldomain锁定resolve
云上艺旅·2025-03-26 02:53

K8S部署EFK（fluentd）收集日志

首先部署es和kinbanes部署创建es-svckind:ServiceapiVersion:v1metadata:name:elasticsearchnamespace:logginglabels:app:elasticsearchspec:selector:app:elasticsearchclusterIP:Noneports:-port:9200targetPort:9200name:r
一个怀揣梦想的运维·2025-03-26 02:21

自动驾驶工程师之多传感器融合篇

结合技术原理与行业实践，分层解析关键问题：一、传感器联合标定的核心逻辑1.内参标定vs外参标定•内参标定：聚焦传感器内部参数校准例如相机焦距（(f_x,f_y)）、光心偏移（(c_x,c_y)）、畸变系数（(k_
niuTaylor·2025-03-26 02:21

ActiveMQ、RabbitMQ、Kafka、RocketMQ在消息回溯、消息堆积+持久化、消息追踪、消息过滤的区别

目录1.消息回溯2.消息堆积+持久化3.消息追踪4.消息过滤ActiveMQ、RabbitMQ、Kafka、RocketMQ在消息回溯、消息堆积+持久化、消息追踪、消息过滤等方面各有其独特的特点和优势。
点滴~·2025-03-26 01:19

Ray 源码分析(16)—Ray Serve

前言RayServe是一个可扩展的模型服务库，用于构建在线推理API。Serve与框架无关，因此你可以使用一个单一的工具包来服务从使用PyTorch、TensorFlow和Keras等框架构建的深度学习模型，到Scikit-Learn模型，再到任意Python业务逻辑的所有内容。它具有多项用于服务大语言模型的特性和性能优化，例如响应流、动态请求批处理、多节点/多GPU服务等。据说OpenAI背后用
Jim.Li·2025-03-26 01:15

Ray 源码分析系列(10)—stats

Overviewsrc/ray/stats下面包含了所有要采集的指标，这些指标都是以opencensusproto的格式进行存放，在可视化工具里面用promethus和grafana进行展示。
Jim.Li·2025-03-26 01:45

Ray 源码分析系列(6)—CoreWorker

CoreWorkerCoreWorker是Ray中最核心的组件之一,它封装了分布式系统的复杂性,为上层应用提供简单统一的编程模型。它提供了任务执行、对象管理、Actor调用等核心功能，每个组件都有明确的职责划分，通过良好的接口设计实现了功能解耦和高效协作。核心文件功能总结文件名主要类核心功能关键特性core_worker.h/ccCoreWorker工作进程管理-任务提交执行-对象存取-Actor
Jim.Li·2025-03-26 01:45

Ray 源码分析系列(2)—编译

编译步骤1.下载代码仓库gitclonehttps://github.com/ray-project/ray.git2.下载官方镜像由于习惯用gpu的镜像开发与调试，直接来个gpu版本的。当然这个是非必须的，也可以直接用conda创建虚拟环境，总之隔离主机环境十分必要。dockerpullrayproject/ray:latest-gpu3.安装依赖3.1虚拟环境#创建虚拟环境myenvconda
Jim.Li·2025-03-26 01:45

LeeCode题库第1423题

每次行动，你可以从行的开头或者末尾拿一张卡牌，最终你必须正好拿k张卡牌。你的点数就是你拿到手中的所有卡牌的点数之和。给你一个整数数组cardPoints和整数k，请你返回可以获得的最大点数。
苦学AI的小猪·2025-03-26 00:09

leetcode hot100 合并k个升序链表

代码测试用例测试用例测试结果23.合并K个升序链表已解答困难相关标签相关企业给你一个链表数组，每个链表都已经按升序排列。请你将所有链表合并到一个升序链表中，返回合并后的链表。
chenziang1·2025-03-25 23:34

PCL点云学习（2）点云拓扑结构

一、k-dTree点云分解1.1kd树的创建KdTreeFLANNkdtree;pcl::KdTreeFLANN是PCL中用于高效空间搜索的KD树，通过pcl::KdTreeFLANNkdtree;创建
清风墨竹-·2025-03-25 22:26

Python深度学习框架：用神经网络预测股市，科学or玄学？

小伙伴们，今天我们不谈K线，不谈MACD，我们来聊聊如何用Python的深度学习框架，让神经网络帮你"算命"——啊不，是预测股市走势！
西蒙斯.果·2025-03-25 22:24

2024年河南省职业院校 技能大赛高职组 “大数据分析与应用” 赛项任务书（四）

离线数据处理（25分）子任务一：数据抽取任务三：数据采集与实时计算（20分）任务一：实时数据采集任务四：数据可视化（10分）子任务一：用柱状图展示各省份消费额的中位数任务五：综合分析（20分）子任务一：Kafka
落寞的魚丶·2025-03-25 19:32

QT USB设备开发

QTUSB设备开发使用AI技术辅助生成QT界面美化视频课程QT性能优化视频课程QT原理与源码分析视频课程QTQMLC++扩展开发视频课程免费QT视频课程您可以看免费1000+个QT技术视频免费QT视频课程
QT性能优化QT原理源码QT界面美化·2025-03-25 19:28

印度股票数据API对接文档

1.接口概述StockTV提供印度股票市场的实时行情数据接口，包括：印度NSE和BSE交易所的股票实时行情指数数据(Nifty50,SENSEX等)历史K线数据公司基本信息IPO新股信息涨跌排行榜支持HTTPRESTAPI
·2025-03-25 18:34

云原生周刊丨CIO 洞察：Kubernetes 解锁 AI 新纪元

开源项目推荐DRANETDRANET是由谷歌开发的K8s网络驱动程序，利用K8s的动态资源分配（DRA）功能，为高吞吐量和低延迟应用提供高性能网络支持。
·2025-03-25 18:32

云原生周刊：Ingress-NGINX 漏洞

开源项目推荐TerraformTerraform是一个开源基础设施管理工具，通过与K8s的集成，帮助自动化机器学习工作流的部署。
·2025-03-25 18:30

【行业应用篇】【2024年中国人工智能各行业应用研究报告】

行业分类对照表行业代码行业名称行业代码行业名称A农、林、牧、渔业K房地产业B采矿业L租赁和商务服务业C制造业M科学
再见孙悟空_·2025-03-25 18:51

Kafka自定义分区机制

文章目录1.如何自定义分区机制2.示例1.如何自定义分区机制若需要使用自定义分区机制，需要完成两件事：1)在producer程序中创建一个类，实现org.apache.kafka.clients.producer.Partitioner
weixin_44231698·2025-03-25 16:08

Kafka 之自定义消息拦截器【Kafka 拦截器】

拦截器的核心思想就是运行应用程序在不修改业务逻辑的前提下，动态的实现一组可插拔的事件处理器链，它可以在业务链路中的前后各个点进行对应的拦截，做一些统一的处理，SpingMVC的拦截器大家都了解，本篇我们来分享一下Kafka
码农爱java·2025-03-25 16:37

碰一碰发视频源码开发搭建流程解析

典型场景：餐饮店在餐桌放置NFC互动卡，食客手机轻触即可将美食视频同步至D音/K手/小H书等平台，从触碰到发布全程不超过5秒。
V_HY14762·2025-03-25 15:05

12、Kafka拦截器

kafkaproducer拦截器作用：1、producer发送前对消息做一些预处理；2、producer发送成功后做一些后处理；1、生产者实现ProducerInterceptorTimeInterceptor.javapublicclassTimeInterceptorimplementsProducerInterceptor
java爱分享·2025-03-25 15:34

Kafka拦截器

文章目录1.定义2.生产者拦截器2.1示例3.消费者拦截器3.1示例1.定义拦截器主要用于实现clients端的定制化需求，包括消息在生产者发送到Kafka或者在消费者接收消息之前进行一些定制化的操作。
weixin_44231698·2025-03-25 15:04

STC8H8K64U——I2C（PCF8591 中断方式）

i2c.h#ifndefI2C_H#defineI2C_H#includesbitSCL=P3^2;sbitSDA=P3^3;staticbitI2C_Flage;/*P_SW2*/#defineEAXFR0x80;//XFR寄存器使能#defineI2C_S0x30;//I2C功能引脚切换,SCL：P3.2，SDA:P3.3/*I2C配置寄存器I2CCFG*/#defineENI2C0x80//
往昔的恒纳兰那·2025-03-25 15:32

尚硅谷大数据项目【电商数仓6.0】-Kafka安装-3

解压tar-zxvf/opt/software/kafka_2.12-3.3.1.tgz-C/opt/module/mvkafka_2.12-3.3.1/kafkacd/opt/module/kafka
Xiaoweidumpb·2025-03-25 15:32

K8S-Demo集群实践13：部署集群CoreDNS

K8S-Demo集群实践13：部署集群CoreDNS一、下载CoreDNS二、修改部署脚本deploy.sh三、部署CoreDNS并测试1、生成coredns.yaml并部署2、查看服务状态3、创建一个
jasonhe2018·2025-03-25 14:59

25 - K 个一组翻转链表

综合题解：K个一组翻转链表（迭代法）解题思路本问题要求以常数空间复杂度完成链表分组翻转。核心思想是通过哑节点（dummynode）简化边界处理，并利用指针分段操作实现每组翻转。
大法师安东尼ds·2025-03-25 14:57

从android源码分析activity的启动流程【一】

从android源码分析activity的启动流程本文从源码角度去深入分析、探索activity的真正启动流程，为后续hook主流框架的探索，打下夯实基础。
itbird01·2025-03-25 12:42

AI产品经理修炼手册：爆肝学习路线，一文掌握全面成长指南！AI产品经理=大模型产品经理

AIGC最近的面试机会依然非常多，陆陆续续收到很多学生的报喜，薪资10K–>19K；13K–>20K；20K–>32K；总包从45W–>60W，57W–>110W等等，所以转行要趁早呀❤️在这里分享一套
AI大模型-大飞·2025-03-25 10:59

基于powerlevel10k的mac terminal，速度超快(无需oh-my-zsh)

没有安装zsh命令的话，只需要brewinstallzshpowerlevel10k安装打开此链接github，进入到库里面，按照安
帅气的风·2025-03-25 10:25

Linux：一些命令记录

du-sh/usr/local/*查看剩余内存：free-mlinux下获取占用CPU资源最多的10个进程，可以使用如下命令组合：psaux|head-1;psaux|grep-vPID|sort-rn-k+
dingcho·2025-03-25 07:06

第6关：部分快速排序-用分治法实现

任务描述本关任务：输入正整数k，在数组(无序）中找出第k个最小的数。
ye_min_·2025-03-25 06:00

矩阵指数的定义和基本性质

1.矩阵指数的定义矩阵指数eAte^{\boldsymbol{A}t}eAt定义为幂级数的形式：eAt=∑k=0∞(At)kk!
爱代码的小黄人·2025-03-25 06:59

【RRF】递归排序融合 1 / (k + i) 核心思想

ReciprocalRankFusion(RRF)是一种用于合并多个排名列表的算法，其核心公式是1/(k+i)，其中：k是一个常数，用于控制权重的衰减速度。
星星点点洲·2025-03-25 06:23

解线性方程组的直接方法：高斯消元法与其程序实现

解线性方程组的直接方法：高斯消元法与其程序实现1.顺序高斯消元法设线性方程组Ax=b\boldsymbol{Ax}=\boldsymbol{b}Ax=b如果akk(k)≠0a_{kk}^{\left(k
^ω^宇博·2025-03-25 05:20

Binder机制源码分析

Binder机制源码分析一、前言Binder是Android系统中最重要的进程间通信机制，它不仅是应用程序和系统服务通信的基础，也是Android系统安全机制的重要组成部分。
Ya-Jun·2025-03-25 05:18

题型笔记 | Apriori算法

若k>1k>1k>1，重复步骤(4)(4)(4)、(5)(5)(5)和(6)(6)(6)由LkL_kLk执行连接和剪枝操作，产生候选k+1k+1k+1项集的集合Ck+1C_{k+1}Ck+1。
Mryan2005·2025-03-25 05:14

Kubernetes 运维工程师必备：K8s 基础面试题精编（二）

Kubernetes运维工程师必备：K8s基础面试题精编（二）1.介绍下service资源对象及其使用？2.介绍下jobs与cronjobs及其使用？
江湖有缘·2025-03-25 04:40

必问K8S面试题：Pod 处于 Pending 状态的原因

这又是一道必问的K8S面试题，大家面试的时候能说出6-7点就基本没啥问题了~当你发现你的KubernetesPod一直处于Pending状态时，不要慌张！
运维爱背锅·2025-03-25 04:39

Postgresql无法连接问题汇总

一.数据库服务未启动❌报错信息：[postgres@k8s-node2~]$psqlpsql:couldnotconnecttoserver:NosuchfileordirectoryIstheserverrunninglocallyandacceptingconnectionsonUnixdomainsocket
宇宙超级无敌天下第一雷霆霹雳爆龙战士·2025-03-25 03:02

Kafka 面试备战指南

Kafka面试备战指南一、基础概念与架构什么是Kafka？核心设计目标是什么？答：Kafka是分布式流处理平台，核心设计目标为高吞吐、低延迟、高扩展性。
宋发元·2025-03-25 02:26

机器学习常见模型

目录线性回归模型逻辑回归模型支持向量机决策树随机森林K近邻算法朴素贝叶斯算法长短期记忆网络（LSTM）深度信念网络（DBN）线性回归模型线性回归模型：就像我们找一条直线，让它尽可能地靠近一些数据点。
A宝呀·2025-03-25 02:55

spring+k8s 功能说明

以下是一个结合Kubernetes（k8s）和SpringBoot的完整实例，涵盖应用开发、容器化、部署到Kubernetes集群的全流程。
LCY133·2025-03-25 01:17

机器学习-分类模型-非线性模型

支持向量机(SVM)通过核函数处理非线性分类（如RBF核）小样本非线性数据svm.SVCK近邻(K-NearestNeighbors)基于局部相似性，无需训练模型小数据量，特征空间均匀neighbors.KNeighborsClassifier
恸流失·2025-03-25 01:17

【华为OD-E卷 - 求符合条件元组个数 100分（python、java、c++、js、c）】

【华为OD-E卷-求符合条件元组个数100分（python、java、c++、js、c）】题目给定一个整数数组nums、一个数字k，一个整数目标值target，请问nums中是否存在k个元素使得其相加结果为
CodeClimb·2025-03-25 01:46

关于Docker是否被淘汰&虚拟机实现连接虚拟专用网络&Ubuntu 22.04 LTS部署Harbor仓库全流程

1.今天的第一个主题：第一个主题是关于Docker是否真的被K8S弃用，还是可以继续兼容，因为我们知道在去年的时候，由于不可控的原因，docker的所有国内镜像源都被Ban了，再加上K8S自从V1.20
Gold Steps.·2025-03-25 00:14

Kubernetes(k8s)的Pod部署到指定的node(节点)

1.在worker节点(computer),配置SSD#kubectllabelnodecomputerdisktype=ssdnode/computerlabeled#kubectlgetnode--show-labelsNAMESTATUSROLESAGEVERSIONLABELScomputerReadyworker23dv1.17.0beta.kubernetes.io/arch=amd6
路来了·2025-03-25 00:13
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他