海量日志接入 Serverless 应用降本70%以上

概述

随着互联网业务的快速发展，日志数据量日益庞大，传统的日志处理方式面临着成本高、扩展性差等问题。为了应对这一挑战，越来越多的企业开始转向更先进的解决方案——阿里云Elasticsearch Serverless。

本文档将探讨在日志场景下，使用阿里云Elasticsearch Serverless相较于基于ECS自建Elasticsearch集群的成本与性能优势，展示如何通过Serverless架构实现高达 70%以上的成本节约。

特性对比

传统方案：基于ECS自建Elasticsearch集群

  • 资源利用率低：在非高峰时段，可能会出现资源浪费；而在高峰期，则可能出现资源不足的问题。
  • 维护成本高：除了硬件成本，还需投入大量的人力资源进行集群的日常运维，包括集群监控、数据备份、安全防护、版本升级等。
  • 扩展性差：面对突发流量或数据量激增时，通常需要手动调整集群规模，这不仅耗时且存在一定的风险。

阿里云Elasticsearch Serverless方案

  • 按需付费：仅需为实际使用的资源支付费用，无需预购大量固定资源，有效降低了初期投入成本。
  • 自动扩缩容：根据业务需求自动调整计算与存储资源，确保服务稳定的同时避免了资源浪费。
  • 免运维：阿里云负责底层基础设施的管理和维护，用户可以专注于业务逻辑的开发，无需担心复杂的运维工作。

场景模拟

本文将通过真实的日志业务数据，进行一天的日志写入场景模拟：

1、 集团内某应用对应的业务曲线，压力曲线如下：（每日 12~13、22~23点高峰以每日为周期规律），写入用量：1.2k~5.4K 数据级 qps 的单 bulk 3MB 写入，不进行查询；海量日志接入 Serverless 应用降本70%以上_第1张图片

根据上述业务体量，如果通过基于ECS自建，按照CPU水位上限取 70%以上条件下，选型规格 ECS：24C48G/数据盘：2048GiB ESSD PL1(50000 IOPS) 云盘，单小时价格 ECS：¥ 4.68/数据盘：¥4.3008（系统盘、LB 等在此不做计入）， 6 节点 ES 自建集群单日价格：246(4.68+4.3008)=1293.2352。

若需对应其他规格，请自行计算费用比较；

ESSD PL0 承接以上写入吞吐有瓶颈，会导致自建集群在高压下写入队列堆积请求拒绝。吞吐上限见：

https://help.aliyun.com/zh/ecs/user-guide/block-storage-performance?spm=5176.ecs-console-storage_disk.console-base_help.dexternal.29b34df56NG88G&scm=20140722.S_help%40%40%E6%96%87%E6%A1%A3%40%4025382.S_RQW%40ag0%2BBB2%40ag0%2BBB1%40ag0%2Bhot%2Bos0.ID_25382-RL_%E5%9D%97%E5%AD%98%E5%82%A8-LOC_console~UND~help-OR_ser-V_4-P0_0

以下为 PL1 云盘的吞吐监控海量日志接入 Serverless 应用降本70%以上_第2张图片

2、 当日自建 ES 所在某 ECS 负载如下：
海量日志接入 Serverless 应用降本70%以上_第3张图片

3、现将同样的业务数据接入到Elasticsearch Serverless应用中，请求监控数据如下：
海量日志接入 Serverless 应用降本70%以上_第4张图片

  • serverless 应用在 02-09 0 点前后有写入计算资源增加是因为开启了数据整理功能（定期通过无损的force merge对索引进行整理，提升查询性能和优化存储空间，会带来额外的写入CU消耗）

性能相比自建更稳定

下图为客户端写入请求指标图

  • 相同 qps、吞吐下，自建 ES 的请求响应即使在低压时也存在上下波动、不稳定的情况；
  • 22:30 写入压力到高峰时，自建 ES RT 上涨明显； serverless ES 几乎不受影响；
  • 高压下自建集群出现请求失败情况，原因为写入线程池队列满集群拒绝新请求；

海量日志接入 Serverless 应用降本70%以上_第5张图片

根据实际的业务请求，Serverless应用能做到资源规划，贴合使用曲线

日志分析型集群主要体现在索引主分片数变化：

海量日志接入 Serverless 应用降本70%以上_第6张图片

上图可见：

  1. 【point 1】在水位下降后会保持一段时间的高主分片数，原因是主分片数不影响资源消耗，预防突发流量，等一段时间后会降至这一段时间判断可降的最低值；
  2. 【point 2】在水位高于当前已有主分片数时，若在可控范围内，则会等一定时间后升高至这一段时间判断的所需值；
  3. 【point 3】若水位超出可控范围，则会加快分片数升高的速度；

预期主分片数：系统对当前写入水位做出的主分片建议数

当前主分片数：当前正在写入的索引主分片数

存储数据压缩率相比自建有显著提升，进一步节省了存储成本 80%以上

海量日志接入 Serverless 应用降本70%以上_第7张图片

以上每日数据量总额达百亿级。可见，该数据集在 serverless 日志分析型集群总存储空间占比约为自建 ES 集群的六分之一。

成本相比自建得到显著降低 70%以上

按照Serverless日志分析型应用的收费标准，每小时收费CU统计如下：

该场景测试未发起查询压力，serverless 应用会默认按 5CU 查询进行最低查询资源计费

时段 serverless ES 日志分析型集群
（规格：自适应）		 自建 ES 集群
（规格： 6 * 24C 48G）
ecs.c6.6xlarge 按需付费
读CU消耗
1.2087元/CU/时		 写CU消耗
0.4544元/CU/时		 存储消耗
0.00021元/GB/时		 小时价
单价*消耗数据之和		 单 ECS 小时价：4.68 元/时
2T PL1 数据盘：4.3008 元/时
18:00-19:00 ¥ 6.0435 ¥ 7.2704 ¥ 0.0067 ￥13.3206 ¥ 53.8848
19:00-20:00 ¥ 6.0435 ¥ 9.0880 ¥ 0.0235 ￥15.1550 ¥ 53.8848
20:00-21:00 ¥ 6.0435 ¥ 10.2240 ¥ 0.0428 ￥16.3103 ¥ 53.8848
21:00-22:00 ¥ 6.0435 ¥ 11.5872 ¥ 0.0650 ￥17.6957 ¥ 53.8848
22:00-23:00 ¥ 6.0435 ¥ 12.7232 ¥ 0.0900 ￥18.8567 ¥ 53.8848
23:00-24:00 ¥ 6.0435 ¥ 12.7232 ¥ 0.1142 ￥18.8809 ¥ 53.8848
00:00-01:00 ¥ 6.0435 ¥ 8.6336 ¥ 0.1327 ￥14.8098 ¥ 53.8848
01:00-02:00 ¥ 6.0435 ¥ 4.7712 ¥ 0.1449 ￥10.9596 ¥ 53.8848
02:00-03:00 ¥ 6.0435 ¥ 3.4080 ¥ 0.1535 ￥9.6050 ¥ 53.8848
03:00-04:00 ¥ 6.0435 ¥ 4.0896 ¥ 0.1594 ￥10.2925 ¥ 53.8848
04:00-05:00 ¥ 6.0435 ¥ 2.7264 ¥ 0.1649 ￥8.9348 ¥ 53.8848
05:00-06:00 ¥ 6.0435 ¥ 2.7264 ¥ 0.1701 ￥8.9400 ¥ 53.8848
06:00-07:00 ¥ 6.0435 ¥ 3.1808 ¥ 0.1758 ￥9.4001 ¥ 53.8848
07:00-08:00 ¥ 6.0435 ¥ 4.0896 ¥ 0.1829 ￥10.3160 ¥ 53.8848
08:00-09:00 ¥ 6.0435 ¥ 5.4528 ¥ 0.1924 ￥11.6887 ¥ 53.8848
09:00-10:00 ¥ 6.0435 ¥ 6.3616 ¥ 0.2043 ￥12.6094 ¥ 53.8848
10:00-11:00 ¥ 6.0435 ¥ 6.8160 ¥ 0.2175 ￥13.0770 ¥ 53.8848
11:00-12:00 ¥ 6.0435 ¥ 6.8160 ¥ 0.2312 ￥13.0907 ¥ 53.8848
12:00-13:00 ¥ 6.0435 ¥ 10.2240 ¥ 0.2483 ￥16.5158 ¥ 53.8848
13:00-14:00 ¥ 6.0435 ¥ 7.4976 ¥ 0.2671 ￥13.8082 ¥ 53.8848
14:00-15:00 ¥ 6.0435 ¥ 5.6800 ¥ 0.2800 ￥12.0035 ¥ 53.8848
15:00-16:00 ¥ 6.0435 ¥ 5.4528 ¥ 0.2915 ￥11.7878 ¥ 53.8848
16:00-17:00 ¥ 6.0435 ¥ 5.6800 ¥ 0.3031 ￥12.0266 ¥ 53.8848
17:00-18:00 ¥ 6.0435 ¥ 6.1344 ¥ 0.3152 ￥12.4931 ¥ 53.8848
总计（元） ¥ 312.5778 ¥ 1293.2352

等比大流量估算

以上为单日写入统计，日常场景会考虑长期数据存储如 3 天热数据 14 天冷数据存储等。结合此特点，serverless成本仍有较大的压缩空间。而根据冷热存储大数据计费估算，ES Serverless 相对于 ES 自建节省约为 88.6 % 。

冷热存储大数据计费估算

如何开通 Elasticsearch Serverless 服务

Step 1：开通服务

第一次使用ES Serverless服务时需要开通服务。

  1. 登录Elasticsearch Serverless服务控制台。
  2. 在ES Serverless服务页面，单击立即开通。

海量日志接入 Serverless 应用降本70%以上_第8张图片

  1. 在服务开通页面，选中服务协议，单击立即开通，根据页面提示开通ES Serverless服务。

Step 2：创建应用

  1. 进入创建Serverless应用的页面。

海量日志接入 Serverless 应用降本70%以上_第9张图片

  1. 配置应用的基本信息。

选择应用选型为检索通用型（示例），其他参数保持默认或自定义。

  1. 配置应用的访问设置。
  2. 选择网络访问方式为公网访问(示例)，在公网访问白名单中添加本地设备的IP地址，以便使用本地设备访问Serverless应用的Kibana。

说明：配置应用公网访问或私网访问，请参见配置Serverless应用公网或私网访问。

  • 输入用户密码，登录Kibana时需要。

  1. 单击立即创建。

您可以在应用管理页面查看已创建的应用列表。等待应用状态变为运行中，即创建应用成功，后续可根据个人需求，尝试体验更多功能。

你可能感兴趣的:(海量日志接入 Serverless 应用降本70%以上)

  • C++11堆操作深度解析：std::is_heap与std::is_heap_until原理解析与实践
    文章目录堆结构基础与函数接口堆的核心性质函数签名与核心接口std::is_heapstd::is_heap_until实现原理深度剖析std::is_heap的验证逻辑std::is_heap_until的定位策略算法优化细节代码实践与案例分析基础用法演示自定义比较器实现最小堆检查边缘情况处理性能分析与实际应用时间复杂度对比典型应用场景与手动实现的对比注意事项与最佳实践迭代器要求比较器设计C++标
  • Flask框架入门：快速搭建轻量级Python网页应用 「已注销」 python-AIpython基础网站网络pythonflask后端
    转载：Flask框架入门：快速搭建轻量级Python网页应用1.Flask基础Flask是一个使用Python编写的轻量级Web应用框架。它的设计目标是让Web开发变得快速简单，同时保持应用的灵活性。Flask依赖于两个外部库：Werkzeug和Jinja2，Werkzeug作为WSGI工具包处理Web服务的底层细节，Jinja2作为模板引擎渲染模板。安装Flask非常简单，可以使用pip安装命令
  • Python Flask 框架入门：快速搭建 Web 应用的秘诀 Python编程之道 Python人工智能与大数据Python编程之道pythonflask前端ai
    PythonFlask框架入门：快速搭建Web应用的秘诀关键词Flask、微框架、路由系统、Jinja2模板、请求处理、WSGI、Web开发摘要想快速用Python搭建一个灵活的Web应用？Flask作为“微框架”代表，凭借轻量、可扩展的特性，成为初学者和小型项目的首选。本文将从Flask的核心概念出发，结合生活化比喻、代码示例和实战案例，带你一步步掌握：如何用Flask搭建第一个Web应用？路由
  • C++ 11 Lambda表达式和min_element()与max_element()的使用_c++ lamda函数 min_element((1) 2401_84976182 程序员c语言c++学习
    既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上CC++开发知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新如果你需要这些资料，可以戳这里获取#include#include#includeusingnamespacestd;boolcmp(int
  • 冒泡、选择、插入排序：三大基础排序算法深度解析（C语言实现） xienda 算法排序算法数据结构
    在算法学习道路上，排序算法是每位程序员必须掌握的基石。本文将深入解析冒泡排序、选择排序和插入排序这三种基础排序算法，通过C语言代码实现和对比分析，帮助读者彻底理解它们的差异与应用场景。算法原理与代码实现1.冒泡排序（BubbleSort）工作原理：通过重复比较相邻元素，将较大元素逐步"冒泡"到数组末尾。voidbubbleSort(intarr[],intn){  for(inti=0;iarr[
  • 精通Canvas：15款时钟特效代码实现指南 烟幕缭绕
    本文还有配套的精品资源，点击获取简介：HTML5的Canvas是一个用于绘制矢量图形的API，通过JavaScript实现动态效果。本项目集合了15种不同的时钟特效代码，帮助开发者通过学习绘制圆形、线条、时间更新、旋转、颜色样式设置及动画效果等概念，深化对Canvas的理解和应用。项目中的CSS文件负责时钟的样式设定，而JS文件则包含实现各种特效的逻辑，通过不同的函数或类处理时间更新和动画绘制，提
  • 高效批量单词翻译工具的设计与应用
    本文还有配套的精品资源，点击获取简介：在信息技术飞速发展的今天，批量单词翻译工具通过计算机的数据处理能力，大大提高了语言学习和文字处理的效率。用户通过简单输入单词列表到一个文本文件，并运行翻译程序，即可获得翻译结果并保存至指定文件。该工具集成了内置或外部翻译引擎，利用自然语言处理技术实现快速准确的翻译，并可能提供词性识别等附加功能。尽管机器翻译无法完全取代人工校对，但它为用户提供了一种高效的翻译解
  • FPGA小白到项目实战：Verilog+Vivado全流程通关指南（附光学类岗位技能映射） 阿牛的药铺 算法移植部署fpga开发verilog
    FPGA小白到项目实战：Verilog+Vivado全流程通关指南（附光学类岗位技能映射）引言：为什么这个FPGA入门路线能帮你快速上岗？本文设计了一条**"Verilog语法→工具链操作→光学项目实战→岗位技能对标"的阶梯式学习路径。不同于泛泛而谈的FPGA教程，我们聚焦光学类产品开发**核心能力（时序接口设计、图像处理算法移植、高速接口应用），通过3个递进式项目（从LED闪烁到图像边缘检测），
  • ARM嵌入式可编程控制器技术开发 拉勾科研工作室 arm开发
    PLC自动化设计|毕业设计指导|工业自动化解决方案✨专业领域：PLC程序设计与调试工业自动化控制系统HMI人机界面开发工业传感器应用电气控制系统设计工业网络通信擅长工具：西门子S7系列PLC编程三菱/欧姆龙PLC应用触摸屏界面设计电气CAD制图工业现场总线技术自动化设备调试主要内容：PLC控制系统设计工业自动化方案规划电气原理图绘制控制程序编写与调试毕业论文指导毕业设计题目与程序设计✅具体问题可以
  • 算法学习笔记：17.蒙特卡洛算法 ——从原理到实战，涵盖 LeetCode 与考研 408 例题
    在计算机科学和数学领域，蒙特卡洛算法（MonteCarloAlgorithm）以其独特的随机抽样思想，成为解决复杂问题的有力工具。从圆周率的计算到金融风险评估，从物理模拟到人工智能，蒙特卡洛算法都发挥着不可替代的作用。本文将深入剖析蒙特卡洛算法的思想、解题思路，结合实际应用场景与Java代码实现，并融入考研408的相关考点，穿插图片辅助理解，帮助你全面掌握这一重要算法。蒙特卡洛算法的基本概念蒙特卡
  • （Python基础篇）了解和使用分支结构 EternityArt 基础篇python
    目录一、引言二、Python分支结构的类型与语法（一）if语句（单分支）（二）if-else语句（双分支）（三）if-elif-else语句（多分支）三、分支结构的应用场景（一）提示用户输入用户名，然后再提示输入密码，如果用户名是“admin”并且密码是“88888”则提示正确，否则，如果用户名不是admin还提示用户用户名不存在,（二）提示用户输入用户名，然后再提示输入密码，如果用户名是“adm
  • 如何解决 NPM proxy， 当我们在终端nodejs应用程序时出现代理相关报错
    Thisisaproblemrelatedtonetworkconnectivity.npmERR!networkInmostcasesyouarebehindaproxyorhavebadnetworksettings.在使用npminstall下载包的时候总是报以下错误:在控制台或VisualStudioCode终端中运行以下命令：npmconfigrmproxynpmconfigrmhttp
  • 配音助手：自媒体神器，内置海量音色的语音，支持多主播配音 阿幸软件杂货间 媒体
    软件介绍内置文字转语音，提供多个主播音色，男声、女声、小孩、方言。支持的场景也是比较多，比如：广告促销、有声读物、广播配音、影视配音、Ai配音等。这个软件是免费的，只不过需要通过手机号码登录就可以使用全部功能了。软件下载夸克下载
  • php 高并发下日志量巨大，如何高效采集、存储、分析 贵哥的编程之路(热爱分享 为后来者) PHP语言经典程序100题php开发语言
    1.问题背景高并发系统每秒产生大量日志（如访问日志、错误日志、业务日志等）。单机写入、存储、分析能力有限，容易成为瓶颈。需要支持实时采集、分布式存储、快速检索与分析。2.主流架构方案一、分布式日志采集架构[应用服务器(PHP等)]|v[日志采集Agent（如Filebeat、Fluentd、Logstash）]|v[消息队列/缓冲（如Kafka、Redis、RabbitMQ）]|v[日志存储（如E
  • 用OpenCV标定相机内参应用示例（C++和Python）
    下面是一个完整的使用OpenCV进行相机内参标定（CameraCalibration）的示例，包括C++和Python两个版本，基于棋盘格图案标定。一、目标：相机标定通过拍摄多张带有棋盘格图案的图像，估计相机的内参：相机矩阵（内参）K畸变系数distCoeffs可选外参（R,T）标定精度指标（如重投影误差）二、棋盘格参数设置（根据自己的棋盘格设置）：棋盘格角点数：9x6（内角点，9列×6行）；每个
  • MySQL Explain 详解：从入门到精通，让你的 SQL 飞起来
    引言：为什么Explain是SQL优化的“照妖镜”？在Java开发中，我们常常会遇到数据库性能瓶颈的问题。一条看似简单的SQL语句，在数据量增长到一定规模后，可能会从毫秒级响应变成秒级甚至分钟级响应，直接拖慢整个应用的性能。此时，你是否曾困惑于：为什么这条SQL突然变慢了？索引明明建了，为什么没生效？到底是哪里出了问题？答案就藏在MySQL的EXPLAIN命令里。EXPLAIN就像一面“照妖镜”，
  • cesium添加原生MVT矢量瓦片方案 zhu_zhu_xia cesiumvuearcgiscesiumwebgljavascript
    项目中需要基于cesium接入mvt格式的服务并支持属性拾取查询，通过一系列预研测试，最后选择cesium-mvt-imagery-provider开源插件完成，关键源码信息如下：npmicesiumcesium-mvt-imagery-provider//安装依赖包//加载图层importCesiumMVTImageryProviderfrom"cesium-mvt-imagery-provid
  • ThinkSound V2版 - 一键给无声视频配音，为AI视频生成匹配音效 支持50系显卡 一键整合包下载 昨日之日2006 ai语音音视频人工智能
    ThinkSound是阿里通义实验室开源的首个音频生成模型，它能够让AI像专业“音效师”一样，根据视频内容生成高度逼真、与视觉内容完美契合的音频。ThinkSound可直接应用于影视后期制作，为AI生成的视频自动匹配精准的环境噪音与爆炸声效；服务于游戏开发领域，实时生成雨势变化等动态场景的自适应音效；同时可以无障碍视频生产，为视障用户同步生成画面描述与环境音效。今天分享的ThinkSoundV2版
  • OpenWebUI(12)源码学习-后端constants.py常量定义文件 青苔猿猿 AI大模型openwebuiconstants常量定义
    目录文件名：`constants.py`功能概述：主要功能点详解1.**MESSAGES枚举类**2.**WEBHOOK_MESSAGES枚举类**3.**ERROR_MESSAGES枚举类**✅默认错误模板✅认证与用户相关错误✅资源冲突与重复错误✅验证失败类错误✅权限限制类错误✅文件上传与格式错误✅模型与API错误✅请求频率与安全限制✅数据库与配置错误4.**TASKS枚举类**✅总结实际应用场
  • cvc降噪和主动降噪_音频知识：CVC降噪和ANC主动降噪的区别和应用 汪国 cvc降噪和主动降噪
    原标题：音频知识：CVC降噪和ANC主动降噪的区别和应用降噪，对于需要长时间戴耳机的人群来讲，起到了很好的保护作用。然而在购买蓝牙耳机时总会听到商家在宣传耳机所具备的CVC、ANC降噪功能，尽管听过很多商家描述，有些小伙伴依然不是很明白这两者之间的区别以及应用。现在简单和大家介绍这两个看不懂的降噪名词。CVC降噪(ClearVoiceCapture)是通话软件降噪技术。工作原理是是通过耳机内置的消
  • Maya自定义右键菜单样例教程 holy-pills
    本文还有配套的精品资源，点击获取简介：本文详细指导如何在Maya中通过脚本节点自定义右键菜单，增强工作效率和个性化工作环境。自定义右键菜单允许用户根据个人习惯调整菜单项，使之更加便捷。文章介绍了创建脚本节点、编写菜单脚本、关联菜单到视图以及保存和加载自定义菜单的具体步骤。同时提供了实际操作样例，帮助用户更好地理解和应用这一技巧。1.Maya自定义右键菜单的重要性Maya，作为三维动画制作的行业标准
  • RocketMQ 基础教程-应用篇-死信队列 码炫课堂-码哥 rocketmq专题rocketmqjava
    作者简介：大家好，我是smart哥，前中兴通讯、美团架构师，现某互联网公司CTO联系qq：184480602，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬学习必须往深处挖，挖的越深，基础越扎实！阶段1、深入多线程阶段2、深入多线程设计模式阶段3、深入juc源码解析阶段4、深入jdk其余源码解析
  • 小林渗透入门：burpsuite+proxifier抓取小程序流量 ξ流ぁ星ぷ132 小程序web安全安全性测试网络安全安全
    目录前提：代理：proxifier：步骤：bp证书安装bp设置代理端口：proxifier设置规则：proxifier应用规则：结果：前提：在介绍这两个工具具体实现方法之前，有个很重要的技术必须要大概了解才行---代理。代理：个人觉得代理，简而言之，就是在你和服务器中间的一个中间人，来转达信息。那为什么要代理呢，因为这里的burpsuite要抓包，burpsuite只有做为中间代理人才可以进行拦截
  • 玩转Docker | 使用Docker部署gopeed下载工具 心随_风动 玩转Dockerdocker容器运维
    玩转Docker|使用Docker部署gopeed下载工具前言一、gopeed介绍Gopeed简介主要特点二、系统要求环境要求环境检查Docker版本检查检查操作系统版本三、部署gopeed服务下载镜像创建容器检查容器状态检查服务端口安全设置四、访问gopeed应用五、测试与下载六、总结前言在当今信息爆炸的时代，高效地获取和管理网络资源变得尤为重要。无论是下载大型文件还是进行日常的数据传输，一个稳
  • Docker指定网桥和指定网桥IP
    $dockernetworklsNETWORKIDNAMEDRIVER7fca4eb8c647bridgebridge9f904ee27bf5nonenullcf03ee007fb4hosthostBridge默认bridge网络,我们可以使用dockernetworkinspect命令查看返回的网络信息，我们使用dockerrun命令是将网络自动应用到新的容器Host如果是hosts模式，启动容
  • “Datawhale AI夏令营”基于带货视频评论的用户洞察挑战赛 fzyz123 DatawhaleAI夏令营人工智能Datawhale大模型技术NLP深度学习AI夏令营
    前言：本次是DatawhaleAI夏令营2025年第一期的内容，赛事是：基于带货视频评论的用户洞察挑战赛（科大讯飞AI大赛）一、赛事背景在直播电商爆发式增长浪潮中，短视频平台积累的海量带货视频及用户评论数据蕴含巨大商业价值。这些数据不仅是消费者体验的直接反馈，更是驱动品牌决策的关键资产。用户洞察的核心在于视频内容与评论数据的联合挖掘：通过智能识别推广商品分析评论中的情感表达与观点聚合精准捕捉消费者
  • Kimi Chat 1.5 与 2.0 架构升级对比 charles666666 人工智能transformer深度学习产品经理chatgpt
    1.5版的MoE架构优化KimiChat1.5采用了优化后的MoE架构，其核心在于“专家网络动态路由”。这一机制类似于快递系统智能选择最优路径，能够根据输入数据的特性动态分配计算资源。这种优化显著提升了模型的计算效率，同时降低了硬件资源的浪费。在实际应用中，这意味着开发者可以在相同的硬件配置下处理更复杂的任务，或者在有限的资源下实现更高的性能。2.0的混合专家系统创新点与1.5版相比，KimiCh
  • [特殊字符] 实时数据洪流突围战：Flink+Paimon实现毫秒级分析的架构革命（附压测报告）——日均百亿级数据处理成本降低60%的工业级方案 Lucas55555555 flink大数据
    引言：流批一体的时代拐点据阿里云2025白皮书显示，实时数据处理需求年增速达240%，但传统Lambda架构资源消耗占比超运维成本的70%。某电商平台借助Flink+Paimon重构实时数仓后，端到端延迟从分钟级压缩至800ms，计算资源节省5.6万核/月。技术红利窗口期：2025年ApachePaimon1.0正式发布，支持秒级快照与湖仓一体，成为替代Iceberg的新范式一、痛点深挖：实时数仓
  • RocketMQ 之死信队列 firepation RocketMQrocketmq
    在分布式消息系统中，消息的可靠传递和处理至关重要。然而，由于各种原因（如消息处理失败、消费超时等），一些消息可能无法被正常消费。这些无法被消费的消息如果不加以处理，会影响系统的稳定性和数据一致性。为了解决这一问题，RocketMQ提供了死信队列（DeadLetterQueue，DLQ）机制。本文将深入探讨RocketMQ的死信队列，包括其实现原理、应用场景以及使用示例。什么是死信队列？死信队列是一
  • 被动降噪的概念及编程实现 CodeByte 人工智能算法javascript编程
    被动降噪是指通过编程技术和算法，对输入的数据进行处理，以减少或消除其中的噪声。噪声可以是各种形式的干扰，例如来自传感器、通信信号或其他外部源的干扰。在本文中，我们将探讨被动降噪的意义以及如何使用编程来实现这一目标。被动降噪的意义：噪声对数据的准确性和可靠性产生负面影响。在许多应用领域，例如图像处理、音频处理和信号处理中，噪声的存在可能导致数据质量下降，使得后续的分析和处理变得困难。因此，被动降噪技
  • 解线性方程组 qiuwanchi
    package gaodai.matrix; import java.util.ArrayList; import java.util.List; import java.util.Scanner; public class Test { public static void main(String[] args) { Scanner scanner = new Sc
  • 在mysql内部存储代码 annan211 性能mysql存储过程触发器
    在mysql内部存储代码 在mysql内部存储代码，既有优点也有缺点，而且有人倡导有人反对。 先看优点： 1 她在服务器内部执行，离数据最近，另外在服务器上执行还可以节省带宽和网络延迟。 2 这是一种代码重用。可以方便的统一业务规则，保证某些行为的一致性，所以也可以提供一定的安全性。 3 可以简化代码的维护和版本更新。 4 可以帮助提升安全，比如提供更细
  • Android使用Asynchronous Http Client完成登录保存cookie的问题 hotsunshine android
    Asynchronous Http Client是android中非常好的异步请求工具 除了异步之外还有很多封装比如json的处理，cookie的处理 引用 Persistent Cookie Storage with PersistentCookieStore This library also includes a PersistentCookieStore whi
  • java面试题 Array_06 java面试
    java面试题 第一，谈谈final, finally, finalize的区别。 final-修饰符（关键字）如果一个类被声明为final，意味着它不能再派生出新的子类，不能作为父类被继承。因此一个类不能既被声明为 abstract的，又被声明为final的。将变量或方法声明为final，可以保证它们在使用中不被改变。被声明为final的变量必须在声明时给定初值，而在以后的引用中只能
  • 网站加速 oloz 网站加速
    前序:本人菜鸟，此文研究总结来源于互联网上的资料，大牛请勿喷！本人虚心学习，多指教. 1、减小网页体积的大小，尽量采用div+css模式，尽量避免复杂的页面结构，能简约就简约。 2、采用Gzip对网页进行压缩；    GZIP最早由Jean-loup Gailly和Mark Adler创建，用于UNⅨ系统的文件压缩。我们在Linux中经常会用到后缀为.gz
  • 正确书写单例模式 随意而生 java 设计模式 单例
    　　单例模式算是设计模式中最容易理解，也是最容易手写代码的模式了吧。但是其中的坑却不少，所以也常作为面试题来考。本文主要对几种单例写法的整理，并分析其优缺点。很多都是一些老生常谈的问题，但如果你不知道如何创建一个线程安全的单例，不知道什么是双检锁，那这篇文章可能会帮助到你。 　　懒汉式，线程不安全 　　当被问到要实现一个单例模式时，很多人的第一反应是写出如下的代码，包括教科书上也是这样
  • 单例模式 香水浓 java
    懒汉  调用getInstance方法时实例化 public class Singleton { private static Singleton instance; private Singleton() {} public static synchronized Singleton getInstance() { if(null == ins
  • 安装Apache问题：系统找不到指定的文件 No installed service named "Apache2" AdyZhang apachehttp server
    安装Apache问题：系统找不到指定的文件 No installed service named "Apache2" 每次到这一步都很小心防它的端口冲突问题，结果，特意留出来的80端口就是不能用，烦。 解决方法确保几处： 1、停止IIS启动 2、把端口80改成其它 （譬如90，800，，，什么数字都好） 3、防火墙(关掉试试) 在运行处输入 cmd 回车，转到apa
  • 如何在android 文件选择器中选择多个图片或者视频？ aijuans android
    我的android app有这样的需求，在进行照片和视频上传的时候，需要一次性的从照片/视频库选择多条进行上传 但是android原生态的sdk中，只能一个一个的进行选择和上传。 我想知道是否有其他的android上传库可以解决这个问题，提供一个多选的功能，可以使checkbox之类的，一次选择多个 处理方法 官方的图片选择器(但是不支持所有版本的androi，只支持API Level
  • mysql中查询生日提醒的日期相关的sql baalwolf mysql
    SELECT sysid,user_name,birthday,listid,userhead_50,CONCAT(YEAR(CURDATE()),DATE_FORMAT(birthday,'-%m-%d')),CURDATE(),  dayofyear( CONCAT(YEAR(CURDATE()),DATE_FORMAT(birthday,'-%m-%d')))-dayofyear(
  • MongoDB索引文件破坏后导致查询错误的问题 BigBird2012 mongodb
    问题描述： MongoDB在非正常情况下关闭时，可能会导致索引文件破坏，造成数据在更新时没有反映到索引上。 解决方案：   使用脚本，重建MongoDB所有表的索引。 var names = db.getCollectionNames(); for( var i in names ){ var name = names[i]; print(name);
  • Javascript Promise bijian1013 JavaScriptPromise
            Parse JavaScript SDK现在提供了支持大多数异步方法的兼容jquery的Promises模式，那么这意味着什么呢，读完下文你就了解了。 一.认识Promises         “Promises”代表着在javascript程序里下一个伟大的范式，但是理解他们为什么如此伟大不是件简
  • [Zookeeper学习笔记九]Zookeeper源代码分析之Zookeeper构造过程 bit1129 zookeeper
       Zookeeper重载了几个构造函数，其中构造者可以提供参数最多，可定制性最多的构造函数是     public ZooKeeper(String connectString, int sessionTimeout, Watcher watcher, long sessionId, byte[] sessionPasswd, boolea
  • 【Java命令三】jstack bit1129 jstack
    jstack是用于获得当前运行的Java程序所有的线程的运行情况(thread dump），不同于jmap用于获得memory dump   [hadoop@hadoop sbin]$ jstack Usage: jstack [-l] <pid> (to connect to running process) jstack -F
  • jboss 5.1启停脚本　动静分离部署 ronin47
    以前启动jboss，往各种xml配置文件，现只要运行一句脚本即可。start nohup sh /**/run.sh -c servicename  -b ip -g  clustername   -u broatcast jboss.messaging.ServerPeerID=int  -Djboss.service.binding.set=p
  • UI之如何打磨设计能力? brotherlamp UIui教程ui自学ui资料ui视频
      在越来越拥挤的初创企业世界里，视觉设计的重要性往往可以与杀手级用户体验比肩。在许多情况下，尤其对于 Web 初创企业而言，这两者都是不可或缺的。前不久我们在《右脑革命：别学编程了，学艺术吧》中也曾发出过重视设计的呼吁。如何才能提高初创企业的设计能力呢?以下是 9 位创始人的体会。 1.找到自己的方式 如果你是设计师，要想提高技能可以去设计博客和展示好设计的网站如D-lists或
  • 三色旗算法 bylijinnan java算法
    import java.util.Arrays; /** 问题： 假设有一条绳子，上面有红、白、蓝三种颜色的旗子，起初绳子上的旗子颜色并没有顺序， 您希望将之分类，并排列为蓝、白、红的顺序，要如何移动次数才会最少，注意您只能在绳 子上进行这个动作，而且一次只能调换两个旗子。 网上的解法大多类似： 在一条绳子上移动，在程式中也就意味只能使用一个阵列，而不使用其它的阵列来
  • 警告:No configuration found for the specified action: \'s chiangfai configuration
    1.index.jsp页面form标签未指定namespace属性。 <!--index.jsp代码--> <%@taglib prefix="s" uri="/struts-tags"%> ... <s:form action="submit" method="post"&g
  • redis -- hash_max_zipmap_entries设置过大有问题 chenchao051 redishash
    使用redis时为了使用hash追求更高的内存使用率，我们一般都用hash结构，并且有时候会把hash_max_zipmap_entries这个值设置的很大，很多资料也推荐设置到1000，默认设置为了512，但是这里有个坑   #define ZIPMAP_BIGLEN 254 #define ZIPMAP_END 255     /* Return th
  • select into outfile access deny问题 daizj mysqltxt导出数据到文件
    本文转自：http://hatemysql.com/2010/06/29/select-into-outfile-access-deny%E9%97%AE%E9%A2%98/ 为应用建立了rnd的帐号，专门为他们查询线上数据库用的，当然，只有他们上了生产网络以后才能连上数据库，安全方面我们还是很注意的，呵呵。 授权的语句如下： grant select on armory.* to rn
  • phpexcel导出excel表简单入门示例 dcj3sjt126com PHPExcelphpexcel
    <?php error_reporting(E_ALL); ini_set('display_errors', TRUE); ini_set('display_startup_errors', TRUE);   if (PHP_SAPI == 'cli') die('This example should only be run from a Web Brows
  • 美国电影超短200句 dcj3sjt126com 电影
    1. I see． 我明白了。2. I quit! 我不干了!3. Let go! 放手!4. Me too． 我也是。5. My god! 天哪!6. No way! 不行!7. Come on． 来吧(赶快)8. Hold on． 等一等。9. I agree。 我同意。10. Not bad． 还不错。11. Not yet． 还没。12. See you． 再见。13. Shut up!
  • Java访问远程服务 dyy_gusi httpclientwebservicegetpost
        随着webService的崛起，我们开始中会越来越多的使用到访问远程webService服务。当然对于不同的webService框架一般都有自己的client包供使用，但是如果使用webService框架自己的client包，那么必然需要在自己的代码中引入它的包，如果同时调运了多个不同框架的webService，那么就需要同时引入多个不同的clien
  • Maven的settings.xml配置 geeksun settings.xml
    settings.xml是Maven的配置文件，下面解释一下其中的配置含义： settings.xml存在于两个地方： 1.安装的地方：$M2_HOME/conf/settings.xml 2.用户的目录：${user.home}/.m2/settings.xml 前者又被叫做全局配置，后者被称为用户配置。如果两者都存在，它们的内容将被合并，并且用户范围的settings.xml优先。
  • ubuntu的init与系统服务设置 hongtoushizi ubuntu
    转载自：  http://iysm.net/?p=178 init Init是位于/sbin/init的一个程序，它是在linux下，在系统启动过程中，初始化所有的设备驱动程序和数据结构等之后，由内核启动的一个用户级程序，并由此init程序进而完成系统的启动过程。 ubuntu与传统的linux略有不同，使用upstart完成系统的启动，但表面上仍维持init程序的形式。 运行
  • 跟我学Nginx+Lua开发目录贴 jinnianshilongnian nginxlua
    使用Nginx+Lua开发近一年的时间，学习和实践了一些Nginx+Lua开发的架构，为了让更多人使用Nginx+Lua架构开发，利用春节期间总结了一份基本的学习教程，希望对大家有用。也欢迎谈探讨学习一些经验。    目录 第一章 安装Nginx+Lua开发环境 第二章 Nginx+Lua开发入门 第三章 Redis/SSDB+Twemproxy安装与使用 第四章 L
  • php位运算符注意事项 home198979 位运算PHP&
    $a = $b = $c = 0; $a & $b = 1; $b | $c = 1  问a,b,c最终为多少?   当看到这题时，我犯了一个低级错误，误 以为位运算符会改变变量的值。所以得出结果是1 1 0 但是位运算符是不会改变变量的值的，例如： $a=1;$b=2; $a&$b;  这样a,b的值不会有任何改变
  • Linux shell数组建立和使用技巧 pda158 linux
    1.数组定义 　　[chengmo@centos5 ~]$ a=(1 2 3 4 5) 　　[chengmo@centos5 ~]$ echo $a 　　1 　　一对括号表示是数组，数组元素用“空格”符号分割开。 　　 2.数组读取与赋值 　　得到长度： 　　[chengmo@centos5 ~]$ echo ${#a[@]} 　　5 　　用${#数组名[@或
  • hotspot源码(JDK7) ol_beta javaHotSpotjvm
    源码结构图，方便理解：   ├─agent                            Serviceab
  • Oracle基本事务和ForAll执行批量DML练习 vipbooks oraclesql
    基本事务的使用： 从账户一的余额中转100到账户二的余额中去，如果账户二不存在或账户一中的余额不足100则整笔交易回滚 select * from account; -- 创建一张账户表 create table account( -- 账户ID id number(3) not null, -- 账户名称 nam
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他