孤寂的夜总有繁星点点
孤寂的夜总有繁星点点

InfluxDB文件结构解析

InfluxDB文件结构解析

    • InfluxDB文件目录结构
    • Time-Structured Merge Tree(TSM) File
    • Time Series Log(TSL)文件结构
    • Time Series Index(TSI)文件结构
    • Write Ahead Log(WAL)文件结构
    • Series Segment文件结构
    • Series Index文件结构

InfluxDB文件目录结构

InfluxDB文件结构解析_第1张图片
  InfluxDB文件目录结构如上图所示，从图中我们可以看出InfluxDB主目录下有3个子目录：data，wal，meta:

  • data：存放时序数据以及其索引文件
  • wal： 存放插入数据时产生的write ahead log(wal)
  • meta：存放元数据
    下面我们对重要的文件进行进一步的解析。

Time-Structured Merge Tree(TSM) File

InfluxDB文件结构解析_第2张图片
  TSM文件按列存储时序数据，其文件结构如上所示。该文件主要分为两个三个部分：

  • DataBlock : 按列式存储同一个Key = SeriesKey + 单个FieldKey所对应的FieldValue值，以按列的方式进行存储可以获得高效的压缩，节省大量的磁盘空间。
    • CheckSum: 该DataBlock的校验码
    • FieldValueType: 表示该DataBlock存储的FieldValue类型，InfluxDB中存在5中FieldValueType: Float, Integer, Unsigned, Boolean, String
    • TimestampSize: 表示TimeStamps block的长度，使用可变长编码
    • Timestamps: 将时间按列使用delta-delta编码压缩
    • Values: 将FieldValue值按列进行压缩，不同类型的FieldValue使用不同的压缩算法，具体参见：InlfuxDB FieldValue压缩算法
  • IndexBlock: 保存对应DataBlock的相关索引信息
    • KeySize: Key的长度
    • Key: Key = SeriesKey + 单个FieldKey，例插入一条记录insert cpu,brand=dell,country=china price=100,sale=true，则这条记录有两个Key，分别为cpu,brand=dell,country=china#!~#price和cpu,brand=dell,country=china #!~#sale， #!~#为SeriesKey和FieldKey之间的分隔符
    • Type: FieldValue类型
    • IndexEntryCount: 用于统计该IndexBlock中IndexEntry的数量
    • IndexEntry: DataBlock索引项
      • MinTime: 对应的DataBlock中最早数据的时间
      • MaxTime: 对应的DataBlock中最晚数据的时间
      • DataBlockOffset: 对应的DataBlock在该文件的偏移量
      • DataBlockSize: 对应的DataBlock的长度
  • Footer: 第一个IndexBlock在文件中的偏移量，通过Footer能够快速查找到IndexBlock的起始位置，再通过IndexBlock能查到对应的DataBlock

Time Series Log(TSL)文件结构

InfluxDB文件结构解析_第3张图片
  当有新的SeriesKey写入时，首先会将该SeriesKey写入到TSL文件，TSL文件结构如上图所示：

  • LogEntry:
    • Flag: LogEntry标志，目前有5种标志:
      • SeriesInsertFlag: 表示该SeriesKey插入
      • SeriesTombstoneFlag: 表示该Series删除
      • MeasurementTombstoneFlag: 表示该Measuremen删除
      • TagKeyTombstoneFlag: 表示该TagKey删除
      • TagValueTombstoneFlag: 表示该TagValue删除
    • SeriesID: 采用可变长编码，当Flag为SeriesInsertFlag和SeriesTombstoneFlag时，SeriesID为非0正数，其他情况均为0
    • MeasurementSize: 表示Measurement项的长度
    • Measurement: Measurement名称，当Flag为SeriesInsertFlag和SeriesTombstoneFlag时，MeasurementSize为0，该项为空
    • TagKeySize: 表示TagKey项的长度
    • TagKey：当Flag为TagKeyTombstoneFlag和TagValueTombstoneFlag时，TagKeySize不为0，TagKey保存对应值，其他情况TagKeySize均为0，TagKey为空
    • TagValueSize：表示TagValue项的长度
    • TagValue: 当Flag为TagValueTombstoneFlag时，TagValueSize非0，TagValue保存对应值，其他情况TagValueSize均为0，TagValue为空
    • Checksum: 4-byte定长BigEndian编码校验和

Time Series Index(TSI)文件结构

InfluxDB文件结构解析_第4张图片InfluxDB文件结构解析_第5张图片
InfluxDB文件结构解析_第6张图片
  当TSL文件大小达到配置的compaction阈值时（由配置文件中的max-index-log-file-size指定，默认为1M），TSL文件会compaction成TSI文件，TSI文件结构如上图所示：

  • Magic: 魔数
  • TagSetBlock: 存储TagKey，TagValue相关信息
    • TagValueChunk: 存储TagValue相关信息
      • TagValueBlock:
        • TagValue
          • Flag: 标志位，根据该标志位可以判断TagValue是否已经删除
          • ValueSize: TagValue长度
          • Value: TagValue值
          • SeriesIDCount: 该TagValue对应的seriesID的数量（一个TagValue可以对应多个SeriesKey，SeriesKey和SeriesID是一对一的关系，从而一个TagValue对应对应多个seriesID）
          • SeriesIDDataSize: 序列化后的SeriesIDs数据长度
          • SeriesIDData：序列化后的SeriesIDs数据，SeriesIDs采用roaringBitmap的方式进行存储序列化
        • TagValueHashIndex:
          • TagValueCount: 该TagValueBlock中TagValue的数量
          • TagValueOffset：该TagValueBlock中TagValue在文件中的对应的偏移量
    • TagKeyBlock:
      • TagKey:
        • Flag: 标志位，表示该TagKey是否已经删除
        • TagValueBlockOffset: 对应的TagValueBlock在文件中的偏移量
        • TagValueBlockSize: 对应的TagValueBlock长度
        • TagValueHashIndexOffset
        • TagValueHashIndexSize
        • KeySize: TagKey长度
        • Key: TagKey
    • TagSetBlockTrailer:
      • TagValueChunkOffset
      • TagValueChunkSize
      • TagKeyBlockOffset
      • TagKeyBlockSize
      • TagKeyHashIndexOffset
      • TagKeyHashIndexSize
      • Version
  • MeasurementBlock
    • Flag: 标志位，根据该标志位可以判断measurement是否已经删除
    • TagSetBlockOffset
    • TagSetBlockSize
    • MeasurementNameSize: measurement长度
    • MeasurrementName: measurement名称
    • SeriesIDCount: 该measurement拥有的seriesID数量
    • SeriesIDDataSize
    • SeriesIDData
  • SeriesIDSet: 插入TSL的的所有seriesID
  • TombstoneSeriesIDSet：TSL中被删除的所有seriesID
  • SeriesSketch： hyhperLogLog结构，存储TSL中seriesID对应的SeriesKey（与SeriesIDSet中的seriesID相对应）
  • TombstoneSketch：存储TSL中tombstoneSeriesID对应的SeriesKey（与TombstoneSeriesIDSet中的seriesID相对应），与SeriesSketch结合使用获取measurement cardinality
  • Trailer
    • MeasurementBlockOffset
    • MeasurementBlockSize
    • SeriesIDSetOffset
    • SeriesIDSetSize
    • TombstoneSeriesIDSetOffset
    • TombstoneSeriesIDSetSize
    • SeriesSketchOffset
    • SeriesSketchSize
    • TombstoneSketchOffset
    • TombstoneSketchSize
    • Version

Write Ahead Log(WAL)文件结构

InfluxDB文件结构解析_第7张图片
  为了防止数据丢失，InfluxDB在进行每次写入或删除操作时首先会将该操作写入WAL文件中，WAL如上图所示：

  • Type：WAL Entry类型，目前有3中类型：WriteWALEntryType，DeleteWALEntryType，DeleteRangeWALEntryType
    • WriteWALEntry
      • FieldType: 插入的Field类型
      • KeySize
      • Key: SeriesKey + 单个FieldKey（因为是按列式存储）
      • FieldValueCount：该Field列写入的数据个数
      • Timestamp
      • FieldValue
    • DeleteWALEntry
      • Key: SeriesKey + 单个FieldKey
      • Newline：换行符\n
    • DeleteRangeWALEntry
      • MinTime: 批量删除中最小记录的时间戳
      • MaxTime:批量删除中最大记录的时间戳
      • KeySize
      • Key：同上
  • Snappy Compressed Data：不同类型Entry经过Snappy压缩后的数据（以上不同类型Entry经过snappy压缩后的数据）

Series Segment文件结构

InfluxDB文件结构解析_第8张图片
  Series Segment文件中存放SeriesKey，该文件结构如上所示：

  • Magic
  • Version
  • Entry:
    • SeriesInsertEntry
      • Flag: SeriesEntryInsertFlag，标志该entry为SeriesInsertEntry
      • SeriesID
      • TotalSize: SeriesKey的总长度
      • MeasurementSize
      • Measurement
      • TagEntryCount: TagEntry数量
      • TagEntry:
        • TagKeySize: TagKey长度
        • TagKey
        • TagValueSize: TagValue长度
        • TagValue
    • SeriesTombstoneEntry
    • Flag: SeriesEntryTombstoneFlag，标志该entry为SeriesTombstoneEntry
    • SeriesID

Series Index文件结构

InfluxDB文件结构解析_第9张图片
  Series Index文件为Series segment文件的索引文件，该文件存储seriesID -> SeriesKeyOffset的映射，series segment以及series index为db级别文件

  • Magic
  • Version
  • MaxSeriesID: 最大seriesID
  • MaxOffset: 最大seriesID对应的offset
  • SeriesIDCount: KeyIDMapEntry的数量（IDOffsetMapEntry数量与KeyIDMapEntry数量相同）
  • Capacity: KeyIDMapBlock为hash表结构，Capacity表示hash桶的总数量
  • KeyIDMapBlockOffset
  • KeyIDMapBlockSize
  • IDOffsetMapBlockOffset
  • IDOffsetMapBlockSize
  • KeyIDMapBlock：通过该block可以获取不同SeriesKey对应的seriesID，hash对象为SeriesKey
    • KeyIDMapEntry
      • SeriesKeyOffset: 高32位表示series segment文件id，通过高32为可以找到存储该SeriesKey所在的series segment文件，低32位表示在series segment文件中的偏移量，通过低32位可以得到seriseID对应的SeriesKey
      • SeriesID
  • IDOffsetMapBlock：通过该block可以获得不同seriesID对应的SeriesKey，hash对象为seriesID
    • IDOffsetMapEntry:
      • SeriesID
      • SeriesKeyOffset

你可能感兴趣的:(influxDB)

  • SQL Server通过CLR连接InfluxDB实现异构数据关联查询技术指南 Favor_Yang SQL调优及高级SQL语法编写SQLServerInfluxDB
    一、背景与需求场景在工业物联网和金融监控场景中，实时时序数据（InfluxDB）需与业务元数据（SQLServer）联合分析：工业场景：设备传感器每秒采集温度、振动数据（InfluxDB），需关联工单状态、设备型号（SQLServer）金融场景：交易流水时序数据（每秒万条）需实时匹配客户风险等级、账户余额（SQLServer）核心痛点：传统ETL延迟高，无法满足实时风控/故障诊断需求，需实现毫秒级
  • JMeter InfluxDB v2 Listener Plugin 常见问题解决方案 柏滢凝Wayne
    JMeterInfluxDBv2ListenerPlugin常见问题解决方案jmeter-influxdb2-listener-pluginInfluxDBv2.0listenerpluginforApacheJMeter.Providesthepossibilitytoseetheonlinedashboard(aggregationtable,errors,theresponsebodyoff
  • influxdb-comparisons IOT数据测试 使用记录 外环西路007号 tsdb物联网devops运维时序数据库
    文章目录生成测试数据数据倒数influxdb数据导入influxdb后显示结果生成测试数据./bulk_data_gen-formatinflux-bulk-use-caseiot-seed100-sampling-interval10s-scale-var10-timestamp-start"2022-12-01T00:00:00+80:00"-timestamp-end"2023-01-03T
  • InfluxDB 3 Core 持久化机制深度解析：高可靠实时数据引擎的设计哲学与工业实践 梦想画家 数据库InfluxDB分层持久化架构
    本文深入拆解InfluxDB3Core的数据持久化架构，涵盖写入流程、故障恢复、存储引擎设计，并结合物联网、金融监控等场景分析其高可靠性实现逻辑。通过对比传统时序数据库架构与性能实测数据，揭示新一代引擎如何平衡实时性与数据安全性，为大规模时序数据处理提供生产级保障。一、持久化核心机制：从写入到落盘的全链路保护1.分层持久化架构InfluxDB3Core采用三级数据保护策略：写入请求→内存缓冲区(V
  • 【收藏】 Kafka监控组件大全 weixin_34038652 大数据操作系统netty
    本文使用Burrow和Telegraf搭建Kafka的监控体系。然后，简单介绍一下其他的，比如KafkaManager，KafkaEagle，ConfluentControlCenter等。如果你对kafka比较陌生，请参考：Kafka基础知识索引Burrow依赖路径使用Burrow拉取kafka的监控信息，然后通过telegraf进行收集，最后写入到influxdb中。使用grafana进行展示
  • 技术调研：时序数据库（一） myskybeyond 时序数据库时序数据库数据库
    选择时序数据库时，选择当下主流的解决方案。目前主流的开源解决方案有InfluxDB、TDengine和TimescaleDB。下文从多个维度对比分析，最终根据需求做出选型决策。1.核心架构与设计理念数据库架构特点核心优势InfluxDB-专为时序数据设计的分布式数据库-基于时间线（TimeSeries）模型-开源版（OSS）与商业版（Cloud/Enterprise）功能差异大高写入吞吐量、原生支
  • 时序数据库选型分析 沉默的松饼 时序数据库物联网
    在当今数字化时代，大量的时间序列数据不断产生，从工业物联网设备的传感器数据，到金融领域的交易记录，再到互联网应用的用户行为日志等。为了高效地存储、管理和分析这些时序数据，选择一款合适的时序数据库至关重要。本文将对几款主流的时序数据库进行选型分析，帮助读者在众多选项中找到最符合自身需求的数据库解决方案。常见时序数据库概述InfluxDBInfluxDB是一款广泛使用的开源时序数据库。它专为处理时间序
  • Kylin Linux Advanced Server V10 离线安装 Prometheus + Grafana + node_exporter指南 晴空06 操作系统管理工具性能测试kylinlinuxprometheus
    离线安装Prometheus+Grafana+InfluxDB指南(KylinLinuxAdvancedServerV10)最终结果展示准备工作在一台有互联网连接的机器上下载所有必要的安装包和依赖准备一个USB驱动器或内部网络共享位置来传输文件确保目标服务器有足够的资源运行这些服务下载离线安装包在有网络的机器上下载以下组件：Prometheuswgethttps://github.com/prom
  • 时序库总结 天一涯 数据库
    1、常见的时间序列数据库：TSDB项目官网influxDBhttps://influxdata.com/RRDtoolhttp://oss.oetiker.ch/rrdtool/Graphitehttp://graphiteapp.org/OpenTSDBhttp://opentsdb.net/Kdb+http://kx.com/Druidhttp://druid.io/KairosDBhttp:
  • 时序库介绍 古朗月行 数据库大数据java
    时序库（Time-seriesDatabase，TSDB）是一种专门用于存储和处理时间序列数据的数据库。时间序列数据是一种按照时间先后顺序排列的数据，例如气象数据、生产数据、网络数据等等。常见的时序库有OpenTSDB、InfluxDB、Prometheus等，下面将从基本概念、使用场景、主要特点和使用API等方面进行介绍。基本概念时序数据时序数据是一种按照时间顺序排列的数据，在很多应用场景中都非
  • InfluxDB 时序数据的高效解决方案 后端go
    InfluxDB是什么？它是一种开源的数据库，主要针对时间序列数据进行优化，能够高效地存储、检索和分析大量的时间序列数据。InfluxDB使用Tag-Key-Value模型来组织数据，这种模型便于对时间序列数据进行分类和聚合。它支持类SQL的查询语言InfluxQL和Flux，适合复杂查询需求。InfluxDB的架构设计使其在处理高频率、连续的时间序列数据时表现出色，例如监控系统中的指标数据、物联
  • InfluxDB 3 Core 的安装与基本使用 influxdb数据库
    1前言最近做交易回测，考虑到数据是时序型的，因此采用了influxdb，之前没有用过时序型数据库。初次尝试，感觉不错。恰好是influxdb3发布不久，相关文档并不多，因此做下笔记。第三方测试显示，在百万级设备以下场景，写入性能可能不及旧版本，但是这个性能对我来说足矣。2安装安装命令此命令仅适用于Linux和macOS，笔者是在Ubuntu系统安装的。安装完成后influxdb3会立即启动。cur
  • 时序数据库IoTDB数据模型建模实例详解 时序数据说 时序数据库iotdb数据库大数据开源
    一、引言本文旨在通过具体实例详细介绍IoTDB（InternetofThingsDatabase）的数据模型建模方法，以解决部分用户对实际系统建模的困惑。IoTDB作为一种时间序列数据库，其数据模型与实时库、InfluxDB、OpenTSDB等基于标签的模型有所不同。二、基于标签的模型概述在实时库、InfluxDB、OpenTSDB等数据库中，每个测点通常有一个由符号"."连接的多个属性值组成的名
  • QuestDB：开源SQL数据库，用于处理时间序列数据！ 开源项目精选 数据库sql
    QuestDB是一个高性能且开源的SQL数据库，专为时间序列和事件数据而设计。适用于金融服务、物联网、机器学习、DevOps和可观察性应用程序。它包括PostgreSQL行协议的端点，使用InfluxDB行协议的模式无关的高吞吐数据获取方式，用于查询、批量导入导出的RESTAPI。整个代码库使用Java和C++构建，没有依赖项，并且100%没有垃圾收集。Stars数15,308Forks数1,25
  • 数据库领域新趋势：时序数据库崛起 数据库管理艺术 数据库专家之路大数据AI人工智能MCP&Agent数据库时序数据库网络ai
    数据库领域新趋势：时序数据库崛起关键词：时序数据库、时间序列数据、物联网、金融科技、大数据分析、TSDB、InfluxDB摘要：随着物联网、金融科技等领域的快速发展，时间序列数据的处理需求急剧增长，传统关系型数据库在处理这类数据时面临性能瓶颈。本文深入探讨时序数据库(TimeSeriesDatabase,TSDB)的崛起背景、核心原理、关键技术、应用场景及未来发展趋势。我们将从架构设计、存储引擎、
  • InfluxDB：一款强大高性能的时序数据库！ 开源项目精选 时序数据库数据库
    InfluxDB是一个开源的、高性能的时序型数据库，并且在时序型数据库DB-EnginesRanking上排名第一。专门用于收集、存储、处理和可视化时间序列数据的平台。时间序列数据是按时间顺序索引的数据点序列。数据点通常由同一来源的连续测量组成，用于跟踪随时间的变化。Stars数30,137Forks数3,613主要特点高性能数据存储：InfluxDB的TSM引擎提供了数据的高速读写和压缩功能，使
  • InfluxQL 详解：面向时间序列数据的查询语言 Leon@Lee 数据库InfluxDB
    一、InfluxQL概述InfluxQL（InfluxDBQueryLanguage）是时序数据库InfluxDB1.x的核心查询语言，专为高效处理时间序列数据设计。其语法类似传统SQL，但针对时序数据的特点（如时间戳、高频写入、聚合分析）做了深度优化，支持快速查询、聚合、过滤和实时分析。二、核心数据模型InfluxDB以时间序列数据模型存储数据，核心概念包括：Measurement（测量）类似传
  • 增强版 InfluxDB Java 通用查询方法（支持跨年数据集） 豆芽脚脚 javawindows开发语言
    增强版InfluxDBJava通用查询方法（支持跨年数据集）使用influx已经五六年了，线上的数据库已经特别大了，尤其是在遇到资源回收时，磁盘空间占用，导致整个系统无法使用。为此为他进行按年存储，跨年查询，写入数据时需要考虑按年找库存储。为了处理跨年数据集查询，主要考虑以下几点：同时查询多个年份的数据库合并跨年查询结果保持分页准确性以下是增强后的实现方案：importorg.influxdb.I
  • InfluxDB 高级分析实战：预测、技术指标与异常检测全指南 梦想画家 数据分析工程InfluxDB数据分析
    InfluxDB不仅是强大的时序数据存储引擎，更是企业构建智能分析系统的核心平台。本文全面解析如何利用InfluxDB内置函数与Python生态实现：✅预测分析：从简单季节性预测（HOLT_WINTERS）到复杂模型集成（Prophet/LSTM）✅技术指标计算：直接调用内置函数（EMA、KAMA、RSI）实现实时监控✅异常检测：基于统计规则（阈值监控）与机器学习模型（IsolationFores
  • 优化 InfluxDB 写入性能：高效批处理策略实战指南 梦想画家 数据分析工程InfluxDB物联网
    在处理高吞吐量时序数据时，合理运用批处理（Batching）策略是提升InfluxDB写入性能的关键。本文介绍时间驱动、大小驱动和混合批处理策略，并通过Python代码示例展示如何优化数据写入，平衡延迟与吞吐量。同时，提供最佳实践，如监控调优、客户端配置优化、错误处理等，帮助读者找到适合自身场景的批处理“甜点”，最大化InfluxDB的写入效率。1.背景：为何批处理对InfluxDB至关重要Inf
  • influxdb时序数据库 太阳上的雨天 时序数据库golang
    以下概念及操作均来自influxdb2官方文档InfluxDB2istheplatformpurpose-builttocollect,store,processandvisualizetimeseriesdata.Timeseriesdataisasequenceofdatapointsindexedintimeorder.Datapointstypicallyconsistofsuccessi
  • CentOS7下Telegraf+InfluxDB+Grafana 搭建服务器监控平台 寰宇001 centos监控/自动化工具
    转载来源：作者：DevOps海洋的渔夫链接：https://www.jianshu.com/p/0a8192751dce来源：简书著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。环境：阿里云centos7.5需求近期需要搭建一套服务器性能数据监控平台，所以本次考虑基于Telegraf作为采集数据源的工具，集成使用influxdb存储数据，最后Grafana展示图表的方式，来建立
  • MySQL与时间序列数据库：InfluxDB对比 墨瑾轩 一起学学数据库【一】数据库mysql
    关注墨瑾轩，带你探索编程的奥秘！超萌技术攻略，轻松晋级编程高手技术宝库已备好，就等你来挖掘订阅墨瑾轩，智趣学习不孤单即刻启航，编程之旅更有趣欢迎来到数据库的奇幻乐园！今天我们要一起探索的是MySQL和InfluxDB这两位数据库世界的明星。想象一下，MySQL就像是一位经验丰富的图书管理员，而InfluxDB则是一位对时间特别敏感的时间管理大师。引言：时间序列数据的挑战时间序列数据记录了随时间变化
  • Flask+Influxdb+grafna构建电脑性能实时监控系统 Eva215665 flaskpython后端
    Influx下载地址，这里下载了以下版本influxdb-1.8.5_windows_amd64.zip运行前需要先启动Influx数据库：管理员方式运行cmd->F:->cdF:\influxdb\influxdb-1.8.5-1->influxd-configinfluxdb.conf，以influxdb.conf配置文件启动数据库再以管理员方式重新打开一个cmd->F:->cdF:\infl
  • TDengine 与其他时序数据库对比：InfluxDB/TimescaleDB 选型指南（二） 计算机毕设定制辅导-无忧学长 #TDengine时序数据库tdengine大数据
    四、应用场景分析（一）TDengine适用场景TDengine适用于对写入性能和存储效率要求极高的物联网设备数据采集场景。在一个拥有数百万个传感器的智能工厂中，每个传感器每秒都会产生多条数据，TDengine能够高效地处理这些高并发的写入请求，确保数据的实时存储。同时，其领先的压缩算法可以大大降低存储成本，使得长期存储海量的传感器数据成为可能。在工业互联网实时监测方面，TDengine能够实时处理
  • 时序数据库InfluxDB（I）- 搭建与采集信息demo操作 起昵称好麻烦
    搭建环境：vmwareworkstationpro15.5.0,ubuntu18.04.3实践时间：2019.10.12-10.27（一）时序数据库InfluxDB准备（1）安装曾出现问题：解决方法为：（2）配置文件的位置：可进行InfluxDB缓存大小等参数的设置。（3)服务器端启动：以后台运行的方式启动了InfluxDB的服务端。（4）客户端启动：登入InfluxDB服务器将路径加入环境变量中
  • Spring Boot 3.4+TDengine 3.0：时序数据存储成本直降80%的架构方案 Bryan Ding springboottdengine架构
    某工业物联网平台的运维大屏深夜告警——单日新增37亿条设备日志，月度存储成本突破200万元。技术团队发现，基于InfluxDB的存储架构已逼近物理极限：•写入瓶颈：每秒12万条数据写入导致磁盘IO饱和•存储密度：原始数据与存储空间比仅为1:3，冷数据无法有效分层•查询性能：关键故障定位查询平均耗时8.2秒通过SpringBoot3.4+TDengine3.0的技术重构，该平台实现存储成本下降至38
  • influxDB基础 triticale influxdb数据库
    一、简单对比InfluxDB是一个由InfluxData开发的开源时序型数据库。使用GO语言开发，特别适合用于处理和分析资源监控数据这种时序相关数据。那么相比于关系型数据库有何优势？1、写入性能提升2、冷热数据分离3、时间不可倒流，数据只写不改二、基本概念Bucket（桶）：Bucket是InfluxDB中的基本存储单元，用于组织和存储时间序列数据。它是数据的逻辑容器，用于区分和隔离不同类型或来源
  • 时序数据库 InfluxDB（六） IT枫斗者 JAVA基础工作中实际总结编程学习时序数据库数据库oraclejava开发语言
    CQ连续查询连续查询ContinuousQueries（CQ）是InfluxDB很重要的一项功能，它的作用是在InfluxDB数据库内部自动定期的执行查询，然后将查询结果存储到指定的measurement里。配置文件中的相关配置：[continuous_queries]enabled=truelog-enabled=truequery-stats-enabled=falserun-interval
  • 解决Centos使用yum命令报错“Cannot find a valid baseurl for repo: base/7/x86_64”问题 牛奶咖啡13 运维/测试centoslinux解决Centos仓库源失效InfluxDB作服务失败问题[Errno256]HTTPSError404
    一、问题描述我们在使用Centos7.9使用【sudoyuminstallinfluxdb2】命令安装influxDB数据库的时候提示“LoadingmirrorspeedsfromcachedhostfileCouldnotretrievemirrorlisthttp://mirrorlist.centos.org/release=7&arch=x86_64&repo=os&infra=stoc
  • ASM系列五 利用TreeApi 解析生成Class lijingyao8206 ASM字节码动态生成ClassNodeTreeAPI
       前面CoreApi的介绍部分基本涵盖了ASMCore包下面的主要API及功能，其中还有一部分关于MetaData的解析和生成就不再赘述。这篇开始介绍ASM另一部分主要的Api。TreeApi。这一部分源码是关联的asm-tree-5.0.4的版本。          在介绍前，先要知道一点， Tree工程的接口基本可以完
  • 链表树——复合数据结构应用实例 bardo 数据结构树型结构表结构设计链表菜单排序
    我们清楚：数据库设计中，表结构设计的好坏，直接影响程序的复杂度。所以，本文就无限级分类（目录）树与链表的复合在表设计中的应用进行探讨。当然，什么是树，什么是链表，这里不作介绍。有兴趣可以去看相关的教材。 需求简介： 经常遇到这样的需求，我们希望能将保存在数据库中的树结构能够按确定的顺序读出来。比如，多级菜单、组织结构、商品分类。更具体的，我们希望某个二级菜单在这一级别中就是第一个。虽然它是最后
  • 为啥要用位运算代替取模呢 chenchao051 位运算哈希汇编
        在hash中查找key的时候，经常会发现用&取代%，先看两段代码吧，     JDK6中的HashMap中的indexFor方法： /** * Returns index for hash code h. */ static int indexFor(int h, int length) {
  • 最近的情况 麦田的设计者 生活感悟计划软考想
          今天是2015年4月27号      整理一下最近的思绪以及要完成的任务             1、最近在驾校科目二练车，每周四天，练三周。其实做什么都要用心，追求合理的途径解决。为
  • PHP去掉字符串中最后一个字符的方法 IT独行者 PHP字符串
    今天在PHP项目开发中遇到一个需求，去掉字符串中的最后一个字符 原字符串1,2,3,4,5,6, 去掉最后一个字符","，最终结果为1,2,3,4,5,6 代码如下： $str = "1,2,3,4,5,6,"; $newstr = substr($str,0,strlen($str)-1); echo $newstr;
  • hadoop在linux上单机安装过程 _wy_ linuxhadoop
    1、安装JDK     jdk版本最好是1.6以上，可以使用执行命令java -version查看当前JAVA版本号，如果报命令不存在或版本比较低，则需要安装一个高版本的JDK，并在/etc/profile的文件末尾，根据本机JDK实际的安装位置加上以下几行：    export JAVA_HOME=/usr/java/jdk1.7.0_25  
  • JAVA进阶----分布式事务的一种简单处理方法 无量 多系统交互分布式事务
    每个方法都是原子操作： 提供第三方服务的系统，要同时提供执行方法和对应的回滚方法 A系统调用B,C,D系统完成分布式事务 =========执行开始======== A.aa(); try { B.bb(); } catch(Exception e) { A.rollbackAa(); } try { C.cc(); } catch(Excep
  • 安墨移动广 告：移动DSP厚积薄发 引领未来广 告业发展命脉 矮蛋蛋 hadoop互联网
    　　“谁掌握了强大的DSP技术，谁将引领未来的广 告行业发展命脉。”2014年，移动广 告行业的热点非移动DSP莫属。各个圈子都在纷纷谈论，认为移动DSP是行业突破点，一时间许多移动广 告联盟风起云涌，竞相推出专属移动DSP产品。 　　到底什么是移动DSP呢? 　　DSP(Demand-SidePlatform)，就是需求方平台，为解决广 告主投放的各种需求，真正实现人群定位的精准广
  • myelipse设置 alafqq IP
      在一个项目的完整的生命周期中，其维护费用，往往是其开发费用的数倍。因此项目的可维护性、可复用性是衡量一个项目好坏的关键。而注释则是可维护性中必不可少的一环。 注释模板导入步骤  安装方法： 打开eclipse/myeclipse 选择 window-->Preferences-->JAVA-->Code-->Code
  • java数组 百合不是茶 java数组
    java数组的   声明  创建  初始化；   java支持C语言      数组中的每个数都有唯一的一个下标 一维数组的定义 声明： int[] a = new int[3];声明数组中有三个数int[3] int[] a 中有三个数，下标从0开始，可以同过for来遍历数组中的数
  • javascript读取表单数据 bijian1013 JavaScript
    利用javascript读取表单数据，可以利用以下三种方法获取： 1、通过表单ID属性：var a = document.getElementByIdx_x_x("id"); 2、通过表单名称属性：var b = document.getElementsByName("name"); 3、直接通过表单名字获取：var c = form.content.
  • 探索JUnit4扩展：使用Theory bijian1013 javaJUnitTheory
    理论机制（Theory） 一.为什么要引用理论机制（Theory）         当今软件开发中，测试驱动开发（TDD — Test-driven development）越发流行。为什么 TDD 会如此流行呢？因为它确实拥有很多优点，它允许开发人员通过简单的例子来指定和表明他们代码的行为意图。 TDD 的优点：     &nb
  • [Spring Data Mongo一]Spring Mongo Template操作MongoDB bit1129 template
    什么是Spring Data Mongo Spring Data MongoDB项目对访问MongoDB的Java客户端API进行了封装，这种封装类似于Spring封装Hibernate和JDBC而提供的HibernateTemplate和JDBCTemplate，主要能力包括 1. 封装客户端跟MongoDB的链接管理 2. 文档-对象映射，通过注解:@Document(collectio
  • 【Kafka八】Zookeeper上关于Kafka的配置信息 bit1129 zookeeper
    问题： 1. Kafka的哪些信息记录在Zookeeper中 2. Consumer Group消费的每个Partition的Offset信息存放在什么位置 3. Topic的每个Partition存放在哪个Broker上的信息存放在哪里 4. Producer跟Zookeeper究竟有没有关系？没有关系！！！   //consumers、config、brokers、cont
  • java OOM内存异常的四种类型及异常与解决方案 ronin47 java OOM 内存异常
          　OOM异常的四种类型： 　　　 　　一：　StackOverflowError ：通常因为递归函数引起（死递归，递归太深）。-Xss 128k 一般够用。     　  二：　out Of memory: PermGen Space：通常是动态类大多，比如web 服务器自动更新部署时引起。-Xmx
  • java-实现链表反转-递归和非递归实现 bylijinnan java
    20120422更新： 对链表中部分节点进行反转操作，这些节点相隔k个： 0->1->2->3->4->5->6->7->8->9 k=2 8->1->6->3->4->5->2->7->0->9 注意1 3 5 7 9 位置是不变的。 解法： 将链表拆成两部分： a.0-&
  • Netty源码学习-DelimiterBasedFrameDecoder bylijinnan javanetty
    看DelimiterBasedFrameDecoder的API，有举例： 接收到的ChannelBuffer如下： +--------------+ | ABC\nDEF\r\n | +--------------+ 经过DelimiterBasedFrameDecoder(Delimiters.lineDelimiter())之后，得到： +-----+----
  • linux的一些命令 -查看cc攻击-网口ip统计等 hotsunshine linux
    Linux判断CC攻击命令详解 2011年12月23日 ⁄ 安全 ⁄ 暂无评论 查看所有80端口的连接数 netstat -nat|grep -i '80'|wc -l 对连接的IP按连接数量进行排序 netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n 查看TCP连接状态 n
  • Spring获取SessionFactory ctrain sessionFactory
    String sql = "select sysdate from dual"; WebApplicationContext wac = ContextLoader.getCurrentWebApplicationContext(); String[] names = wac.getBeanDefinitionNames(); for(int i=0; i&
  • Hive几种导出数据方式 daizj hive数据导出
    Hive几种导出数据方式   1.拷贝文件   如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。 hadoop fs –cp source_path target_path   2.导出到本地文件系统   --不能使用insert into local directory来导出数据，会报错 --只能使用
  • 编程之美 dcj3sjt126com 编程PHP重构
    我个人的 PHP 编程经验中，递归调用常常与静态变量使用。静态变量的含义可以参考 PHP 手册。希望下面的代码，会更有利于对递归以及静态变量的理解   header("Content-type: text/plain"); function static_function () { static $i = 0; if ($i++ < 1
  • Android保存用户名和密码 dcj3sjt126com android
    转自：http://www.2cto.com/kf/201401/272336.html 我们不管在开发一个项目或者使用别人的项目，都有用户登录功能，为了让用户的体验效果更好，我们通常会做一个功能，叫做保存用户，这样做的目地就是为了让用户下一次再使用该程序不会重新输入用户名和密码，这里我使用3种方式来存储用户名和密码 1、通过普通 的txt文本存储 2、通过properties属性文件进行存
  • Oracle 复习笔记之同义词 eksliang Oracle 同义词Oracle synonym
    转载请出自出处：http://eksliang.iteye.com/blog/2098861 1.什么是同义词       同义词是现有模式对象的一个别名。       概念性的东西，什么是模式呢？创建一个用户，就相应的创建了 一个模式。模式是指数据库对象，是对用户所创建的数据对象的总称。模式对象包括表、视图、索引、同义词、序列、过
  • Ajax案例 gongmeitao Ajaxjsp
    数据库采用Sql Server2005 项目名称为:Ajax_Demo 1.com.demo.conn包 package com.demo.conn; import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException; //获取数据库连接的类public class DBConnec
  • ASP.NET中Request.RawUrl、Request.Url的区别 hvt .netWebC#asp.nethovertree
      如果访问的地址是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree%3C&n=myslider#zonemenu那么Request.Url.ToString() 的值是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree<&
  • SVG 教程 （七）SVG 实例，SVG 参考手册 天梯梦 svg
    SVG 实例 在线实例 下面的例子是把SVG代码直接嵌入到HTML代码中。 谷歌Chrome，火狐，Internet Explorer9，和Safari都支持。 注意：下面的例子将不会在Opera运行，即使Opera支持SVG - 它也不支持SVG在HTML代码中直接使用。   SVG 实例 SVG基本形状 一个圆 矩形 不透明矩形 一个矩形不透明2 一个带圆角矩
  • 事务管理 luyulong javaspring编程事务
    事物管理 spring事物的好处 为不同的事物API提供了一致的编程模型 支持声明式事务管理 提供比大多数事务API更简单更易于使用的编程式事务管理API 整合spring的各种数据访问抽象 TransactionDefinition 定义了事务策略 int getIsolationLevel()得到当前事务的隔离级别 READ_COMMITTED 
  • 基础数据结构和算法十一：Red-black binary search tree sunwinner AlgorithmRed-black
      The insertion algorithm for 2-3 trees just described is not difficult to understand; now, we will see that it is also not difficult to implement. We will consider a simple representation known
  • centos同步时间 stunizhengjia linux集群同步时间
    做了集群，时间的同步就显得非常必要了。 以下是查到的如何做时间同步。 在CentOS 5不再区分客户端和服务器，只要配置了NTP，它就会提供NTP服务。 1)确认已经ntp程序包： # yum install ntp 2)配置时间源（默认就行，不需要修改） # vi /etc/ntp.conf server pool.ntp.o
  • ITeye 9月技术图书有奖试读获奖名单公布 ITeye管理员 ITeye
    ITeye携手博文视点举办的9月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 9月试读活动回顾：http://webmaster.iteye.com/blog/2118112本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）：      《NFC：Arduino、Andro
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他