聚焦“长沙 · 中国 1024 程序员节”,听陶建辉讲述TDengine开源的那些事

10 月 23-25 日,由 CSDN 等多家单位精心筹划的“长沙 · 中国 1024 程序员节”盛大举行。大会以 2020 中国开源技术英雄的年度大聚会为核心,重磅邀请了卓越的开源技术领袖和贡献者齐聚长沙,以“洞悉开源新变量”为主题,展开主题演讲与四大圆桌对话,内容聚焦开源技术及生态建设、操作系统及硬件创新、开源社区及商业化发展等多个重要话题。

本次大会邀请到涛思数据创始人&CEO陶建辉进行主题为“高效、开源的物联网大数据平台”的分享,依托自身丰富的创业经验以及对行业的洞察力,他从物联网大数据平台的背景、大数据平台的技术创新以及开源的商业模式这三个角度,为线上和线下的听众进行了深入剖析和解读。

聚焦“长沙 · 中国 1024 程序员节”,听陶建辉讲述TDengine开源的那些事_第1张图片

涛思数据创始人&CEO陶建辉

一般来说,通用大数据方案通常会将开源的 Kafka、 Redis、HBase、MongoDB、Cassandra 等大数据软件拼装起来,利用集群来处理海量数据。因牵涉到多种系统,开发效率低、运行效率差、运维复杂、应用推向市场慢等问题频发。对于数据采集量巨大的物联网、工业互联网等行业,传统的通用大数据方案更加难以为继。

陶建辉表示,在创建涛思数据之时,他对物联网、工业互联网进行了调研,总结出了这一类数据的十大特征:

  • 所有采集的数据都是时序的

  • 数据都是结构化的

  • 一个采集点的数据源是唯一的

  • 数据很少有更新或删除操作

  • 数据一般是按到期日期来删除的

  • 数据以写操作为主,读操作为辅

  • 数据流量平稳,可以较为准确的计算

  • 数据都有统计、聚合等实时计算操作

  • 数据一定是指定时间段和指定区域查找的

  • 数据量巨大,一天的数据量就超过100亿条

从这些特征以及物联网大数据所面临的痛点问题出发,涛思数据打造了“All in One”的物联网大数据平台TDengine,其核心是将时序数据实时数据和历史数据操作合一透明,同时具备缓存、数据订阅、流式计算、消息队列等功能,为物联网数据处理提供全栈解决方案,无需再集成Kafka、Redis、Spark、HBase、ZooKeeper等软件,大幅降低系统架构的复杂度的同时极大提高了数据处理的性能。

聚焦“长沙 · 中国 1024 程序员节”,听陶建辉讲述TDengine开源的那些事_第2张图片

TDengine定义了创新的时序数据存储结构,通过无锁设计和多核技术让数据插入和读出的速度比现有通用数据库高出了10倍以上,还无需再集成 Kafka, Redis, Spark, Hbase 等系列软件,不用分库分表,数据可以实时备份,产品研发和运维成本均实现大幅下降。值得一提的是,其安装包很小,不依赖任何其他第三方库或软件,从下载、安装到成功运行,几秒便能搞定。

除此之外,涛思数据还赋予了TDengine两个核心技术创新点,分别是“一个数据采集点一张表”以及“超级表”,保证了TDengine插入和查询效率最优化,同时便于进行聚合查询、多维分析,极大提升了TDengine的市场竞争力。

陶建辉表示,TDengine的单机版和集群版均已于GitHub上开源,两年发展下已收获17k Star。对于开源最核心的代码的原因,他给出的回答是,“市场替代品太多,把最有竞争力的代码开源,能狙击竞争对手,而且这样能给用户带来真正的价值,有助于形成粉丝群,占据市场份额。”

同时陶建辉还分析了开源在中国的机会,他认为开源是中国软件走向世界的最好捷径,他呼吁更多开发者发起开源、参与开源,用开源来壮大自己,他坚信未来“参与开源”将成为开发者最好的“简历”。

通过陶建辉的精彩分享,大家在了解前沿的大数据处理技术的同时,也更深入地了解了参与开源的意义和价值。最后陶建辉为现场听众分享了加入开源项目的渠道和方式,如果你也有兴趣,也欢迎来尝试,成为开源项目TDengine的贡献者。

聚焦“长沙 · 中国 1024 程序员节”,听陶建辉讲述TDengine开源的那些事_第3张图片

点击下方【阅读原文】深入了解TDengine

你可能感兴趣的:(大数据,java,python,人工智能,物联网)