动辄百万的工业数据处理软件，现在60秒就能用上
刚刚过去的周五，TDengine团队正式发布了新版3.1.1.0, 并上线了新的官网。虽没有发布会，但对涛思数据而言，这是一个“蓄谋已久”的动作。因为新版TDengine里包含了一个核心模块taosX，它具备强大的数据抓取、清洗、转换、加载(ETL)功能，除能无缝对接物联网的MQTT协议外，更重要的是能对接OPC-UA、OPC-DA、PI System等工业数据源。通过这个模块，工业场景里流行的PLC、SCADA、DCS等系统不用一行代码，都可以通过简单配置，就将数据实时的源源不断写入TDengine，而且在BI以及可视化工具呈现出来，实现远程监控、实时报警、可预测性维护等功能，甚至可以从微信小程序里直接看设备运行状态、查看报表了。毫不夸张的说，TDengine通过零代码将传统昂贵的工业数据处理系统代替了，成为新一代工业数据处理系统。
今天周末，写篇博客，将我开发这套系统的设计目标和理念”前期投入小、上手快、用的起”分享给大家，希望给大家一点启发。
为什么要开发一套零代码的工业数据处理平台？
2019年我将TDengine核心代码完全开源，四年过去，没想到TDengine几乎成了全球时序数据库的标杆，上线的实例数已经超过35万，来自全球50多个国家和地区，每天在以500以上的速度增加。按照这个速度，估计到2024年底，安装实例数将超过时序数据库全球排名第一的InfluxDB。对这些数字，我是相当的兴奋，因为我开源的目的就是希望自己写的程序能被众多的人用上。无论是GitHub上的一个Star，还是吐槽，对我来说，都是一种鼓励，因为他证明了我这个老程序员的价值，证明了我们团队的价值。
随着TDengine的用户天天增加，我注意到最大的问题就是我们宣称的高性能总是被挑战，一般的研发同学都没仔细看文档而且没有完全理解我们的“一个设备一张表”的数据模型，因此将数据高效写入TDengine成了最大的使用障碍。而且TDengine除物联网场景之外，一个更大的场景就是工业制造。这个领域里，IT人员少，相当依赖系统集成公司，用好TDengine更加困难。但数字化转型、智能制造、国产化替代的需求，让很多制造业的人找到我们，希望能快速用上TDengine来存储、分析他们采集的数据。
我一个制造业门外汉，开始在中国和美国与他们交流，参观拜访过发电厂、冶炼厂、油田、烟厂、药厂、水泥厂、化妆品厂、食品厂、汽车厂等等，一下发现一个完全不同的天地，每次都被他们的巨大制造能力所震撼。但同时发现，他们使用的数据处理系统，比如PI System, Wonderware, 或是国产的庚顿、麦杰等，往往基于微软Windows, 界面一看，与炫酷的网页和手机应用相比，感觉落后了至少两个时代。而且再一多了解，发现真正本质的问题。
-
这些传统工业软件收费巨贵，一般都按照测点(采集量）的数量收费，一个测点就需要好几个美元，一个几万测点的发电厂就需要至少百万RMB。如果要增加测点，还需重新谈Lincese。万物互联的今天，测点数暴涨，还采用这种收费方式无疑匪夷所思。
-
这些系统往往封闭，与第三方软件对接很难或根本就没有接口。随着大数据、人工智能概念的普及，很多制造业的也希望用上新的AI分析工具，但无奈很难与现有的工业数据处理系统对接，或成本很高，只能等PI System这类厂商更新升级；
-
企业总存在并购、分拆，一个稍具规模的制造商就有多条产线、多座工厂、因此往往一个集团存在多个不同的工业数据管理系统，将这些不同系统的数据汇聚起来进行管理相当困难。数据的清洗、转换和治理，是必须的，但看似简单的事情，实施起来门槛却很高。
-
过去的十年，很多制造企业主动拥抱工业互联网、大数据，建设工业互联网平台，想解决传统工业数据处理的问题，但建设一个新的工业互联网平台往往周期长，需要投入数百万甚至数千万资金，而且还有巨高的团队人员成本，但回报没有预期中的大，导致很多企业决策层对 AI和工业互联网平台的情绪普遍不高。
“前期投入小、上手快、用的起”
因此我在想，我们已经将TDengine开源，给大家提供了一个很好的时序数据处理工具，那么能否为工业制造行业提供一个前期投入小，上手快，用的起的工业数据处理系统呢？仔细思考后，答案是肯定的。所以2年前，涛思数据正式成立了一个研发小组，启动了taosX的开发，目的就是能够对接各种数据源，特别是工业数据源，通过简单的配置，不写一行代码，就能将OPC-UA、OPC-DA、MQTT等抓取的数据实时源源不断的写入TDengine, 而且建有自己可定义的规则引擎，完成数据的清洗、转换工作，以保证入库数据的质量。这样不仅将数据写入的难题解决，而且用户不用部署Flink或ETL工具，进一步减少了系统的复杂度和运维成本。同时，投入人力开发标准的JDBC、ODBC接口，让众多的BI以及可视化工具能无缝对接。TDengine不再只是一个时序数据库（Time Series Database，TSDB），而是通过与OPC, MQTT这些数据源的对接、与BI和可视化工具的无缝对接，形成一个零代码的工业数据处理系统。经过两年的研发和反复测试，现在终于上线。
中国有大大小小至少三百万家制造企业，怎么让这些用户能用上，而且用的起呢？即使开源，用户还需要找服务器、安装部署、配置、调优等，仍然有点门槛。我马上想到的是云服务。因此随着taosX的发布，TDengine Cloud同步开始提供OPC、MQTT、PI System等数据源接口，免费注册后，只要在TDengine网站上做好配置，不用一行代码，即可将PLC、DCS、SCADA产生的数据写入TDengine，然后利用Grafana、帆软、永洪、Power BI等可视化、BI工具进行展示和分析。对于简单的远程监测、报警、实时分析、报表，完全零代码即可完全搞定。由于TDengine Cloud第一个月完全免费，这样，企业在无任何硬件和软件采购成本的情况下，就可以很快验证测试系统，这样大大降低了企业的风险，降低了前期投入，最大程度减少了他们的顾虑。
对于大的企业或有特殊管控的企业，在云服务上免费体验和验证后，可以购买TDengine企业版，获得专业的技术支持和服务。对于中小企业，每个月只要支付1200RMB的云服务费用，就具备每秒处理3万个PLC测点数据的能力。相对于那些动辄百万的传统软件、工业互联网平台软件，每个月1200RMB的投入可说是没任何压力了。我相信，TDengine云服务能加速推动中国制造业数字化转型的进程，能让众多中小企业享受大数据时代、人工智能时代的技术红利。
新一代工业数据平台简单示意图
打破传统工业软件的垄断
从过去两年我与制造业的交往来看，制造行业的体量大的远远超过我的想象。举一个简单例子，整个中国铜冶炼企业就超过300家，炼钢、炼铁企业就超过500家。这些企业都在进行数字化转型，是我们IT人可以挖掘的金矿。但这些行业历来都被传统的工业软件公司比如Aveva, Simens等所垄断和绑架。中国软件企业还有机会吗？怎么撬开一条口子？从我过去的经验来看，开源、云服务是两大有效的手段。
开源软件最大的好处是开放的生态，不会被厂商绑定。而工业软件几乎都是封闭系统，很多产品连用户手册、接口文档都不公开，想更换其中一个模块几乎不可能，比如想把一个新的报表工具与实时数据库对接起来，没有两个厂家配合，没有可能。但现在各种行业的分析工具、报表工具、AI工具不停的涌现，只有开放系统才能解决这个问题。在传统的工业数据处理系统里，实时数据库扮演了一个极为重要的角色，但没有一家是开源的。这给了TDengine巨大的机会。我在2017年创办涛思数据时，根本都没想到钢厂、烟厂、药厂、冶炼厂、水泥厂会用上TDengine的，是由于开源之后，这些厂主动找的我们，才让我发现了工业制造里的机会。
为了保证TDengine的开放性，除核心代码开源、支持标准的SQL查询外，我几年前就决定绝不推出自己的可视化工具，不推自己的物联网管理平台，更不会做自己的分析、报表工具，连简单的报警功能都不会提供，而是希望与这些领域的专业厂商的产品能通过标准接口无缝集成。同时，我们还提供有高效的数据订阅工具，可以方便把存储在TDengine的数据实时导入到任何一个其他数据管理系统，这样任何企业也不会被TDengine所绑架。
云服务对于传统工业而言，是不可想象的。但排除一些实时控制的场景，云服务的好处是显而易见的，不用购置任何硬件，不用安装部署，完全是与用自来水一样，想用就用、想关就关，按使用量付费，费用可控。由于云服务平台以及云服务厂商提供了很好的安全防范，数据比保存在自己服务器上还安全，因为一般的企业根本没有网络安全的人才，系统都是在裸奔。通过云服务，无论企业的规模，在无大的前期投入下，都能很快验证自己的系统，看是否达到自己的预期，而不是商务谈判一轮接一轮，还没上线，就已经浪费了很多时间，系统还没有正式上线，就有很大的采购成本。
通过开源、云服务两个手段，传统的工业软件的市场格局一定会发生改变，而且彻底洗牌也完全可能。由于中国制造业体量是全球的30%以上，因此中国软件企业有得天独厚的机会去尝试新的途径，打破垄断。涛思数据专注时序数据的采集、存储、分析、计算和分发，我相信TDengine一定能让传统的工业实时数据库(Data Historian)、工业数据处理系统淘汰出局，TDengine每天超过500套安装实例的数字就是最好的证明，就是对我们团队最好的鼓励。但工业软件的其他领域，比如组态软件、设计软件、仿真软件等，我相信也会有新势力通过开源、云服务的手段冲杀进来，让工业软件市场焕发新的活力。
努力奔跑
四年前，我做出了一个正确的决定，将TDengine核心代码开源。现在我又做出了一个新的决定，为制造业提供新一代工业数据处理平台，而且希望通过云服务，让数百万家制造企业能快速启动，用的上、用的起、最大的减少前期成本。欢迎工业制造领域的朋友们向我们提出更多需求，比如工业数据接口、常用工具等，帮助TDengine 不断完善这个全新的工业数据处理系统，一起给行业赋能。
希望我和团队努力奔跑，不辜负这个时代赋予给我们的机会，让中国这个制造大国有全球领先的工业数据处理系统。
陶建辉
2023年9月3日写于北京望京