大数据已经被讨论了有将近十几年的历史了，数据的搜集方通过
数据架构
数据系统
数据管理
质量控制
数据整合
数据存储
数据转换
数据治理
来实现生产效率的提升和成本的降低，更重要的是，这些搜集来的数据可以帮助利益相关方作出决策。
这些数据一般来源于企业信息系统或者客户关系管理系统，以往一家公司的数据中心（Data Center）运行能力决定了这家公司能储存、整理和分析多少的数据，有了云端之后，公司有了“无限”的数据存储空间，各类软件程序能够产生各种各样的数据，当公司不满足于简单的数据可视化后，人工智能的出现，公司便能快速分析整理这些数据从而帮助公司拓展生意。
日常商业中有结构化数据和非结构化数据，一般非结构化数据多为一些文字信息、图片或者视频，随着现在软件SaaS服务等服务的发展，很多公司80%的数据都是这类数据。
市场上有非常多的数据分析类第三方公司，通过向客户提供软硬件等服务来帮助客户对其数据进行管理。非结构化数据便是首要的处理对象。比如社交媒体公司，很多人发的图片、标签和视频等在没有人工智能、自然语言处理等工具的帮助下，处理非常耗时耗力，现在公司能将这些转化成数字化的语言和统计数据，让社交媒体公司知道当下流行的趋势是什么，哪个年龄段的消费者喜欢什么推送。
当公司在衡量使用第三方公司还是使用自家的数据中心时，数据安全、数据管理的责任划分和数据恢复便成了主要考虑因素。根据MRFR的分析报告，全球数据分析的市场规模将在2026年达到$1300多亿美金，根据Gatner的报告，全球数据分析市场在2020年底的市场规模已经达到约$200多亿美金。
这篇主要对比分析市场上这三家热门的数据分析公司Palantir和Splunk提供的服务。
01
Palantir
适用对象：各类需要数据处理和分析的公司
主要有三大产品
Gotham
出现于2008年，处理语义、全文检索、暂时的数据，作为企业的数据库帮助实现数据结构化。其中包括四种应用：图形-地图-对象浏览-检索。先进之处在于利用机器算法优化数据格式，同时开放API支持多用户协同合作，实现数据分析的扩展性。
Gotham更多的是作为on-prem放在客户端，需要人为安装、更新和调试。主要的竞争产品为BigQuery， Hevo等。
定价：不同于一些供应商是根据数据大小来定价，Palantir是整套系统售卖。
Foundry
出现于2016年，为整个企业提供一个数据转换的平台，即使不会编程，也能使用，系统会自动验证并分析数据随着时间变化的资产价值，从而帮助企业从一开始便做出优化的决策。不同于Gotham（仅整理数据结构+可视化），Foundry能管理各类大大小小的数据的同时，还能为企业创建一个共享且容易理解的数据框架模型，在这个模型下，公司能很快的落地这些数据分析的结果,同时也提供数据恢复的功能。
Note：Foundry和法拉利合作的案例
Apollo
因为随着数据储存由公有云到私有云再到“多云协同“（multi-cloud），Palantir需要有随时能优化其代码的能力。所以一款全新帮助SaaS产品转型的工程手法，自称为“没有一款这样的产品”诞生。Apollo是一个持续交付(continuous delivery)系统，帮助其Gotham和Foundry产品从代码更改-合并到生产都能自动化，一般一周能完成41000次自动化更新，不管客户的编程是Devops还是CI/CD，还是Containers，也能顺利使用Palantir 的产品。因为是自动完成与实现，减少了人为干扰的因素。
01
Splunk
Splunk成立于2003年，作为一个商业智能数据分析商，通过监测和分析数据来帮助公司展示信息安全和商业活动的表现，提供on premises (安装在公司的软件）和云端服务。能跨平台（RSA Archer、Python、Workday等）整合并可视化其数据。
市场上同类产品有SAP 和Palantir Foundry, Palantir Gotham，定价主要根据数据使用量。
数据分析可能的困境
总的来说，Palantir 在用户界面设计和数据分析的功能性都要优于Splunk.
这些公司的数据处理能帮助很多消费者导向型公司提供更好的消费者体验，比如某橙色软件，某红书；也能帮助公司快速分析市场趋势，这些数据分析公司从数据整合 - 数据建模 - 数据落地 一步一步帮助更多企业填补自身发展和市场创新之间的差距，并同时引导未来的发展。
但有些可能的数据治理的困境也会影响企业未来发展的可持续性
单一的去管理和分析数据，并没有考虑结合整体公司发展
数据权限的管理和安全顾虑：如果希望所有部门能协同合作，如何提供灵活的权限给到不同职责的用户同时还不会影响数据安全问题
从数据可视化后的解读到真正落实成工作流程