开源 AI 面临的挑战

译者：明明如月

人工智能的代价

尽管我坚信开源人工智能将继续蓬勃发展，但我也认为未来几年企业和政府将越来越有动机限制对新型神经网络架构和技术的应用。本文旨在预测并概述可能在本十年发生的潜在颠覆性变革，并提出一些想法和解决方案，以帮助开源社区适应这种对未来假设带来的挑战。预测未来非常困难，我所做的许多预测可能不会实现，或者可能和我设想的方式完全不同。然而，这并不意味着思考未来毫无用处。相反，思考可能的未来可以帮助我们积极适应不断变化的世界。随着世界以惊人的速度继续演化，具备设想并为可能的新世界做准备的能力将变得越来越重要。

在不久的未来，我们将见证与人交往方式、劳动交换方式甚至社会组织方式的根本性变革。个性化的人工智能实体（称为 “Ghosts”）有望成为每个人潜在的个性化存在，并将我们连接到全球其他 AI 系统的网络中。这些 AI 系统将为我们提供多种服务，我们可以将它们看作是扩展我们认知的工具，而不仅仅是助手。企业和组织很可能也会拥有自己的 “Ghosts”，以提高成员之间的协作效率。除了社交方面，具有循环连接的关联记忆网络可能使 AI 系统具备记忆能力。这些独立的 “Ghosts” 甚至可能形成独特身份。此外，可能会出现利用共识算法的 AI 系统，促使去中心化的自主 AI 的发展。尽管这还尚未实现，但我们已经可以设想一些即将出现的经济变化和趋势。

AI 生成服务的交换价值将取决于提供服务所需的能量（即运行相关模型的成本），再加上市场内 AI 的信息不对称性。那些容易被 AI 简单复制的服务将具有较低的交换价值，从而导致 AI 所有者的剩余价值减少。这种趋势将对基于服务的经济体产生较大影响，可以预期到大部分服务的剩余价值会大幅减少。因此，我们可以预计，在一段时间内，许多西方国家的人口和政府将像 19 世纪纺织工人反对机器生产一样，以类似的方式作出反应。由于各行业的回报减少，世界上许多地区将采取垄断许可策略和专制规则来限制 AI 的访问。

在那些更积极推进 AI 的地区，开源 AI 很可能在具有低交换价值但高使用价值的服务（如容易被 AI 取代的服务）中蓬勃发展。然而，对于那些稍加改进就能大幅提升使用价值的服务，经济激励将会有所不同。在这类服务中，我们可以预期“强者愈强”的趋势。更先进的AI系统将能够创造更多的剩余价值。因此，分享技术和模型架构的创新动机可能会减少。但需要注意的是，只有当系统参与者之间存在不对称性时，才能在系统中获得剩余价值。在 AI 的背景下，这种不对称性可能以信息不对称的形式表现，涉及控制和限制他人访问信息和知识。

一些参与者之间的信息不对称可能会导致政府采取强制限制的措施，例如实施知识产权保护、许可制度或访问控制措施；这种信息不对称需要政治行动来解决，不能仅仅依靠技术手段。然而，技术可以解决由资源不对称导致的信息不对称。具体来说，当前的人工神经网络通常以密集方式进行训练，即一旦提供输入，网络内的所有单元都会被激活。对于像 Transformer 这样的架构（被应用于像 ChatGPT 这样的服务中），信息传播的计算成本显著增加，原因是其"自注意力机制" 的存在。高计算复杂性导致高能耗。

考虑到大规模语言模型（LLM）的训练需要大量资源，我们可以预见在“强者愈强”的情况下，AI 系统的开发和管理将集中在少数几个闭源实体。这些实体将被鼓励将其模型权重和架构视为专有，因为更多的保密性将带来更高的利润。不幸的是，资源限制也意味着对于研究人员、非营利组织或创业公司等较小实体来说，从头开始训练大语言模型通常是不可行的，因为涉及的能源成本过高。因此，大多数开源 LLM 的努力都依赖于微调预先存在的模型，这样做更经济且节省能源。基于这些趋势，我相信我们应该优先降低集体训练和运行大规模深度学习模型的成本，以维持开源 AI 的竞争力和质量。

稀疏激活张量 && 密码学 Ghost 证明

这部分包含大量公式，CSDN 显示效果不好，参见 CSDN 公众号：
https://mp.weixin.qq.com/s/oeKsd-gLyD2_prsmwzOT-g

反思

除了开放性（openness）和免信任性（trustlessness）外，整合 CGPs 还有可能将人工智能和去中心化账本技术的领域融合在一起，为自治人工智能系统 （Autonomous AI system）的出现铺平道路。自治人工智能系统是一个利用共识算法的无需许可性质的点对点人工智能协议。这些协议不是改变账本中的条目，而是传播思想。为了确保有效运行并防止服务拒绝（DoS）攻击，这些协议可能依赖于相互信贷或货币。这些自治系统的技术细节以及经济和社会影响将在未来的研究中探讨。

作为工程师和人工智能研究人员，我们必须认识到技术固有的政治性质。看似微小的工程决策可能导致深远的社会转变。例如，密集激活的深度学习模型可能导致集中化的社会组织形式，而稀疏激活的深度学习模型可能导致去中心化的社会组织形式。现在比以往任何时候都更需要跨学科思考。例如，值得考虑去中心化人工智能对治理的影响。人工智能系统将如何影响国家？它们会赋予威权主义国家权力，还是有助于发展更强大的民主制度？公司组织结构和最小可行规模又如何？想象一下通过将每个公民的个性化 AI 实体（Ghost）连接到一个共享网络来创建可扩展的直接民主制度的可能性，这是非常有趣的。这些想法值得在未来进一步探索。

我希望这篇文章能引起你对探索人工智能和点对点技术之间的协同效应的兴趣。我坚信，在人工智能和数据库系统的交叉领域，特别是在稀疏激活张量领域，未来几年将会出现重大的进展。此外，人工智能和点对点系统的融合，以及稀疏激活关联记忆网络的发展，无疑将有显著的进步。我鼓励你探索这些迷人的主题，并为开源人工智能做出贡献。请记住，自由/开源软件（FLOSS）运动不仅仅是代码共享，它还是赋予全球社区权力的体现。

原文：https://blog.opncbr.com/post/open_source_ai/