如果数据是新的黄金，那么今天的「黄金」将以对寻求增长的组织的趋势和客户行为的无价洞察力的形式出现。但是拥有大量数据——尽管幸运——仍然是个问题，至少目前是这样。

为什么？

大多数组织都有大量可用的数据，但没有处理所有这些数据的基础设施或设备。目前每天生成 2.5 quintillion 字节的数据，并且随着 IoT 技术在一端的扩散以及在另一端为数十亿日常用户提供服务的集中式云服务的扩散而加速。今天的标准计算机芯片——中央处理器（CPU）——已经达到了计算成本超过收益的性能上限。

正如 19 世纪著名的淘金热所说明的那样，人们自然倾向于走熟悉的路，甚至不惜爬上陡坡并取得不太理想的结果。通过开辟新的道路，许多金矿商的表现可能要好得多。同样，开辟一条通往数据分析的新道路对于找到通往「新」黄金的理想道路至关重要。

别搞错了——数据已经带来了无数突破，并带来了难以置信的好处。但是，如果要想真正从这种新黄金中榨取所有价值，那么现在是超越 CPU 并探索下一代替代品的时候了，这些替代品可以以前所未有的速度解锁整个洞察力。

要真正了解大数据处理在哪些方面以及如何存在不足，看看人工智能（AI）的发展可能会非常有启发性。

人工智能革命的先决条件

人工智能的第一个具有里程碑意义的用例可以追溯到几十年前探索算法及其应用的各种研究项目。最早的算法之一是专为下跳棋而设计的极小极大算法。从那以后，它进化为下国际象棋，成为一个非常强大的对手。

但在棋盘游戏之外，人工智能不断增长的应用和用例列表很快引发了它的第二个突破：实体服务的激增主要负责分析大量用户数据，以帮助大型企业更好地了解客户需求。

然而，这些算法和实体最终只能与它们运行的通用处理器一样好。尽管它们在逻辑和内存密集型工作负载方面表现出色，但它们的处理速度很慢。然而，这种情况在 2009 年发生了变化，当时斯坦福大学的研究人员发现图形处理单元 (GPU) 在处理深度神经网络方面明显优于 CPU，因为它们的计算并行度更高——能够同时运行多个计算或进程。这种新颖的计算基础设施引发了人工智能的第三次也是最具决定性的突破，即深度神经网络时代。

GPU 不仅加速了 AI 算法的运行方式。向神经网络的转变创造了前所未有的算法性能水平，为新算法开辟了一个全新的机会世界，在此之前，由于 CPU 的限制，这些算法是不可能的或效率低下的。其中包括改变了我们的搜索引擎的大型语言模型，以及现在流行的生成式人工智能服务，如 DALL-E 2、Imagen、Stable Diffusion 和 Midjourney。GPU 革命清楚地表明，正确的处理硬件是引发现代 AI 革命的关键。

大数据缺失的元素

人工智能的发展历史可以很好地揭示数据分析的现状。

首先，与 AI 一样，大数据研究项目最初催生了各种各样的算法和用例。其次——再次类似于人工智能——随后出现了大量的数据收集和分析服务。例如，亚马逊、谷歌和微软等所有主要云提供商围绕大数据分析构建了大量基础设施。

但与 AI 及其 GPU「革命」不同的是，大数据尚未模仿 AI 的第三个突破：获得自己独特的计算基础设施。

目前，尽管 CPU 的处理效率低下，但它仍然是数据分析的基础，但与 AI 不同的是，GPU 不是合适的替代品。这意味着随着公司积累更多数据，他们通常会采用更多服务器来应对繁重的负载——直到数据分析的成本超过其收益。

开拓新路

如果能找到一种方法在专用处理器上运行数据分析工作负载，其效率相当于 AI 工作负载现在在 GPU 和其他硬件加速器上运行的效率，我们就可以引发类似的“革命”，打开大数据世界，以前所未有的速度创造新水平的洞察力。但要做到这一点，必须重新检查所使用的硬件。

如果找不到合适的计算基础架构，组织将无法扩展其数据效用，从而阻碍他们培养新见解和促进其他创新的能力。另一方面，成功可能会催生一个全新的大数据时代。

许多淘金热探矿者的垮台是因为他们误入歧途，想要沿着已知的路径寻找以前发现的黄金。另一方面，人工智能研究人员偏离了共同的道路，找到了一条新的道路，即通向 GPU 和其他加速器的道路，这仍然是深度学习的黄金标准。如果大数据研究人员能够开辟自己的道路，他们也可能有一天会淘到金子，并将大数据分析的界限推向任何人都无法想象的境界。

转于 ScienceAI

编辑 | 白菜叶

论文链接：https://venturebeat.com/enterprise-analytics/how-ai-points-the-way-to-a-new-gold-standard-for-big-data-analytics/