我们生活在一个数据驱动的世界中。行业领先企业已经掌握并实施了从连续收集的所有数据中提取洞察力和情报的过程。数据的使用带来了业务模型的巨大变化，而人工智能是将这些数据提炼成可操作的洞察力的主要技术。
机器学习(ML)/深度学习(DL)依赖于训练和推理，这两者都需要快速执行，并且大型数据集会顺利通过管道。随着训练数据集的增长，这些算法的性能会更好，变得更加准确。
根据Gartner公司的说法，“机器学习和人工智能计划的成功依赖于编排有效的数据管道，从而在人工智能管道的不同阶段及时以正确的格式提供高质量的数据。”为了支持人工智能的数据密集型需求，企业需要可靠的存储解决方案，该方案在数据流水线的很多阶段(从摄取到培训和推理)都进行了优化。
IDC公司最近的一项调查确定了人工智能部署的关键挑战，即处理海量数据以及相关的质量和数据管理问题。须保持分布式数据集的高数据质量，以防止出现偏差和不正确的模型构建，这不是一件容易的事。
随着越来越多的海量数据集在人工智能实现中不断涌现，欢呼的数据量产生了自身的动态和挑战。将数据工作负载来回往返实现人工智能管道的位置变得不切实际和/或成本过高。相反，数据保留在中央位置，并且相关的人工智能管道(即应用程序堆栈)可以根据需要拉近。这称为数据重力。
混合云
本地基础设施和公共云均用于支持人工智能计划。一方面是在云中运营的云原生公司，另一方面是云计算公司。另一类是已经投资了本地基础设施并倾向于在数据中心或边缘位置附近运行人工智能管道任务的组织。数据重力对人工智能阶段的执行位置有重大影响。
尽管云计算服务提供商(CSP)可以通过弹性计算和相关服务来满足人工智能工作负载，但数据重力是本地实施的驱动因素，使混合云成为两全其美。IDC公司的研究结果证明了这一点，即公共云在人工智能AI模型和工作负载的部署中处于领先地位，紧随其后的是本地私有云部署。混合架构允许将公共云用于其人工智能知识和弹性功能，同时支持跨边界几乎无缝访问的本地数据存储。
人工智能和机器学习(ML)/深度学习(DL)针对不同的数据类型进行训练，这需要不同的性能。因此，系统须包含正确的存储技术组合。混合架构可同时满足规模和性能需求。
对象存储
对象存储是人工智能的优选技术，因为：(a)使用AWSS3API在私有云和公共云存储之间进行无缝访问;(b)本机元数据标记功能;以及(c)无限扩展。
对象存储技术是云计算服务提供商(CSP)不必要地发明的，早在2006年，AWS简单存储服务(S3)就作为一个对象存储实现而启动。AWSS3API从此成为事实上的标准。因此，对象存储与AWSS3API固有地兼容，这使其成为往返公共云的正确跳板，因此成为混合人工智能部署的基础。再次根据定义，元数据标记被放置到对象存储中，这使其成为人工智能中常规使用的数据分段和索引工作流的完美匹配。人工智能的海量数据集以其固有的无限的云规模容量对象存储而闻名。
人工智能数据集通常达到PB级，其性能需求可能使整个基础设施无法承受。因此，人工智能不适合在传统基础设施上运行，这些基础设施面临着挑战，无法满足对规模、弹性、计算能力、性能和数据管理的需求。
人工智能数据集通常达到数PB的规模，其性能需求可能使整个基础设施无法承受。因此，人工智能不适合在传统基础设施上运行，这些基础设施面临着挑战，无法满足对规模、弹性、计算能力、性能和数据管理的需求。
处理此类大规模培训和测试数据集时，解决存储瓶颈(延迟和/或吞吐量问题)以及容量限制/障碍是成功的关键因素。人工智能/机器学习/深度学习工作负载需要一种存储架构，该架构可以保持数据流过管道，同时具有出色的原始I/O性能和容量扩展能力。
可以使用经典的两层体系结构来实现这种解决方案，其中一层专用于高性能闪存，而第二层则提供可扩展的对象存储。通常将其实现为两个独立的存储服务器群集，以传递数据以加速人工智能的应用。
