为什么说对象存储是克服人工智能最大挑战的理想选择

分享到:

2020年发生的冠状病毒疫情强调了快速分析和解释数据的重要性,以及人工智能和机器学习在明智决策中发挥的重要作用。在医疗研究机构研发疫苗的过程中,人们见证了机器学习可以用来拯救生命的实际应用,这推动了所需的数据训练以及对人工智能用于实时推理模型的持续微调。

因为经过更好训练的模型可以产生更快、更精确的人工智能系统,所以人工智能面临的最大挑战是正确训练其机器学习模型。

 

 

训练有素的机器学习模型必须稳定地摄取大量数据,这样才能适应和改进。随着训练数据集的增长,学习算法的性能会越来越好、变得越来越准确。总而言之,数据越多,结果越好。显然,获得海量数据需要大量存储空间,但是在这种情况下,并不是所有存储解决方案都是一样的。当组织评估如何更好地采用人工智能/机器学习应用程序时,必须在这一过程中不要忽略存储基础设施。

组织能否成功地从模型训练所需的庞大且不断增长的数据集中筛选出可行的见解,并从中收集可行的见解,这取决于其存储架构能否满足数据管道各个阶段的极端苛刻要求。

对象存储是支持有效机器学习模型必不可少的7个原因

坦率地说,对象存储是唯一可以帮助解决人工智能/机器学习的模型训练难题合适的解决方案,以下是为什么对象存储是最合适的原因:

1. 无限的可扩展性

大量的数据需要大量的存储,而人工智能/机器学习工作负载需要一种可以随数据增长而无限扩展的解决方案。传统文件和块存储解决方案将在数百TB后达到可扩展性的上限。对象存储是唯一可以在单个全局命名空间中无限扩展到数十PB甚至更多的存储类型。通过随时随地无中断地部署新节点,根据需求能够进行弹性无缝扩展是一个巨大的优势。

2. 内置的数据保护

定期备份数PB的训练数据集不仅耗费时间,而且并不现实。根据设计,大多数对象存储系统都不需要备份。与其相反,它们存储的数据具有足够的冗余,因此始终受到保护。由于对象存储解决方案通常被设计为分布式架构(并行运行的分布式服务器的集合,不需要使用特殊机器来提供或管理特定服务),因此所有职责都是分开的,不需要采用中央“控制”的机器。因此,其架构中的单点故障(SPOF)的风险为零。分布式对象存储系统具有自我修复功能,可以提供极高的数据持久性。系统可以配置为容忍多个节点甚至分布式数据中心发生的故障。

3. 固有的元数据搜索和分类

在构建和训练有效的机器学习模型所需的数据准备阶段中,必须有详细的描述性元数据,这使得轻松标记、搜索、定位和分析数据成为可能。存储架构会影响收集元数据的能力。文件和块系统不支持应用程序或用户定义的扩展属性,但对象存储系统提供了独特的方法,可以使用极其丰富、可自定义的元数据来标识数据。其不受限制的性质使标签易于标记、具有强大而快速的可搜索性,以及有效管理大型数据集。

4. 多租户功能

通过多租户隔离工作负载,使多个数据科学家团队可以同时使用同一数据源,而不会互相影响或争夺资源。为服务多租户用例而设计的对象存储系统使得从一个可扩展的、与AWS S3兼容的接口中安全地管理租户数据变得更加简单。

5. 持续的吞吐量性能可缩短训练时间

以最佳速率维持数据管道的能力对于训练机器学习模型至关重要。要快速获得结果,就需要提高基础设施的效率,否则在庞大的数据集上运行的计算将被减慢或中断。现代的对象存储系统可保持高数据吞吐量,此外,还可进行横向扩展以独立和线性地提高整体系统容量和性能。这可以通过以存储服务器的形式添加系统资源来实现,这些资源可以提供要由存储软件作为单个存储池进行管理的计算(CPU和内存)和容量(闪存和HDD硬盘)。

6. 人工智能/机器学习算法在云中运行

无论数据位于何处,与公共云的集成都非常重要,尤其是当公共云平台为人工智能/机器学习提供了一些现成的且有吸引力的工具集时。在架构上,对象存储更适合训练和调整机器学习模型,因为对象存储凭借其事实上的语言——AWS S3 API,可以在内部部署/私有云环境与公共云存储之间进行无缝访问和移动。最好的对象存储解决方案使用户能够在一个统一的命名空间中管理基于云计算的数据和内部部署数据,消除了数据孤岛,并允许资源在不损失任何功能的情况下进行协作和交换。

7. 较低的总体拥有成本(TCO)

专为人工智能/机器学习工作负载设计的存储基础设施不仅必须提供容量和性能,而且还必须提供存储、移动和管理最佳模型训练所需的数PB数据的成本效益。通过利用标准服务器技术以及在单个系统中进行大规模操作的能力,对象存储可以成批地交付,而成本只有传统专有企业存储成本的一小部分。软件定义的解决方案可以托管在成本较低的标准x86服务器上,并且可以跨多代硬件发展以降低成本。

寻求实现其人工智能应用程序全部价值的组织必须了解正确训练和微调其机器学习模型的关键性质和潜在挑战。明智的组织会在选择正确的存储基础设施方面像在计算需求方面一样谨慎。而对象存储解决方案为最终提取快速准确的分析洞察力、挽救生命和其他方面提供了最佳的基础。

 
继续阅读
解码人工智能根技术

随着中美竞争态势加剧,人工智能成为大国竞争的新焦点。与美国相比,我国目前人工智能的短板就是关键根技术的缺失。

人工智能为基层诊疗赋能

点击AI(人工智能)辅诊,系统读取病历信息自动给出辅诊结果、建议检查和用药,智能语音外呼助手可通过电话、短信等方式批量为居民提供随访预约提醒和健康教育等服务……今年,乌鲁木齐市卫健委加快智慧健康信息化项目建设,通过“智医助理”项目,不断助力基层医疗服务能力提升。

从原则到实践:人工智能的“伦理转向”

人工智能作为一项新兴的通用型技术,正在深刻改变我们的经济与社会。人工智能伦理,即负责任地发展安全可信的人工智能应用,日益成为了必选项。2016年以来,人工智能伦理大致经过了三个阶段,第一阶段以各界纷纷提出伦理原则为标志,第二阶段人们开始寻求原则层面的共识,第三阶段科技公司、政府等推动将抽象的伦理原则转变为实践,将伦理原则与价值要求融入、嵌入人工智能技术研发与应用的全生命周期。从原则到实践的路径,诸如伦理委员会、技术工具、最佳实践做法、伦理培训、标准认证、监管等等,真正让负责任

通用原子公司开展MQ-9无人机人工智能联合全域指控系统测试

2021年2月24日报道,通用原子公司首次使用MQ-9无人机开展了人工智能联合全域指控(AI JADC2)系统飞行测试,该系统可为美军无人机提供运用美空军国民警卫队(ANG)“幽灵收割者”(Ghost Reaper)项目中开发的人工智能技术和其他先进的计算技术的能力。

以科技创新推动人工智能产业发展,建设大规模人工智能计算中心势在必行

作为新一轮科技革命和产业变革的重要驱动力及国家发展的重要战略方向,当前,以新一代人工智能为代表的科技和产业革命正在孕育兴起。预计2021年,人工智能将加速成为构建现代化的数字经济体系、推动经济社会高质量发展的重要驱动力量,作为“新型基础设施”的一部分与5G、云计算、大数据、工业互联网等新技术深度融合,形成新一代信息基础设施的核心能力,为数字经济发展提供底层支撑。