从TB到EB:支持人工智能和机器学习的对象存储技术

分享到:

越来越多的机构正在使用人工智能和机器学习技术,来增强自身的关键任务能力,加速研究突破,并释放人力资本。

采用这类的技术,也导致了以图像和视频片段形式出现的非结构化数据容量的激增。国际数据公司(IDC)的研究表明,全球产生的非结构化数据数量正以每年高达60%的速度增长,预计到2025年将占全球数据总量的80%。

所有这些数据都会经历处理、分析、传输和存储等不同的阶段。目前,许多组织正在使用公有云服务来完成这些工作。然而,随着人工智能和机器学习技术的持续发展,许多IT负责人们正在寻找一套在成本、便利性和安全性方面更适合自身需求的解决方案。

而对象存储——其允许组织可以构建只属于自己的私有云存储环境,并解锁边缘计算能力——正迅速成为一种可行的替代方案。

那么对象存储是如何工作的呢?不同的对象存储产品以及公有云技术该如何彼此比较?更重要的是,对象存储技术的部署和使用是否方便?希望我们以下的内容能给您带来答案。

First things first

对象存储是一种完全不同的存储方法,在这种方法中,被管理和操作的数据是一个个被称为“对象”的单元。

要创建对象,需要将数据与相关元数据组合在一起,并附加一个自定义的标识符。由于每个对象都包含了全面的元数据信息,因此,对象存储不需要像文件存储那样使用分层结构。用户可以将大量的非结构化数据合并为一个统一的、扁平的、易于管理的“数据湖”。

对象存储通常会被用作冷数据归档的解决方案。然而,随着最近的技术进步,对象存储现在可以实现更快的访问速度,使其成为了诸多人工智能和机器学习等,需要更高存储性能应用程序的理想选择。

对象存储 VS. 公有云

伴随着人工智能和机器学习的兴起,边缘计算模式开始出现。在城市中心,利用公有云服务,对物联网设备和传感器捕捉到的数据进行分析和存储的效果非常理想。然而,从应用于农业领域的无人机到测试自动驾驶技术的汽车,在网络基础设施密度较低的地区,连接到中央云存储中心的速度可能会慢得多。

对象存储技术可通过低成本的远程存储解决这个问题,这样的存储模式可以使计算能够在边缘环境进行。通过在特定的数据收集点进行处理,要比将所有数据发送到云端进行处理再返回要快得多。

此外,出于审查需求,用于训练人工智能算法的许多数据都必须长期存储,这也是对象存储应用的另一个优势领域。通过使用包括版本控制、端到端加密、对象锁定以及持续监控和修复在内的多种功能,可以让数据能够以比存储在公有云中低得多的成本,保存数十年之久。

不同的对象存储对比

在权衡对象存储选项时,仔细检查各种产品的技术特征是非常重要的。例如,一些对象存储产品会为每个对象创建多个副本,用以防止数据丢失,但这也会加快存储空间被消耗的速度。

另一方面,更先进的对象存储产品会采用纠删算法,将数据单元分解,并将不同的块放在不同的物理驱动器上。如果数据不小心被删除或被破坏——无论是意外还是由于攻击事件——系统可以从存储在其他驱动器上的其它块,进行对象的重新构建。这降低了存储成本,因为系统不再需要保存每个对象的多个副本。

此外,纠删码平台可以帮助实现超高的数据持久性,保持磁盘的可用空间处于较高水平,同时提高系统的整体性能。当然,并不是所有的厂商都会以相同的方式实现纠删码功能。不同的产品可能具有不同的可扩展性,以及不同的重建和再平衡时间。

另一个需要检查的重要特性是:不同对象存储所使用的数据一致性模型。“强一致性”是人工智能和机器学习应用的首选项。简而言之,这意味着在成功的写入、覆盖或删除之后的任何后续的读取操作,都会基于该对象的最新版本。而一些对象存储产品仍然在使用“最终一致性”功能,这意味着在读取操作返回更新的数据之前,会有延迟情况的发生;这会导致应用程序偶尔会操作较旧版本的对象。

实施与使用的方便程度

当然,易用性是一个比较主观的判断标准。然而,对象存储技术确实有不少的优点。例如,它比起传统的存储区域网络来说,只需要投入更少的日常管理,因为系统的弹性允许多个磁盘失效而不会导致数据丢失;这意味着,一个系统管理员,就可以管理超过200PB容量的数据。

毫无疑问,管理由人工智能和机器学习应用程序生成的数据,将持续成为各类组织的IT团队所面临的一个重要问题。对象存储技术也许做不到“包治百病”,但其可以从更深的层级,解决数据存储成本、处理速度和安全保护方面的诸多问题。展望未来,采用对象存储的机构与组织,应该更专注于实现模块化的,端到端的数据管理解决方案。当更新、更适合自身环境的模块出现时,它们可以被更早、更快地利用起来。

继续阅读
智能技术如何改变汽车行业?

汽车行业充满了进步技术——而且一直如此。无论是为了安全、娱乐、舒适还是创新,制造商每天都在不知疲倦地开发最新技术。

传感器技术对人工智能AI的影响

1956年夏日,以麦卡赛、明斯基、罗切斯特和申农等为首的一批有真知灼见的年青科学家在一路聚首,配合钻研和探究用机械模仿智能的一系列相关疑问,并初次提出了“人工智能”这一术语,这标记着“人工智能”这门新兴学科的正式降生。

人工智能赋能机器人 “智”在新变局

还记得索菲亚吗?史上首个获得公民身份的智能机器人。人们不仅惊叹她可以模拟62种面部表情,更对其在识别表情、理解语言、与人互动时展现的智能感到惊讶。

边缘(Edge)应用技术将惠及所有行业

边缘计算(Edge Computing)正逐步走向成熟,在一个行业中吸取的经验教训和开发的解决方案可以用于不同行业的另一种应用。

人工智能正在改变物流自动化

自动化使用技术来增强人类在无数任务中的工作量。在物流中,自动化的潜力是巨大的,而且好处是显着的,尤其是当运营经历巨大变化或需求增加时。扩大运营规模通常需要额外的员工,而这些员工通常无法立即投入使用,尤其是在其他行业也有需求的时候。对市场波动做出快速反应需要整个运营过程中的快速行动和额外的能力。