在当今数字化时代,人工智能(AI)正以其前所未有的速度重塑着我们的世界。从医疗、教育到金融、制造业,AI 的应用正不断拓展,成为推动创新和增长的关键力量。随着 AI 技术的慢慢的提升,尤其是大模型的发展,对数据存储和管理的需求也日渐增长。这些大模型需要处理和存储海量数据,对存储系统的性能、可扩展性和成本效益提出了新的挑战。
XSKY 星辰天合受邀将于 10 月 23 日(下周三)晚 7 点参加 JuiceFS Meetup,与您一同探讨 AI 时代下的存储解决方案。
对象存储作为一种高度可扩展、成本效益高的存储解决方案,已成为构建 AI 数据湖的理想选择。它以高度可扩展性和成本效益著称,能够高效处理 AI 训练所需的大量非结构化数据,如图片和视频,同时提供数据共享、持久化和高可靠性。此外,对象存储的云原生特性使其成为多云和混合云环境中的理想选择,为 AI 项目的数据管理和分析提供了灵活性和便捷性。
近日,JuiceFS 与 XSKY XEOS 对象存储完成了互相兼容的认证,为公司能够带来一个性能更高、成本更低、灵活性更好的大模型私有化部署方案。
JuiceFS 社区版和企业版年年都会发布一次大的版本更新。随着 AI 行业的加快速度进行发展,许多前沿技术场景对存储系统提出了更高的要求。最近走访了社区版和企业版的多位用户,基于用户们的反馈,制定了初步的研发计划。
好未来,前身学而思,于 2010 年在美国纽约证券交易所上市。公司积极将大模型研究应用于教学产品中,近期推出了数学领域的千亿级大模型。
好未来的基础平台需要管理模型的生产、测试以及应用的整一个完整的过程,数据需要在多个团队之间流转。于此同时,平台在多云和私有云环境中运行训推集群,这些环境采用不一样数据资产管理方式,包括 NFS、Ceph、PFS 和 OSS 。由此带来了复杂的数据管理工作,需多名开发者和运维人员反复核对,增加了数据丢失或泄露的风险。随着 AI 业务的发展,模型的体积和数量不断膨胀,现有的管理模式将对生产和运维构成严峻挑战。
为解决这样一些问题,团队基于 JuiceFS 开发了一个模型仓库,支持用户从各个云环境上传并统一管理模型。一个上百 GB 的大模型仅需 10 分钟即可上传,且明显降低了运维投入。通过 JuiceFS CSI 组件,好未来将模型仓库挂载到各个集群中,数据的挂载配置只需 1 分钟,使得部署 AI 应用变得更容易。此外,通过实施权限控制、克隆备份等策略,有实际效果的减少了用户误操作的损失并提高了数据安全性。目前好未来在多云多地部署了两套元数据和数据仓库;对象存储的使用量达 6TB,存储超过 100 个模型。
好未来云原生负责人,多年云原生基础平台研发、大规模应用PaaS系统经验,曾就职于百度基础架构部。
Talk2 - 好未来:多云环境下基于 JuiceFS 建设低运维的模型仓库