选择语言
浪潮云海AI云基础设施平台InCloud AIOS
浪潮云海AI云基础设施平台 InCloud AIOS是一款面向政企智能化转型的“融合型AI底座”，以“开放兼容、平滑演进、简化运维、极致性能”为核心，解决客户AI 落地中面临的“AI建设成本高、异构GPU算力协同难、大模型运维门槛高、性能与安全难平衡”等痛点，为客户提供的纯软或软硬一体化AI私有化解决方案，实现“从传统IT到智能IT”的无缝衔接，让客户低成本、高效率的接入AI能力。
浪潮云海AI云基础设施平台InCloud AIOS是一款面向政企智能化转型的“融合型AI底座”,以“开放兼容、平滑演进、简化运维、极致性能”为核心,解决客户AI落地中面临的“AI建设成本高、异构GPU算力协同难、大模型运维门槛高、性能与安全难平衡”等痛点,为客户提供的纯软或软硬一体化AI私有化解决方案,实现“从传统IT到智能IT”的无缝衔接,让客户低成本、高效率的接入AI能力。
“一云多算”打破算力壁垒:通过分层解耦与开放接口,兼容NV、沐曦、海光等主流GPU,屏蔽底层算力差异,让企业无需担心硬件选型限制,实现多元异构算力的统一管理与高效协同。
“平滑演进”保护企业投资:传统数据中心无需改造,仅通过新增单台AI服务器即可升级AI能力,依托K8S底座弹性调度,兼顾“存量资产利用”与“增量AI能力”,降低转型门槛。
“极简运维”降低使用门槛:以“AIFirst,运维先行”为理念,让用户像运维虚拟机一样管理AI智能体,实现传统业务与AI应用的统一运维,同时通过智能化手段保障模型稳定与数据安全。
“软硬协同”释放极致性能:联合芯片厂商深度优化,通过自研InLLM推理框架、KVCache优化等技术,实现模型吞吐提升6倍、加载速度提升30倍等跨越式突破,让算力“算尽其能”。
1、分层解耦,开放融合:
1)一云多算,构建多元异构融合的AI基础设施,兼容NV/沐曦/海光等主流GPU,可快速兼容适配客户采购的GPU。
2)开放接口,提供开放标准大模型服务,为智能体提供标准的北向OpenAI接口,屏蔽底层异构算力的差异。
2、云智融合,平滑演进:
1)传统数据中心无需改造,在云资源池的基础上,购买单台AI服务器即可实现AI能力升级,K8S底座弹性调度;
2)精细的通算、智算管理,依托云计算技术整合智算资源,打破单节点限制,跨域动态分配资源,提升推理服务效率和资源的使用效能
3、AIFirst,运维先行:
1)无需学习复杂的AI概念,让用户像运维虚拟机一样运维智能体,实现传统业务与智能体应用的统一管理运维,一站式交付智能体。
2)运用智能化运维手段,保障模型与智能体稳定高效运行,支持模型性能评估、弹性伸缩、自动高可靠保障,满足用户对于大模型性能、可靠性的需求。
3)健全大模型安全体系,构建私域知识库保障关键数据不出域,对大模型对话内容进行实时监测与审核,实现对话内容合法合规,保障在各类场景中安全可靠的运用。
4、软硬协同,算尽其能:
基于自研AI引擎,联合NV、海光、沐曦深度合作,全面加速推理性能:
1)通过使用KVCache、显存分页管理、高效内存交互和自动最优算子选择,长文本推理KVCache命中率提升13倍
2)通过DirectStorage技术,通过PCIe实现模型直接从磁盘到显存的加载,绕过传统的CPU中转环节,在相同硬件下模型加载速度提升26倍
3)自研InLLM推理框架通过PD分离与动态流量调度,模型吞吐提升6倍
4)模型自动化弹性伸缩,高并发下自动调度效率提升26倍
