元脑伙伴北京传奇:AIStation加速视频分析模型训练200%
当前,以大模型为代表的生成式AI技术正在加速发展并革新各行业智能转型路径,"千模百态"带动"千行百业"走向新一轮发展浪潮,数实相融迎来了新纪元。新型智算产业变革之下,日趋丰富的人工智能应用对多元化算力的需求激增,驱动人工智能计算系统向多元算力计算架构转化。日前,浪潮信息元脑伙伴北京传奇天地,通过元脑生态AIStation资源平台,助力某创新软件技术有限公司构建高性能、高可靠、可扩展的软硬件系统架构,实现AI训练场景下算力资源的统一管理与智能化调度。
面对日益增长的视频数据,视频分析检索效率亟需提升
AI视频分析意为利用技术对视频片段进行数字化分析,通过检测精度和分类能力的提升进而来增加对于关键事件和可疑活动的识别。基于技术层面,大致可分为"物体检测"、"物体识别"、"目标跟踪"、"实时视频分析",面向交通、旅游、生产制造、城市管理、环保等领域场景,提供"车牌自动识别、交通监控、车流量统计"等预警识别。基于此,相较于图像识别,视频识别则面向于一个分布范围更广、应用场景更多的任务。
近年来,得益于人工智能与深度学习技术的进步与飞跃式的产业变革,基于视频识别的算法与精度调优取得了较佳提升,如 TSM、SlowFast、I3D 等,由此一来,则对底层算力系统提出了更高的要求。以及,当模型与应用走向真正的场景部署时,用户使用多元AI芯片系统时则会碰到系统适配、芯片驱动、互联互通、功耗管理、安全传输、易用性等各类瓶颈问题,利用软件平台对算力实现更精细的调度,成为满足算力增长需求的另一个关键要素:通过构建高性能、高可靠、可扩展的软硬件系统架构,实现AI训练场景下算力资源的统一管理与智能化调度。
智算时代的生态新范式:打造"算力+算法+资源平台"的全栈生态能力
浪潮信息元脑生态平台,旨在通过连接左右手伙伴的能力协同,尽己所长,形成优势互补,面向生态复杂离散、产业AI落地困难的行业挑战,以持续共赢的主张,聚合具备AI开发核心能力的左手伙伴和具备行业AI整体方案交付能力的右手伙伴,提供"AI算力平台、AI资源平台、AI算法平台"全面融合的生态全栈能力,加速行业智能的构建,助力最终用户实现业务的智能转型升级。
基于AI资源平台层面,浪潮信息AIStation通过训练与推理两大平台,实现异构算力集群的统一池化管理和多策略调度,进而保证客户"视频识别分析、目标检测与跟踪"等模型应用场景的算力资源使用和调度,提升整体利用率;在保障全生命周期管理方面,提升故障容错、集群监控运维等一体化能力,实现大规模分布式训练任务的健壮性、稳定性要求,降低大模型训练门槛和成本。
作为元脑生态的左手伙伴,北京传奇天地深耕于云计算领域多年,立足于元脑生态的全栈协同优势,为某创新软件技术公司提供"一站式智能识别监控 "解决方案,针对视频识别的业务端海量数据处理、模型训练、模型应用等环节实现全链条全面提速,通过多种资源的高效管理和调度策略,帮助某创新软件技术有限公司实现资源使用率与分配效率的全线提升,实现万卡集群的毫秒级调度,整体资源利用率提升至75%以上。
基于视频识别"高实时、高准确、高扩展、高安全"的多方面属性需求,要求平台系统在实现数据安全与隐私并行的原则之下,实现大量数据的实时处理与数据的准确识别及信息提取。从扩展性看,平台也需随着监控系统的规模和需求变化而变化。方案基于AIStation平台,通过有效的数据缓存机制为模型后续训练铺平道路,实现200%-300%的效率提升,利用视觉算法库对视频进行编解码处理、图像去噪、增强等预处理,并打标签形成训练样本库。
在模型训练方面,保障"健壮性"与"稳定性"是模型定制开发时的首要强要求。对此,针对模型定制训练当中所遇算力网络搭建、数据加速、网络通信优化等瓶颈,AIStation通过提供TensorFlow,Caffe,MXnet等深度学习框架镜像,实现镜像分发加速与资源动态弹性伸缩,在提高计算资源利用率的同时加速整个训练过程。
聚生态之力,掘金AIGC时代
千模聚集的"百团大战"仍在继续,语音、图像和视频识别与分析仍亟需算力作为基底,智能算力市场庞大,人工智能应用的高效落地将成为智能算力产业发展的重要推手,驱动智能算力规模高速增长。"在场景中创新,在创新中再谋新",浪潮信息始终致力于与合作伙伴携手,共同推动多元算力的融合及新兴市场的开拓,构建融合开放的基础架构,实现计算产业发展方式的转型,开创智算产业新格局。