发布日期:2025-09-07 07:55 点击次数:118

华为时间有限公司近日在东说念主工智能范围获得蹙迫打破,其苦求的"AI模子运转神态、安装及相干介质"专利致密对外公布。这项更变时间聚焦于经管异构蓄意环境下AI模子运转效果的瓶颈问题,通过优化数据传输机制权贵镌汰处理蔓延。
专利时间中枢在于构建新式数据预取体系。在传统架构中,当AI模子处理第二批次数据时,若检测到新类型数据,系统需临时从主机内存调取相干镶嵌向量,导致蓄意卡出现恭候情景。这种数据搬运与蓄意经过的串行实行花式,严重制约了异构系统的合座效劳。
华为提倡的经管决策通过三步协同机制竣事打破:领先由主机处理器对相邻数据批次进行相反分析,精确识别新增数据类型;随后系统将对应镶嵌向量预加载至土产货高速缓存;最终在蓄意卡处理新数据时,通过预生成的向量索引竣事镶嵌式数据的并行传输。这种想象使数据准备与蓄意操作得以同步进行。
该时间相配适用于处理器与蓄意卡协同职责的主机系统。在机器学习场景下,输入数据频繁接纳分批次处理花式。通过开采前瞻性的数据预取机制,系统大略提前预判蓄意需求,将数据搬运对蓄意资源的占用时刻压缩至接近零的水平。实验数据流露,该决策可使合座处理蔓延镌汰30%以上。
据专利文献裸露,这项更变属于机器学习基础架构范围,其价值不仅体当今效果培育,更在于为大范围AI模子执行提供了更优的硬件愚弄决策。通过舍弃蓄意卡恭候时刻J9九游会体育,系统资源愚弄率得到权贵改善,为及时性条件高的AI应用开辟了新的时间旅途。
Powered by 九游会体育 ag九游会登录j9入口 j9九游会登录入口首页 @2013-2022 RSS地图 HTML地图