首页 新闻 荣登CLUE榜首,腾讯云NLP超大模型解决方案再升级

企业新闻

荣登CLUE榜首,腾讯云NLP超大模型解决方案再升级

日期:2022年05月08日

       近来, 腾讯云AI与腾讯优图实验室的加快团队在CLUE言语分类使命上进行实验, 一举在CLUE分类使命1.0和1.1中拿下业界榜首的好作用。
       (HUMAN为人类标示作用, 非模型作用, 不参加排名。)怎么与AI进行无障碍的对话?近年来跟着人工智能的开展, NLP(自然言语处理)一直是业界外重视的焦点, 其间预练习模型(Pre-TrainedModel,

PTM)络绎不绝作为当下最具有革命性的立异作用, 正成为国内外互联网企业探究的要点, 构建以中文为中心的超大规模预练习模型及生态势在必行, 各大公司在反哺本身事务的一起纷繁向CLUE榜单建议“冲击”。CLUE是中文言语了解范畴最具权威性的测评基准之一, 涵盖了文本类似度、分类、阅览了解等很多语义剖析和了解类子使命。作为“刷榜利器”的预练习模型便是经过在大规模文本上会聚很多算力, 不断集约化地练习大模型, 预练习出通用的言语特征, 就可以供给给很多企业运用, 大大降低了自然言语处理研讨和使用的门槛。“工欲善其事, 必先利其器”腾讯云TI渠道是根据腾讯云强壮核算才能的一站式机器学习生态服务渠道。它可以对各种数据源、组件、算法、模型和评价模块进行组合, 使得算法工程师和数据科学家在其之上可以方便地进行模型练习、评价和猜测。
       TI系列产品支撑公有云拜访、私有化布置以及专属云布置。TI-ACC是腾讯云AI和优图实验室最新发布的一款AI加快组件产品,

是根据优图实验室开源的跨渠道高功能推理结构TNN和练习结构(TI系列)基础上的一次全新晋级, 能一起为企业供给 AI 模型练习和推理加快服务, 支撑多种结构和场景, 可以明显进步模型练习推理注视、降低成本。本次大模型的预练习彻底依托于腾讯云TI渠道, 并斑驳陆离TI-ACC进行练习加快。全体的练习计划如下:首要, 模型的超卓作用离不开背面海量优质中文预练习语料的支撑。腾讯云团队在TI渠道上构建了海量语料的预处理、清洗和评价使命,

汇集了小说、新闻、社区谈论等的不同范畴的优质内容, 以及各学科论文、使用描绘等专业性较强的特定内容, 筛选出数百GB高质量中文语料, 保证数据“来历广”且“质量精”。
       在此基础上, 针对NLP超大模型的特色和存在的问题, 腾讯云团队结合底层基础设施在单机核算功能和多机扩展两方面进行了深度优化。在核算功能优化方面,

TI-ACC对Transformer结构模型进行了稀少化核算、算子交融、动态文本长度输入等优化。在多机扩展上, 斑驳陆离了Zero-DP络绎不绝结合反向图显存节约、大模型参数多轮通讯、使用层NCCL通讯优化和参数主动调优等优化手法。
       终究, TI-ACC可以高效练习千亿级参数的NLP大模型, 极大的提升了模型预练习注视。此外, 咱们在模型上对Transformer结构做了微调, 再加上渐进式的课程学习练习计划, 使得大模型可以更快学会更多的常识。此次登顶CLUE榜单, 一方面代表了腾讯云在NLP生态范畴达到了业界领先水平, 另一方面预示着TI-ACC助力中文预练习模型在高效练习和推理方面迈上新台阶。
       

相关新闻

  • 2022-05-24 12:08:57

    中文在线童之磊讲网络文学使命与担当,要打造穿越时空的作品

    9月27日上午,2021世界互联网大会乌镇峰会“数字时代网络内容创新高端论坛”在乌镇举行。该论坛由中国作协主办,聚焦数字时代的网络内容创新。中央网信办副主任、国家网信办副主任盛荣华,中国作协党组成员、书记处书记胡邦生,常委朱国贤浙江省委常委、宣传部部长、网红代表、互联网企业负责人、专家学者、网络作家......

  • 2022-05-07 10:46:06

    破壁跨界! 宝思派新品发布再创全宅智能新高度

    7月19日,“聚势共进·赋能共赢”——宝思派智能家居新品发布会暨全球协作峰会在广东佛山满意闭幕。中国修建装修协会资料分会秘书长梁宏瑀女士,中国建博葵花奖智能家居评选委员会秘书长陈军先生,广东省定制供应链协会会长兰建平先生,广东省定制家居协会秘书长曾勇先生,广东省橱柜业商会秘书长钟娟女士,国促会制作与......

  • 2022-05-19 11:47:08

    可盐可甜戏腔高音样样行 李雅馨陌陌直播间多首歌曲展现彪悍实力

    第一次见到她,就会被她的美貌所吸引;当你听到她的歌声时,你会觉得她的唱功比她的长相还要惊人。她就是陌陌平台当红主播李亚欣。你很难用一种风格来定义李亚欣,因为她可咸可甜,既能高歌猛进,又能把戏驾驭。近日,李亚欣在直播间演唱了多首单曲,展现了她彪悍的唱功。李亚欣开播后,很多老粉丝都迫不及待地想尽快涌入她......

联系我们