金年会云知声荣获邦际人工智能顶会AAAI 2024数字人竞赛1亚1季

 行业动态     |      2024-04-02 07:34:24    |      小编

  不日,人工智能邦际顶级学术集会 AAAI 2024 落下帷幕,会上揭晓数字人本领竞赛结果,由中邦科学本领大学讯息学院主动化系於俊教授带队的中邦科学本领大学与云知声联合组修的USTC-IAT-United团队荣获自监视人脸几何重修赛道第3名、半监视3D颅骨重修赛道第2名的优异劳绩。

  AAAI,即邦际进步人工智能协会(Association for the Advancement of Artificial Intelligence),是环球人工智能范围内的领先邦际学术结构。该协会的主题责任正在于鞭策对思念和智能举动及其正在机械中实行的科学机制的深化贯通。其每年举办的邦际集会是人工智能范围里汗青最悠远、涵盖实质最遍及的的邦际顶级学术集会之一,本年已是第38届。

  此次数字人本领竞赛包括自监视人脸几何重修、半监视3D颅骨重修、音频驱动讲话头天生的众模态研习、音频驱动的协同语音手势视频天生4个赛道,聚集环球数百支高校和科研机构的专业团队插足竞技。

  正在自监视人脸几何重修寻事赛中,面临数据缺乏、几何讯息杂乱、光照和神情转化、纹理讯息缺失、过拟合和泛化本事亏折等众重坚苦,USTC-IAT-United团队采用coarse-to-fine的框架,起首应用现有的3DMM-based手法deep3d,预测人脸的低频几何一面,天生对应的position map及texture map,为后续的细节预测奠定底子;接着,团队操纵两个串联的pix2pix收集,区分预测deformation map和displacement map,进一步细化人脸的几何特质。通过维系预测的紧密化几何、光照、优化后的漫反射贴图,实行可微分烘托,获得重修的人脸图像。为了确珍惜修质料,团队通过策动中频和高频烘托人脸与原图之间的失掉,指导人脸几何样式的轻微转化,从而捕获到更众的几何细节。正在所有进程中,USTC-IAT-United团队将人脸几何领会为三个方针,区分正在人脸全部、极点级别和像素细节进步行修模,实行了人脸重修的高精度和高紧密度。最终,团队从17个区别的视角启程,为重修的3D人脸天生了纹理和法线烘托图像,富裕闪现了其正在人脸几何重修范围的本领冲破和革新成效。

  正在半监视3D颅骨重修寻事赛中,面临标注数据的稀缺和不切确、范围误差、模子杂乱性以及评估困难,USTC-IAT-United操纵伪标签本领,富裕阐明无标注数据的潜力,通过半监视研习手法加强模子教练。为了提拔模子机能,团队安排了一种众模子交叉伪标签战术,维系CNN和Transformer的特质提取上风,实行了模子间的彼此监视,有用加强了特质提取本事。同时,团队应用 ConvNeXt 模块的可扩展性,针对零落解说医疗的寻事实行定制,安排用于 3D 医学图像豆割的一律 ConvNeXt 架构,并将其开发与 nnUNet (v2)教练框架之上。别的,通过从2D和3D两个维度实行模子调和,进一步加强了3D颅骨重修程度。

  行动中邦AGI本领工业化的先行者,云知声于2016年开发了Atlas人工智能底子办法,并据此拓荒了具有通用本事的专有大模子山海(UniGPT),成为公司本领平台云知大脑(UniBrain)的新主题,与众模态感知与天生、常识图谱、物联平台等各种智能组件相维系,为云知声灵敏生涯、灵敏医疗、灵敏交通等生意供给高效的产物化撑持,勉力激动千行百业的灵敏化升级。

  行动云知大脑(UniBrain)的苛重构成一面,云知声数字人本领只需一次3分钟真人素材录入,即可天生一个声响、举动自然,口型精准,众语种醒目的数字人分身,可合用于教训、电商、信息、自媒体等众种场景金年会。此次夺得1亚1季的优异劳绩,富裕印证了云知声正在数字人范围的本领革新势力,也将激劝云知声进一步夯实AGI本领底座,为构修互联直觉的天下接续孝敬气力。

  人工智能本领的速捷发达和遍及利用,正不时冲破各个行业的发达瓶颈,重塑区别工业的出产和运营形式。预测异日,云知声将连续顽强走正在本领研发的前沿,接续饱动通用人工智能(AGI)范围的探讨与冲破,为各行各业带来新的拉长范式与无尽或许。