让“无声世界”感受赛场魅力!带你看看冬奥手语数字人有哪些奥秘******
2022年2月4日,第24届冬季奥林匹克运动会在北京举行,让世界目光再次聚焦中国。本届北京冬奥会秉持绿色、共享、开放、廉洁的办赛理念,凝聚中国科技力量,面向世界、面向未来,向全球奉献了一场精彩、非凡、卓越的奥运盛会。
本届冬奥会运用最新科技手段,为全世界观众提供了惊艳的现场转播和全方位覆盖报道,北京冬奥会也成一场上科技含量高的奥运会。赛事活动期间,为了让各类人群都能平等地享受本届冬奥盛会,北京电视台上线了智能手语播报数字人,在《北京新闻》和《北京您早》等节目中进行冬奥专题手语播报,为听障人士带来精彩赛事报道。
最新数据显示,我国听障人群超过2700万,这部分人群与健听人一样,他们对教育、社交、娱乐等信息获取都有巨大的需求。但长期以来,传统人工手语翻译工作量大,且主持人和手语主持人配合难度极高。手语动作表情复杂,语序与正常语序差异大,正常情况下想要熟练掌握手语大约需要2年左右的时间,还要结合语境进行猜测。
受北京市科委科技冬奥专班委托,北京电视台联合凌云光、智谱AI等业内科技公司,在北京市残疾人联合会和市残联聋人协会等支持下,用3个多月时间,让手语播报数字人完成了近10万条手语语料学习,且翻译准确率高达90%。
在如此短的时间内实现这项高难度动作,智能手语数字人是如何做到,在这背后又有哪些技术创新难点?
在多位业内人士看来,近年来人工智能体系建设重点布局在算法层和应用层,数据层建设远远不足,并且针对数字人相关产业,底层数据库的数量、质量和开源程度还明显不足。尤其是国内现有的手语语料数据库数量少,且多以图像、视频等二维平面为主,无法满足AI(人工智能)训练的需求。
同时,因手语语序与中文语序差异大,方言分化更加复杂,且需要通过表情、口型、动作等方式来传达信息。除了传统的二维平面图像、视频采集,三维肢体运动、表情信息数据采集及结构化参数表达外,手语语料数据库建设对三维运动信息捕捉也十分重要。
凌云光手语数字人产品相关负责人介绍,在建设高质量手语语料库的同时,他们充分调研了2022北京冬奥专用手语术语,并联合北京市残联、聋人协会等相关组织机构,进行数据标注,建设手语语义映射关系,不仅完善了国内手语数据库的建设,也为手语推广和AI研究留下了宝贵的数据资产。
该负责人举例说,基于“悟道2.0”超大规模人工智能模型的技术支撑,手语数字脑用计算机模仿听障人士的大脑,将看到的中文文本信息转换成手语词汇序列,包括中文语义蒸馏模型和AI手语分词快编算法的研究。中文语义蒸馏模型用于从输入的文稿或文本中提取出关键的语义信息,将中文文本语义提炼和精简,形成精准匹配适合手语表达的文本;AI手语分词快编算法则用于将蒸馏得到的中文文本,根据冬奥手语语料库划分成相应的手语词汇序列,供数字人做表达输入。
该负责人还提到,数字人是冬奥手语播报的载体和展现形式,通过高精度写实数字人全流程制作方案,可实现一键数字建模,高度还原真人发肤,重新毛孔等细节,更加真实亲切。同时,通过跨模态拟人生成算法,还可以将手语词汇序列,生成相应的动作信息,驱动数字人模型做出相应的动作、手势和表情。(姚坤森)
芬兰冬残奥选手说北京是老家 和朋友一起能撸100根串******
镜头前,金发碧眼的芬兰残奥选手马蒂·赛拉宁,正用流利的汉语介绍着自己。很多时候,他也喜欢别人叫他的中文名字,刘迪。
在近1个小时的交谈中,他毫无障碍地用中文回答了所有问题。由于此前长期在北京生活,在很多语境中,马蒂已经能将北京话中的“儿化音”熟练运用。
图为跆拳道学生作品中的刘迪。受访者供图虽然有屏幕相隔,但依旧能感受到马蒂对单板滑雪,对中国的热爱。
用他的话说,“中国是我的老家”。如今37岁的他,曾在这里生活了20年。
单板滑雪 & 北京冬残奥会
作为残奥单板滑雪选手,马蒂在北京冬残奥会张家口赛区参加单板滑雪男子障碍追逐 - UL级和男子坡面回转-UL级比赛。
“我觉得张家口(冬残奥村)很舒服,希望可以留更长时间,”虽然3月4日才抵达张家口,但马蒂笑着说已经熟悉了这里的生活。
图为刘迪。受访者供图谈起在赛区印象最深刻的事情,马蒂不假思索地说道,“我很喜欢和中国人聊天儿。”在他看来,这会带给他幸福感。
中新体育:对于在冬残奥村的生活满意吗?
刘迪:大家都很友好,比如志愿者、安保人员。所有的东西都准备得非常好,吃、喝,包括小卖部都是很棒的。
2002年,一场交通事故导致马蒂的左臂神经严重受损。这样生活了10年后,他在北京进行了截肢手术。
对于从小就热爱运动的马蒂而言,他不仅选择用时间抚平身体和心灵上的创伤,喜爱跆拳道的他也开始参加残疾人跆拳道的世界大赛。
中新体育:如何与单板滑雪结缘?
刘迪:在和芬兰残奥部门的人聊天时,我知道了残疾人单板滑雪项目。它看起来很好玩,所以我告诉他们,我想试试这个。
于是,2016年,马蒂带着雪板前往荷兰参加比赛,那是截肢后的他首次踏上单板滑雪的赛场。赛后,他便下定决心要成为一名更好的运动员。
图为刘迪在比赛中。受访者供图本次北京冬残奥会,马蒂未能在残奥单板滑雪男子障碍追逐-UL级资格赛中突围。虽有遗憾,但他认为能够和世界顶尖选手同场竞技,对自己的表现已经非常满意。
在马蒂的认知中,是运动给他带来了自信和幸福。如今,单板滑雪已经从爱好变成了马蒂的职业,他在芬兰担任教练,教滑雪、跆拳道、跑酷等。
爱看《差不多先生传》
马蒂的父亲从事的是手机网络相关工作,由于工作原因,马蒂很小时候便跟随父亲来到了中国。“在我最初有记忆时,就已经在北京了。”马蒂笑着说道。
中新体育:“刘迪”名字的由来是什么?
刘迪:我父母离婚后,我爸找到了中国妻子,我现在的妈妈是中国人。“刘迪”这个名字是姥爷给我取的。
“就是跟人家聊天儿。”
谈及学习中文的过程,马蒂的回答很是简单。“和人聊天的过程中,我能了解大学里学不到的生活用语。”
回想印象最深刻的经历,马蒂有些害羞地笑了,“应该是我喝酒后和出租车司机聊天儿。”
图为刘迪在训练。受访者供图中新体育:这次回到中国,感觉中文退步了吗?
刘迪:我以为会退步很多,但我发现还是可以的。语言这种东西你学会了,即使退步了,很快就能恢复。
对于中国文学,马蒂同样颇有造诣。
“我很喜欢《差不多先生传》,”提起自己印象深刻的中国作品,马蒂的眼神里多了几分兴奋。
“我觉得我们所有的人都是‘差不多先生’。我对我自己的‘差不多’已经很满意了。”话语间,看得出马蒂由内至外的自信。
“《阿Q正传》我也学过,我觉得‘精神胜利法’也是一个我们所有人必须去考虑的一个事情。我感觉它告诉我们当心变成‘阿Q’。”
其实,马蒂对于哲学同样很感兴趣。他常和老师探讨《孙子兵法》以及道学等颇具中国特色的文化元素。
图为刘迪(蓝色)参加比赛。受访者供图中新体育:是不是中文课程成绩出色?
刘迪:也不是,古代汉语,我补考了两次。
马蒂谦虚地说道,“我读书时的想法是,60分万岁。”
曾在北京三里屯“消灭”100串羊肉串
中新体育:对中国哪个城市最熟悉?
刘迪:我去过(很多城市)旅行,天津、上海、内蒙、成都、大连……
但对于曾先后三次来北京生活的马蒂,那里无疑是他最熟悉的。
小时候,马蒂曾住在光明公寓和国贸公寓。进入北京语言大学学习后,他来到了五道口。后来,还曾搬到顺义。
“如果现在上车说去哪,我可能会说去五道口。”这个在北京被誉为“青年人天堂”的地方,是马蒂待得最久的。
而在发生交通事故后的那段时间,马蒂也时常来到三里屯酒吧街缓解压力。如今在从事职业运动后,他已经戒酒了。
回想起这些年在北京的经历,马蒂对美食念念不忘。他很接地气地说道,“我喜欢路边摊,羊肉串、烤馒头……”
“那天在冬残奥村餐厅里吃到了羊肉串,我已经很满意了。唯一遗憾的是,还没找到茉莉清茶饮料。”
中新体育:有没有在北京寻觅到美食?
刘迪:马路边的羊肉串是最好吃的!有一次我和朋友去三里屯,我们“消灭”掉了100串羊肉串。
在北京生活期间,不少芬兰好友也会来中国游玩。对于如何做好“导游”,马蒂同样深谙其道。“如果是年轻人,会带他们去学院路;如果是年龄大一点的朋友,我就带他们去天安门、长城。”
而长期居住在中国,马蒂也早已被打上了鲜明的东方文化“烙印”。他曾在内蒙古草原骑过马,对于打麻将也略知一二……
女儿会写ABC前,就认识汉字
“她叫刘萱,我们叫她萱萱。”谈起女儿,马蒂的嘴角又上扬了几度。
中新体育:是否会向女儿介绍中国文化?
刘迪:她已经会说中文了,我女儿她说,还没会写ABC的时候,就已经能认识一些汉字。
“女儿出生之后,我妻子和女儿说法语,我跟她说英语,我爸爸和他说芬兰语,我妈妈给他讲中文。”
图为刘迪女儿练习单板滑雪。受访者提供视频截图谈起已经接触过四国语言的女儿,马蒂很是骄傲。
其实近几天,是马蒂妻子的临产期。作为丈夫,他想陪在妻子身边,亲眼看到第二个孩子出生。这次中国之行前,马蒂犹豫了很久。
中新体育:当时为什么选择来参加北京冬残奥会?
刘迪:这不是一个简单的决定。最后是我妻子劝我来的,虽然她不想生孩子时没人陪伴,但她知道单板滑雪是我的职业。而且北京是我的老家,所以这个机会我不能失去。
马蒂调侃着说道,“我希望儿子等到我回家之后再出生。”
多才多艺,深爱中国功夫
长时间在中国生活的马蒂,对于中国功夫同样痴迷。太极拳、双截棍他都练得有模有样。
中新体育:在中国,最难忘的经历是什么?
刘迪:我在北京住了很长时间,学过武术、太极拳、双截棍,也参加过几次比赛,这些都给我带来了深刻印象。特别是和我的中国教练,一起训练的朋友共同交流。
从在北京语言大学参加太极拳课程,到在路边被打双截棍的师傅所吸引,马蒂变得越来越多才多艺。
“我的太极拳课得了100分。”马蒂满意地笑了。
图为在跆拳道俱乐部的刘迪。受访者供图马蒂即将成为两个孩子的父亲,当被问及将在赛场上打拼到多少岁时,马蒂坦言,“只要我身体允许的话,就会继续。”
中新体育:未来会考虑来中国定居吗?
刘迪:我会保持这个意见,如果有机会的话,我肯定会考虑。
金发碧眼的他,自称“老北京”;身为芬兰运动员,却在中国生活过20年,在马蒂的娓娓道来中,他和中国的故事也将被更多人所熟知。(作者 刘星晨)
(文图:赵筱尘 巫邓炎) [责编:天天中] 阅读剩余全文() |