网易、科大讯飞正在挖掘的AI+动漫市场？

文/ 智能相对论

作者/ 离离

“由于汉化组成员身体抱恙,本周暂时停止更新。”看到这样的消息,小武叹了口气,默默退出应用程序。这已经是他喜欢的动漫在两个月内的第三次停更了。

环视四周,上下班时间的公交和地铁上,随处可见戴着耳机盯着手机屏幕、利用碎片时间追番看剧的年轻人。在步调紧凑的现代生活中,观看影视剧和动漫已经成为不少上班族的日常娱乐消遣。

信息传播的日渐便利,让人们有机会在网络上观赏更多来自不同国家地区、各式各样题材的影视动漫作品。但在那之前,字幕、对话的翻译与排版,以及改漫作品的图像绘制可是一项耗费人力物力及时间的大工程。一些较少人关注的小众作品经常因为翻译问题而无法及时更新。

“像我喜欢的一些动漫及小说、影集改漫作品,可能受众太少吧,大型平台没有引进,只能通过特定的粉丝论坛和网站收看。但这些网站的汉化时间与翻译质量十分不稳定,有时也挺糟心的。”即便作品内容可以及时更新,但缺少了汉化翻译,像小武这类没有日文基础的读者根本无法理解剧情发展。

随着科技进步,人工智能已经能在文本、图像的识别与翻译方面发挥不少作用,应用及商业化也早已成熟,Google、微软等不少互联网及科技公司都曾推出相关的服务。

“智能相对论”看到, 国内的互联网公司也推出了不少AI翻译产品,并已取得不错的商业成果。如百度大脑AI开放平台就推出了在线通用文本翻译业务,可实现两百个以上的语种在线互译,做到实时文本翻译及译文语音合成,能应用于移动端、PC网站及各类智能硬件。

其文档翻译及图片翻译功能则可识别不同档案及图片格式,在不改变文档格式的前提下完成翻译工作。去年三月,百度翻译的每日翻译量已达到千亿次;也为沪江网校、OPPO、海淘1号等不同领域的企业提供通用文本翻译服务。

网易的有道智云平台也提供实时语音翻译、文本翻译、图片翻译及部份语言离线翻译等服务,支持超过110个语种的自动识别与互译,能为直播、录播视频提供实时字幕转写翻译。腾讯云也推出了机器翻译产品,可实现文本翻译、语音翻译、图像翻译等多种功能,支持API方式接入。

科大讯飞则基于语音识别技术推出了一个视频译制智能协作平台,这款A．I．视频字幕制作应用具备自动创建视频字幕、字幕机器翻译、在线校对、译后编辑和团队协作等功能,可利用人工智能机器翻译,自动为外国视频添加中文字幕,目前累计用户为105万。

即便现有的AI翻译产品种类多样,但漫画的表现形式与一般文本不同,其翻译嵌字问题并非一般的翻译软件就能解决。

来自不同角色的对话、拟声词、文字注解、旁白等主体和作用不同的文字都会出现在同一幅图片中,一页漫画中的文字通常包含多种字体、大小,且漫画中的对话框文本排版并无规律。面对此类特殊的表现形式,普通的翻译软件往往无法完整地读取、识别所有需要翻译的文字。

“之前我曾经试过将原文漫画图片上传翻译软件,但效果不佳。翻译出来的文字经常超出对话框,一些手绘、异形及不同大小的文字经常没法识别,整体而言作用不大,试过一次就没再用了。”小武告诉“智能相对论”。

为了帮助像小武这类的读者即时看到翻译完成的作品,并解决民翻盗版问题。去年,一家专门从事漫画的机器翻译技术公司完成了一款从识别、翻译到嵌字都能自动完成的AI自动翻译系统“Mantra Engine”。

AI汉化组coming

漫画的翻译工作主要可分为文本转录识别、对话框内及背景文字翻译、翻译后的文本排版三个步骤。

在文本识别方面,Mantra的研究团队开发了专门用于漫画字符识别的OCR引擎,可定位识别来自不同角色的对话、拟声词、文字注解、旁白等主体和作用不同的异形文字,即便漫画图片十分拥挤也能够辨识。

在内容翻译上,这款应用程序针对漫画常出现的,因角色转换或画面连贯造成的主宾语衔接或缺位口语对话模式,以及传统商务翻译中少见的口吃与结巴等特殊句式加强训练。

通过文本分组、文本阅读顺序、提取视觉语义三种方式,结合对话语意和角色情绪、动作,实现多模态的上下文感知,帮助翻译出最符合角色人设、表情与情感的多语言译文。

作为一套AI自动化翻译引擎,Mantra可自动擦除原文字符,并于图像上嵌入符合译文语言形态的文字排版,包含对话框的增减、拆分与文字对齐等功能。为漫画翻译中耗时最久、人力成本最高的嵌字工作提供更加快速有效的自动化解决方案。

实验结果显示,这款程序比传统人工翻译所需时间减少了一半;整体而言可减少六成至七成的翻译成本。目前,这套系统可输出JPG、PNG和PDF等格式,但能翻译的语言并不太多,翻译结果也仍需人工修正。

研究团队表示,下一步将提高翻译准确度,开发针对漫画表情的识别系统,并计划拓展可用语言。希望能将该技术以计量收费的形式,帮助漫画出版行业拓展海外市场,并协助漫画作者在社交媒体上自由地发布作品。

有待发现的需求

事实上,Mantra自动翻译系统的诞生并非由于研发团队创造了全新的先进技术,而是研发者看到细分市场的需求,将已经发展成熟的AI翻译技术与图像识别转换加以融合应用,试图优化现有的生产方式,希望在降低成本的同时提高产出效率。

虽然国内的OCR识别与AI文本翻译技术早已成熟,除了漫画汉化所需的自动嵌字技术尚待开发,不少互联网公司已有能力提供多种类型的AI翻译服务。但在商业应用方面,仍集中于商务交流、出国旅游、教育学习方面。

目前市面上应用于影视文化、知识产权等文化产业的AI翻译产品大多为基于语音识别技术的视频字幕语言转换服务,针对漫画及图书绘本的翻译需求所设计的自动化解决方案尚未出现,漫画翻译的市场需求似乎仍未受到关注。

“智能相对论”以百度为例,其文字识别服务虽包含卡证、票据等多场景的OCR识别,使用方式有云端、离现实别SDK、私有化部署等;文字翻译方面,也提供AI翻译定制化服务,可由用户自行上传特定领域的语料库,为AI翻译模型进行训练。但在应用场景上仍需要客户“自行想象”,尚未发展出像Mantra那样专门针对漫画、指向明确的自动化“一条龙”翻译服务。

近年,国内语言服务行业涉及的翻译服务领域呈现多样化。《2019中国语言服务行业发展报告》显示,在受访企业中,影视文化与知识产权的订单占比各占36．7%和36%。国内二次元群体不断扩大,在线动漫市场规模持续增长,用户为内容付费进出口逆差也不断增加,漫画翻译的市场需求也逐渐明显。

Mantra的出现为人工智能在动漫制作与传播方面开启了新的应用模式与细分市场。从生产商与出版社的角度而言,可节省创作时间与劳动成本,在促进作品的海外传播效率并防止盗版;站在小武等读者的立场,能更快看到新鲜出炉的作品,不再为语言翻译问题所苦。

在二次元文化“出圈”、动漫受众不断增加的今日,AI所带来的生产力与传播效率提升,或可带来不少商业机会。以动漫大国日本为例,据日本出版科学研究所统计,2020年,日本漫画市场规模较上一年增加23%,达6126亿日元,创1978年开始统计以来的最高纪录。

据艾瑞咨询统计,中国泛二次元用户规模自2014年来持续上升,至2019年已达3．9亿人,在线动画及漫画市场规模进入稳步增长。《2020微博动漫白皮书》显示,微博泛二次元用户同比增长11．4%,连续4年保持稳定增长;54%的动漫用户是内容付费用户。在泛娱乐融合的产业背景下,动漫行业前景可观。

一如Clubhouse的爆火,即便多人在线语音通讯技术早已成熟、语音社交早已出现,仍有部份需求未被覆盖。就像Mantra告诉我们的,一些AI技术发展成熟后想要走的更远,还需要更有想象力的应用场景。对于掌握成熟AI翻译技术的百度、网易、科大讯飞等企业而言,AI自动翻译漫画这个暂时未被注意的应用场景或许能带来新的机会。

*本文图片均来源于网络