《科创板日报》10月24日讯 “AI孙燕姿”之后,又有黑科技出圈。
近日,顶流歌手泰勒•斯威夫特(中国粉丝称她为“霉霉”)操着一口流利普通话的视频在各大社交平台上广泛传播。视频中,霉霉在讲中文时,准确卡点,音色与讲母语时候的音色类似,甚至连口型都能对上。
不止如此,网传热门视频中还出现了说着中文的特朗普、憨豆、埃玛•沃森,以及说着英语的蔡明。除了中英互换之外,国外还有人尝试将英语翻译成日语等其他6种语言,效果同样很不错。
怎么做到的?
据了解,这些视频都使用了AI视频工具HeyGen。创作者只需要上传视频并选择要翻译的语言,该工具可实现自动翻译、调整音色、匹配嘴型。
不过HeyGen并不完美,视频字幕需要创作者添加,此外有创作者表示,如果刻意对比,视频人物在说另一种语言时,情感还原度仍有欠缺。
这不能阻挡该工具的火爆,HeyGen目前已推出付费版,但可免费试用、生成1分钟时长视频,有创作者称排队了7000个视频才完成翻译。
▌背后玩家来自中国 产品上线7个月实现盈利
HeyGen是为视频创作者打造的工具,翻译功能并非其全部。粗略看下来,围绕视频创作,HeyGen的功能十分强大,包括主播换脸、文字转口播视频、创建虚拟主播、语音克隆。
数字人创建是其主推的功能。据HeyGen介绍,即使没有摄像机、摄影棚和演员,普通人也可以通过该工具制作视频。用户只需要用上传一段2分钟的小视频,就能制作一个和真人一样的数字人,即使是像手势、面容和口型这种“细微肢体语言”也能调整。
Joshua Xu就曾亲自上阵,推出了与自己形象一致的数字人。
Joshua Xu的虚拟版
目前其客户包括英伟达、亚马逊、volvo等,产品支持300多种声音、40多种语言,提供超过100+数字人素材和模板,广告、电商、新闻等一应俱全,也可以自己编辑PPT生成。
天眼查数据显示,诗云科技已获得来自红杉中国、真格基金等风投们累计近千万投资。
值得注意的是,HeyGen还是一款已实现盈利的AI应用。该工具制定了非常细化的付费方案,对个人版/企业版进行了分类,可选择包月还是包年,提供加价使用的插件,对于普通用户而言,包年版价格平摊下来,每月需花费24美元/月。
公司在今年4月底发布的博客中透露,产品上线(2022年7月推出)后历时178天,该公司年度经常性收入(ARR,annual recurring revenue)已达到100万美元,上线7个月达到盈利状态。
Joshua Xu曾表示,HeyGen已经积累了数百万个视频数据,也会考虑做视频垂直领域的大模型(LLM)。