图片来源：Carol Yepes / Getty Images

生成式AI的应用领域广泛，但滥用现象屡见不鲜，从伪造学术论文到抄袭艺术作品。如今，这一技术似乎还涉足国家影响力活动。

根据马萨诸塞州威胁情报公司Recorded Future的最新报告，近期的一项活动“极有可能”得到了包括ElevenLabs公司公开发布的AI语音生成技术的支持。

该报告披露了一项名为“Undercut行动”的俄罗斯相关活动，旨在削弱欧洲对乌克兰的支持。该活动显著特点是在虚假或误导性的“新闻”视频中大量使用了AI生成的配音。

这些针对欧洲观众的视频，内容涵盖攻击乌克兰政客腐败、质疑向乌克兰提供军事援助的必要性等多个主题。例如，一段视频声称“即使干扰器也无法拯救美国艾布拉姆斯坦克”，以此强化向乌克兰发送高科技装甲无意义的观点。

报告指出，视频制作者“极有可能”使用了ElevenLabs等语音生成AI技术，以使内容看似更具权威性。为验证这一点，Recorded Future的研究人员将视频片段提交给ElevenLabs的AI语音分类器进行检测，结果显示匹配成功。

ElevenLabs未对置评请求作出回应。虽然Recorded Future提到了多种可能的商业AI语音生成工具，但除ElevenLabs外，未提及其他任何工具。

影响力行动的组织者在无意中展示了AI语音生成的实用性。他们粗心地发布了一些带有真实人声配音的视频，这些配音“带有明显的俄罗斯口音”。相比之下，AI生成的配音则使用多种欧洲语言，如英语、法语、德语和波兰语，且毫无外国口音。

据Recorded Future称，AI还使得误导性片段能够迅速以欧洲多种语言（如英语、德语、法语、波兰语和土耳其语，恰好这些语言均受ElevenLabs支持）发布。

Recorded Future将此次活动归因于总部位于俄罗斯的Social Design Agency。今年3月，美国政府因该机构运营“一个由60多个假冒欧洲真实新闻组织的网站组成的网络，并利用虚假社交媒体账户放大误导性内容”而对其进行了制裁。美国国务院当时表示，这一切均“代表俄罗斯联邦政府”进行。

Recorded Future认为，该活动对欧洲公众舆论的整体影响微乎其微。

ElevenLabs的产品并非首次因涉嫌滥用而被单独指出。据彭博社报道，一家语音欺诈检测公司发现，该公司技术曾被用于一个假冒总统乔·拜登的自动拨号电话，该电话在2024年1月的一次初选中敦促选民不要外出投票。ElevenLabs随后表示，已推出新的安全功能，如自动屏蔽政客声音。

ElevenLabs禁止“未经授权的、有害的或欺骗性的假冒行为”，并表示采用多种工具执行此规定，包括自动和人工审核。

自2022年成立以来，ElevenLabs经历了快速增长。据TechCrunch此前报道，其年度经常性收入（ARR）从一年前的2500万美元增长至8000万美元，并可能很快达到30亿美元的估值。其投资者包括Andreessen Horowitz和前Github首席执行官Nat Friedman。