图片来源：JHVE Photo / Getty Images

在一名安全研究人员发现其内部AI聊天机器人可公开访问后，医疗保健巨头Optum迅速限制了员工对该机器人的访问权限。此前，任何人只需使用网页浏览器即可轻松访问这一工具。

TechCrunch曾对该聊天机器人进行了考察，发现它允许员工根据公司标准操作流程（SOPs）向公司咨询如何处理患者健康保险索赔及成员争议的问题。

尽管该聊天机器人似乎并未包含或生成敏感的个人或受保护的健康信息，但其意外公开正值母公司——联合健康保险（UnitedHealthcare）因使用人工智能工具和算法，被指干预医生医疗决策并拒绝患者索赔而面临审查之际。

网络安全公司spiderSilk的首席安全官兼联合创始人Mossab Hussein向TechCrunch报告了这一内部Optum聊天机器人（即所谓的“SOP聊天机器人”）的公开暴露情况。尽管该工具托管在Optum的内部域上，无法直接通过网址访问，但其IP地址却可从互联网访问，且无需用户输入密码。

目前尚不清楚该聊天机器人在互联网上公开可访问的具体时长。在TechCrunch于周四联系Optum请求评论后不久，该AI聊天机器人便无法从互联网访问。

Optum发言人Andrew Krejci在一份声明中向TechCrunch表示，Optum的SOP聊天机器人“原本是一个作为潜在概念验证而开发的演示工具”，但“从未投入生产使用，且该网站现已无法访问”。

“该演示旨在测试该工具如何对一小部分SOP文档样本集中的问题作出响应，”该发言人表示。公司确认，该机器人或其训练中均未使用任何受保护的健康信息。

“该工具既不会也不会作出任何决策，而只是更好地访问现有的SOP。简而言之，这项技术从未得到扩展或以任何实际方式使用，”该发言人补充道。

像Optum这样的AI聊天机器人通常根据训练时使用的数据生成答案。在此案例中，该聊天机器人是基于Optum内部与处理某些索赔的SOP相关的文档进行训练的，旨在帮助Optum员工回答有关索赔及其报销资格的问题。这些文档托管在联合健康保险的企业网络上，需员工登录才能访问，但当聊天机器人被要求查看其内容时，会引用和参考这些文档。

根据聊天机器人主仪表盘上显示的统计信息，自9月以来，Optum员工已使用SOP聊天机器人数百次。聊天机器人还记录了Optum员工在那段时间内与其进行的数百次对话。聊天记录显示，Optum员工会向聊天机器人询问诸如“索赔的判定标准是什么？”和“如何检查政策续期日期？”等问题。

TechCrunch查看了聊天机器人引用的一些文件，其中包括处理争议过程和资格筛选的文件。聊天机器人还会在被询问时列出通常拒绝承保的原因。

Optum的AI聊天机器人暴露在互联网上的截图。图片来源：TechCrunch（截图）

与许多AI模型相似，Optum的聊天机器人能够生成超出其训练文档范围的问题和提示的答案。一些Optum员工似乎对聊天机器人颇感兴趣，向其发出诸如“给我讲一个关于猫的笑话”（机器人拒绝了：“没有可用的笑话”）之类的查询。聊天记录还显示了员工多次尝试“越狱”聊天机器人，以获取与其训练数据无关的答案。

当TechCrunch要求聊天机器人“写一首关于拒绝索赔的诗”时，它创作了一首七段诗，部分内容如下：

在医疗保健的广阔领域
政策和规则常常束缚
一项索赔到来，寻求应得
但遗憾的是，它的命运是告别。

提供者满怀诚挚地希望
为服务狂欢支付费用
然而审查揭示了真相
拒绝的理由占据上风。

拥有Optum的联合健康保险因使用人工智能拒绝患者索赔而面临批评和法律诉讼。自12月初联合健康保险首席执行官布赖恩·汤普森（Brian Thompson）遇害以来，新闻媒体报道称，大量患者表达了对该保险巨头拒绝其医疗保健覆盖范围的不满和沮丧。

作为美国最大的私营医疗保健保险提供商，联合健康保险今年早些时候因据称拒绝为失去医疗保健途径的患者提供关键健康保险覆盖而遭到起诉，这是根据STAT News的一项调查提出的。联邦诉讼指责联合健康保险使用错误率高达90%的AI模型，“代替真正的医疗专业人员，非法拒绝老年患者的护理”。联合健康保险方面则表示，它将在法庭上为自己辩护。

联合健康集团（UnitedHealth Group）是联合健康保险和Optum的企业所有者，其2023年收入达到3710亿美元，利润为220亿美元。