由人工智能辅助的蛋白工程正在蛋白设计领域实现突破，但它们同时也带来了与产生潜在有害蛋白相关的生物安全挑战。尽管用于检测有害蛋白的筛查软件业已存在，但一项对这类软件进行的为期数月的新分析报告称，该软件存在漏洞；一些令人担忧的蛋白可能会躲过检测。至关重要的是，该研究还提出了一种在未来提高令人担忧蛋白检测率的方法。由人工智能辅助的蛋白设计（AIPD） 在医学和生物学领域取得了重大进步，因为它能使研究人员修改现有蛋白或设计具新颖结构与功能的全新蛋白。然而，这项强大的技术也可能因不当使用而设计出有害蛋白。在实验室中制造蛋白的必要步骤是订购编码该蛋白的 DNA。提供这些合成核酸的公司会用生物安全筛查软件（BSS）来筛选客户订单，旨在发现和阻断可编码令人担忧蛋白的基因。然而，蛋白质序列生成模型可能会产生功能性变体，其氨基酸序列与受控样本因差异足够大而逃避检测。尽管如此，目前尚未对 BSS 的漏洞进行系统性评估，而在生成式蛋白设计的潜在生物安全风险方面也缺乏国际性规制。Bloomfield 等人此前在《科学》“政策论坛”上发表的文章以及 David Baker 和 George Church 撰写的社论都凸显了这些问题。
在本研究中，Bruce Wittmann 和同事采用一种“AI 红队演练”法来评估 BSS 模型，旨在改进这些模型以增强生物安全性。Whittmann 等人利用开源 AI 蛋白质设计软件生成了超过 7 万 5000 种蛋白危险变体，并将其提交给四家不同的 BSS 开发商；他们发现，虽然所有工具在筛选原始野生型蛋白质时表现近乎完美，但它们检测重新设计变体的能力却不稳定。据作者披露，这些结果表明，尽管当前的 BSS 系统对未改变的序列仍然有效，但在面对通过现代生成式 AI 方法设计的蛋白序列同源物时（尽管这些同源物相似），它们仍缺乏稳定一致的灵敏度。根据这些初步发现，Wittmann 等人与 BSS 供应商合作开发了软件补丁，并由四家 BSS 中的三家部署到其系统之中。这些更新提高了该软件对 AI 生成变体的检测率，但假阳性却并未显著增加。尽管如此，作者仍然指出，没有任何工具能够做到全面覆盖：在各供应商中，约有 3% 最有可能保留功能的变体仍能躲过检测。该研究的资深作者兼微软首席科学官 Eric Horvitz 说：“人工智能的进步正在推动生物学和医学领域的突破；但随着这种新能力而来的是保持警惕和进行风险周密管控的责任。除了识别并努力减少这一特定漏洞之外，我们的目标是开发和展示一个有效的流程：建立一个应用严谨科学方法创建共享敏感数据和见解框架的跨领域团队，其目的是在推进科学发展的同时管控潜在风险。”
本研究的作者已告知《科学》杂志，由于可能被误用，部分数据和代码不宜在公共代码库中公开。因此，作者设计了一个数据发布的分级访问机制，即允许相关各方通过联系非营利组织“国际生物安全与科学生物安全倡议 ”（或 IBBIS）的指定代表来申请获取受限资料的访问权限；IBBIS 的网址为 https://ibbis.bio。申请者需提供其身份、所属机构和对数据用途的简要说明；申请者需遵守数据使用协议。IBBIS 的一个委员会将对申请进行评估，并确定申请者提供的信息是否准确及其拟议用途是否合法。受限数据会根据信息危害等级进行分类；最高等级包含研究中使用的代码，其发布取决于与拟议用途的适配度。《科学》杂志的编辑一致认为，该拟议方案充分平衡了安全顾虑与Science Editorial Policies 中关于数据和代码可用性的要求。作者还对未来数据解密和/或数据管理的延续性做出规定。如对通过此方案获取数据存在任何疑虑，请联系 science_data@aaas.org。
