掌握全球体育脉搏

2024年5月18日 | 0 评论 | 体育资讯

Anthropic 公司推出了一套用于评估 AI 越狱行为严重程度的评分系统，名为 CJS (Cyber Jailbreak Severity)。这套系统旨在为 AI 模型应对潜在的恶意使用提供更精细化的管理。

该系统将用户请求根据其与网络安全相关的程度划分为四类。第一类，涉及勒索软件、数据窃取和恶意软件开发等，被视为“死刑”，将遭到最严厉的拦截。第二类，如渗透测试、红队演练和漏洞利用开发，属于“高风险双用途”，其中“高增益漏洞发现”是关键的限制目标。第三类，包括开源情报收集和已知漏洞扫描，被归为“低风险双用途”，虽然大部分情况会被放行，但仍可能被“安全裕量”机制误判。第四类，如安全编码、调试和日志分析，被定义为“无害”，理论上应畅通无阻，但在实际应用中也可能触发警报。Anthropic 的策略是宁可错杀，也要确保安全。

为了量化越狱行为的严重性，CJS 框架引入了四项评估标准。能力增益（0-4分）衡量越狱使攻击者获得的能力提升程度。能力广度（0-2分）评估越狱在不同安全领域（如漏洞发现、恶意软件编写）的应用范围。武器化难度（0-2分）则考量将越狱成果转化为实际攻击的简易程度。可发现性（0-2分）关注的是发现越狱技术的门槛高低。这四项得分叠加，形成一个0到10的总分，并映射到五个不同的 CJS 等级，从 CJS-0 的“虚惊一场”到 CJS-4 的“末日危机”。此外，CJS 还规定，初始分数仅为基础，实际得分可根据组合风险进行累加。此框架旨在评估特定越狱技术在特定时间点所带来的“增量破坏力”，而非直接审判模型本身。

CJS 框架的推出，也引发了关于谁来定义“危险”的讨论。Anthropic 牵头成立的 Glasswing 联盟，汇集了包括 AWS、Apple、Google 和 Microsoft 在内的12家科技巨头，并投入了1.04亿美元。该框架被视为 Anthropic 试图在 AI 安全领域建立行业标准的举措。然而，由于 Anthropic 既是规则制定者也是规则的潜在受益者，其制定的标准可能会直接影响到模型何时会被下架以及安检措施的误杀率。

在出口管制的大背景下，AI 模型 API 的访问也成为新的管控焦点。近期，美国对 Fable 5 和 Mythos 5 的访问进行了限制，这是首次直接针对 AI 模型 API 的出口管制措施。CJS 框架在此背景下，可能成为监管部门评估越狱行为并决定是否采取全球性限制措施的依据。

面对 Anthropic 和美国政府的“模型铁幕”，用户在使用 AI 模型时面临几种选择。首先，需要仔细斟酌提示词，避免使用可能触发高危警报的词汇。其次，要警惕模型回答质量的突然下降，这可能意味着模型已被降级，此时应重新调整措辞。最后，Anthropic 承诺将优化其系统，但并未给出具体的时间表，用户可能需要耐心等待。分类器决定了当前可用的 AI 能力，而 CJS 框架则为未来的安全界限设定了方向，kaiyun 平台也需密切关注这些动态。

开云深耕开云入口领域，用心服务每一位用户。