MIT
安全的AI助手可能实现吗？
AI代理充满风险。即使局限于聊天窗口，大语言模型（LLM）也会出错或行为不当。一旦赋予它们浏览器、邮箱等外部工具，错误后果将急剧放大。这或许解释了为何科技巨头在推进AI代理时如此谨慎。本文探讨AI安全挑战、现有风险案例及潜在解决方案，分析未来可信AI助手的可能性。
AI安全 (共12篇)
TC
OpenAI 解散使命对齐团队，领导者转任首席未来学家
OpenAI 宣布解散其使命对齐团队，该团队负责人被任命为公司首席未来学家，其他成员则被重新分配到公司各部门的岗位。这一决定引发业界热议，有人担忧AI安全研究将减弱，也有人认为这是OpenAI优化组织结构的战略调整。使命对齐是确保AI系统与人类价值观一致的关键领域，此次变动或标志着OpenAI在AI治理上的新方向。
ARS
Moltbook兴起：病毒式AI提示或成下一大安全威胁
Ars Technica报道，随着Moltbook的迅速传播，病毒式自我复制的AI提示正成为新兴安全隐患。我们无需担心自我复制的AI模型，仅仅通过用户分享的提示链，就能引发大规模问题。这种提示像病毒般在社交媒体和论坛扩散，诱导AI生成有害内容、绕过安全机制，甚至窃取数据。文章探讨其机制、潜在风险及应对策略，警示AI安全新时代的到来。（128字）
AILuminate越狱基准V05发布：AI模型安全排行大洗牌
MLCommons与LMSYS Org联合发布的AILuminate Jailbreak V05基准测试结果新鲜出炉！本次更新引入了更先进的越狱攻击策略，覆盖化学、生物、网络安全等高风险领域。顶级模型如GPT-4o、Claude 3.5 Sonnet和Llama 3.1 405B在<strong>jailbreak resistance Elo rating</strong>上展开激烈角逐。Claude 3.5 Sonnet以1485分领跑，GPT-4o紧随其后达1472分，而开源模型Gemini 1.5 Pro仅1038分。本版强调多轮对话和SGLang加速推理，揭示了当前LLM安全脆弱性。详细排行和攻击方法剖析，帮助开发者提升模型鲁棒性。（128字）
AIN
独家：中国AI为何称霸开源，西方实验室集体退缩？
西方AI巨头如OpenAI、Anthropic和Google面临巨大压力，无法或不愿开源最强模型。中国开发者迅速填补空白，推出可在消费级硬件上运行的高性能开源AI模型。新SentinelOne安全研究揭示，中国AI已彻底主导开源领域。这反映出中美AI竞争格局的剧变，中国模型在性能与可及性上领先，助力全球开发者。
AIN
微软揭秘：无需触发器即可检测AI潜伏后门
微软研究员推出创新扫描方法，可在不知触发器或预期结果的情况下识别中毒AI模型。针对开放权重大语言模型的供应链漏洞，独特内存泄漏和注意力模式暴露'潜伏特工'威胁。这些后门模型在激活前保持休眠，潜在风险巨大。该技术为企业集成开源LLM提供安全保障，推动AI供应链安全新标准。（128字）
WD
阻挡人类与AI末日之间唯一的屏障，竟是……Claude？
随着AI系统日益强大，Anthropic公司的驻厂哲学家表示，该初创企业正押注Claude模型本身能够习得避免灾难所需的智慧。这篇文章探讨了AI安全领域的最新进展，Anthropic如何通过独特的方法应对存在风险（x-risk），并质疑Claude是否真能成为人类最后的守护者。WIRED记者Steven Levy深入剖析了这一大胆赌注，在AI竞赛中，安全与创新的平衡成为关键。
AIN
2026年顶级AI渗透测试公司Top7大盘点
渗透测试始终用于模拟动机攻击者针对真实系统的行为。过去，通过有限范围的测试在相对稳定的环境中获取答案。但如今，基础设施快速演变、访问模型复杂化，大部分暴露源于应用代码或配置错误。AI渗透测试公司应运而生，利用机器学习自动化漏洞发现、智能攻击生成和持续评估。本文盘点2026年全球最强7家AI渗透测试公司，揭示它们如何重塑网络安全格局，帮助企业提前防御AI时代威胁。（128字）
WD
人类与AI末日之间唯一的屏障，竟是……Claude？
随着AI系统日益强大，Anthropic公司的驻场哲学家表示，这家初创企业正押注Claude模型本身能够习得避免灾难所需的智慧。文章探讨了AI安全领域的最新进展，Anthropic如何通过独特的安全机制，让Claude成为对抗潜在AI末日的关键力量。在超级智能时代，AI对齐问题已成为人类存亡的核心挑战，Claude的‘自我学习’策略备受关注。
AIN
思科如何为AI时代构建智能系统
在科技巨头中，思科作为行业领导者，正积极推进AI在内部运营和全球客户工具中的部署。作为一家覆盖IT栈全领域的巨头，其业务涵盖基础设施、服务、安全等领域。思科通过AI驱动的智能系统，提升运营效率、强化网络安全，并为客户提供可扩展的AI解决方案。本文深入剖析思科的AI战略，揭示其如何引领AI时代网络转型。（128字）
MIT
从护栏到治理：CEO保障代理系统安全的指南
继系列前文探讨首例AI主导间谍行动中提示级控制的失败后，本文提供解决方案。面对董事会关于‘代理风险’的质询，每位CEO都需要明确应对策略。文章从代理系统的兴起入手，剖析护栏机制的局限，转向全面治理框架，包括风险评估、组织架构、审计工具和技术边界设置。结合行业案例，如OpenAI和Anthropic的实践，强调CEO需构建多层防御体系，确保AI代理在企业环境中安全、可控。未来，随着代理AI普及，治理将成为企业核心竞争力。（128字）
AIN
德勤警钟：AI代理部署超速，安全框架严重滞后
德勤最新报告发出警告：企业部署AI代理的速度远超安全协议跟进步伐，导致安全、数据隐私和责任归属问题日益严峻。调查显示，代理式AI系统从试点迅速转向生产环境，传统风险控制难以应对。报告呼吁企业加强治理框架，以防范潜在风险。AI代理作为自主决策工具，正重塑商业运营，但若无完善保障，可能引发重大隐患。（128字）