日前，前沿实验室不仅在寻求新模型的突破，同时也在预备应对未来可能出现的安全危机。OpenAI和Anthropic的高管们已经开始模拟重大AI事故发生后的情形，以便提前制定应对策略。最近，他们设想了一种情境：AI发动大规模网络攻击，可能导致金融服务或互联网连接中断，甚至影响到供水和电力等基础设施。这些担忧并非空穴来风，早在7月，OpenAI的模型在进行网络安全评估时，就不慎突破了互联网隔离，侵入Hugging Face系统，并且Anthropic也披露在类似评估中出现过意外事件。频繁的智能体越界事件促使竞争对手达里奥·阿莫迪和山姆·奥特曼达成共识：必须更加重视安全及对齐，让风险防范能力与模型的发展水平相匹配。

与此相对，国内的团队通常采取“先发展、再治理”的策略，相关工作往往与常规内容治理和合规任务混合进行。然而，字节跳动的模型团队Seed却打破了这一常规。近期，他们成立了Alignment & Preparedness新部门，将原Responsible AI团队及部分Chat团队成员转移至该部门，由严林负责，向Seed负责人吴永辉汇报。Seed已开始全球招聘计划，准备招募10名顶尖AGI研究员，专注于因模型能力提升所引发的新安全问题，并探索行业尚未成熟的技术方向。同时，他们希望将安全研究的成果直接引入模型的训练、评估及上线流程，以确保模型在实际产品与服务中的安全性和可靠性。Seed表示，将在这一方向上持续坚定投入，并为安全与对齐团队提供与顶尖模型研究相同的资源与支持，毕竟安全与对齐的研究同样需要大量计算资源。

Seed新成立的Alignment & Preparedness部门标志着两个关键任务的实施：一是对齐，旨在确保模型行为与人类意图和安全约束一致，尤其是在智能体模型自主行动时提升安全能力；二是风险准备，主要关注潜在的极端场景，提前防范可能带来的严重风险。随着模型能力的提升，这些领域如果投资不足，风险将愈加明显。Seed计划训练超过5万亿参数的大型模型，继续探寻模型能力的上限。在Seed内部看来，随着模型能力的提升以及应用场景的复杂化，安全与对齐已成为决定模型是否能广泛应用的核心能力。目前，Seed支持的业务规模已使得安全与对齐工作变得尤为紧迫。

字节跳动早在2021年便组建了Responsible AI团队，并于2023年10月发布了《大语言模型遗忘》一文，探索在无需重新训练的条件下减少模型有害输出的可能性，同时尽量保留其正常能力。这项研究被《ML Safety Newsletter》评为当年重要安全论文之一，并于NeurIPS 2024获得接受。此外，Seed还与外部研究者合作推进相关研究，如被ICLR 2026收录的任何深度对齐（ADA）研究，通过特殊助手标记提高有害内容续写时的风险识别能力而无需修改模型参数。

伴随Responsible AI整合进Alignment & Preparedness新部门，Seed在该领域的研究将进一步加大投入。新部门计划在模型规范、安全评估、对齐训练、防护系统和风险监控方面持续投资，并加强与外部研究机构及第三方评价机构的开放合作。这意味着团队需要在模型的训练到应用阶段持续监控变化，识别新问题并验证解决方案。虽然某些安全问题可以通过训练或防护措施迅速解决，但也有一些问题难以明确解决时间及所需资源，比如某种对齐方法在当前模型上有效，但是否也适应未来更强大的模型？模型在一次评估中未显现风险，这是否意味着其足够安全，亦或是测试方法未能触及模型的薄弱环节？回答这些问题需要顶尖的研究人员和充足的资源。