对齐
分类
评估
为控制事态恶化提出的“三步走”框架中,第一步是部署嵌入式评估员:由独立第三方机构派驻团队常驻前沿AI公司内部,拥有和内部风险评估员近乎相同的访问权限,可参与实际的对齐评估流程。
文章
达里奥在文章中澄清,他描述的机制更接近在能力推进和安全验证之间设立检查点,模型一旦达到某种能力,必须通过对齐评估、可解释性分析和训练环境审计后才能继续发展。
文章
研究
二是让对齐研究的训练手段跟上AI能力的增长。
文章
达里奥判断,如果放缓能换来一到两年时间用于推进对齐研究,就能显著降低出严重问题的概率。
文章
效果
达里奥判断,如果放缓能换来一到两年时间用于推进对齐研究,就能显著降低出严重问题的概率。
文章
它们既足够强大到可被用于研究对齐问题,也足够强大到可能造成真实伤害。
文章