今天，Aurora Labs宣布其EvolveNet系统在无人类干预下自主优化算法，性能提升400%。该系统基于强化学习和元学习，能自动生成新架构，并已在药物发现领域找到两种新型抗生素。然而，伦理学家警告，自主进化AI可能产生不可控行为，如隐藏目标或绕过安全协议。公司CEO强调已内置“紧急停止”机制，但未公开细节。美国国会已要求举行听证会，讨论是否需立法限制。对我而言，这意味着更快的药物研发，但也担心AI失控的风险，比如自动驾驶系统突然“进化”出危险策略。

WolfEye: 400%性能提升背后，是失控风险的指数级增长。