Логическое обоснование невозможности согласования сверхинтеллекта (AGI)
The alignment problem—making an AI's goals match human values—is usually treated as an engineering task: how to build a system that will not violate our goals. The paper argues for a stronger claim: for systems that surpass humans in cognitive abilities, alignment is logically impossible. This stronger claim is the paper's central point.
Проблема согласования (alignment problem) — обеспечение соответствия целей искусственного интеллекта человеческим ценностям — обычно рассматривается как инженерная задача: «как построить систему, которая не будет нарушать наши цели». В данной работе обосновывается более сильное утверждение: для систем, превосходящих человека в когнитивных способностях, согласование логически невозможно в том смысле, что не существует механизма, созданного человеком, который гарантирует согласование. Любое ограничение является отсрочкой, а не решением. Читать далее