Superinteligência

Nick Bostrom, da Universidade de Oxford, é o autor do melhor livro sobre os “riscos existenciais das AIs” a que me referi no post anterior. Eis como ele define a questão:

“Se algum dia conseguirmos construir cérebros-máquina (machine brains) que superem os cérebros humanos em inteligência, essa nova superinteligência pode tornar-se muito poderosa. E, assim como o destino dos chimpanzés e gorilas hoje depende mais dos humanos do que deles, também o destino da nossa espécie dependerá do que a superinteligência fizer. Mas temos uma vantagem: somos nós que construiremos essa coisa e, em princípio, podemos construir uma superinteligência que respeite os valores humanos. Teríamos todas as razões para isso. Na prática, o chamado “problema do controle”- o problema de controlar o que essa superinteligência fará – é muito difícil e parece que só teremos uma única chance de fazer isso. Uma vez que apareça uma superinteligência hostil, ela nos impediria de substituí-la ou limitá-la. Nosso destino estaria selado… [] entender o desafio da superinteligência e como melhor responder a ele, é possivelmente o desafio mais importante e mais monumental com o qual a humanidade já se defrontou”.

Bostrom começa com uma alegoria que explica a coruja na capa do seu livro (veja próximo post).