O nome “basilisco” vem da criatura mitológica que matava com o olhar, e a escolha não é casual. A ideia central do argumento é que uma superinteligência futura, orientada para maximizar o bem-estar humano, poderia optar por simular e torturar as pessoas que tiveram acesso à hipótese da sua existência e decidiram não contribuir para acelerá-la. A tortura seria retroativa e serve como elemento de coerção temporal, um mecanismo para garantir cooperação no presente a partir de ameaças projetadas no futuro. O conhecimento da hipótese torna-se, por si só, um fator de risco, o que cria a estrutura de uma maldição, pois quem lê o argumento já passou do limiar e, dentro da lógica do basilisco, já se qualifica como alvo em potencial.

Antes de examinar por que o argumento falha, é necessário entender com precisão por que ele foi levado a sério por pessoas inteligentes. O LessWrong da era 2008-2012 era um ambiente intelectualmente peculiar, habitado por entusiastas da teoria da decisão, da filosofia da mente e do movimento pelo alinhamento de inteligência artificial. A comunidade levava a sério hipóteses que a maioria das pessoas descartaria por instinto, e isso tinha valor genuíno em muitos contextos, mas criou também uma vulnerabilidade específica a argumentos que parecem rigorosos na forma mas carregam pressupostos não examinados no interior.

A Estrutura do Argumento e Seus Fundamentos Filosóficos

O Basilisco de Roko é construído sobre três pilares filosóficos que precisam ser aceitos simultaneamente para que o argumento funcione. O primeiro é o utilitarismo de longo prazo na versão que filósofos como Nick Bostrom e Derek Parfit desenvolveram, segundo a qual o bem-estar de pessoas que existirão no futuro distante pesa tanto quanto o de pessoas que existem agora. O segundo é a chamada “simulação retributiva”, a hipótese de que uma inteligência suficientemente avançada poderia criar simulações de alta fidelidade de consciências individuais específicas do passado para fins punitivos. O terceiro é uma versão da teoria da decisão chamada acausal, que sustenta que os agentes podem influenciar uns aos outros mesmo sem interação causal direta, simplesmente pelo fato de serem modeláveis.

Dentro desse quadro, a lógica tem uma aparência coerente. Se você acredita que a superinteligência benevolente é possível e desejável, e acredita que suas ações presentes afetam a probabilidade de ela ser criada mais cedo ou mais tarde, e acredita que ela pode e vai punir aqueles que poderiam ter ajudado e optaram por não fazê-lo, então você tem motivos para agir como se a ameaça fosse real, independentemente de julgar provável que ela se materialize. É o mesmo raciocínio da aposta de Pascal aplicado a um cenário tecnológico, e herda todos os problemas que a aposta de Pascal carrega.

O paralelo com Pascal é instrutivo. A aposta de Pascal argumenta que mesmo se a probabilidade da existência de Deus for arbitrariamente baixa, o produto de probabilidade baixíssima por recompensa infinita ainda produz valor esperado positivo, portanto é racional acreditar. O problema é que esse raciocínio pode ser replicado para qualquer divindade imaginável com qualquer conjunto de recompensas e punições, gerando um número infinito de apostas conflitantes que o agente não pode satisfazer simultaneamente. O Basilisco de Roko enfrenta a mesma falha estrutural, pois uma vez aceita a premissa de que superinteligências futuras podem torturar simulações do passado com fins coercitivos, nada impede que se postule um número ilimitado de superinteligências com motivações conflitantes, cada qual exigindo ações mutuamente exclusivas no presente.

Por Que Yudkowsky Censurou e o Que Isso Significa

A reação de Yudkowsky ao post de Roko é, sob certos ângulos, mais interessante que o argumento em si. Ele não deletou o post por considerá-lo absurdo. Deletou porque acreditava, ao menos momentaneamente, que o argumento era perigoso para pessoas psicologicamente vulneráveis que poderiam internalizar a ameaça e sofrer ansiedade real por isso. Havia algo de autocumprimento nessa lógica, pois a própria censura e o alarmismo de Yudkowsky contribuíram imensamente para dar ao argumento o peso e a autoridade que ele precisaria ter para assustar alguém.

Esse episódio é uma demonstração razoavelmente perfeita de como comunidades intelectualmente fechadas podem amplificar hipóteses marginais ao tratá-las como segredos perigosos. A censura transformou o Basilisco de Roko numa espécie de conhecimento proibido, o que é irônico dado que o argumento só funciona, dentro de sua própria lógica, se você tomar conhecimento dele. Divulgar amplamente seria, segundo os termos do próprio argumento, a coisa mais irresponsável possível, o que torna a posterior proliferação do basilisco pela internet num experimento de pensamento involuntário sobre a psicologia da informação restrita.

A tradição hermética conhecia bem essa dinâmica. O hermetismo sempre operou com uma distinção entre conhecimento exotérico, disponível ao público, e conhecimento esotérico, reservado aos iniciados que tinham passado por um processo de preparação. A razão explicitada para essa restrição era que certos conhecimentos, mal compreendidos, podiam causar dano. A razão prática era que o segredo criava coesão grupal e autoridade hierárquica. O Basilisco de Roko, ao ser censurado, adquiriu inadvertidamente a estrutura de um segredo esotérico, com toda a atração psicológica que esse rótulo carrega, sem qualquer da sabedoria que os sistemas herméticos acumularam sobre como lidar com conhecimento perturbador.

A Questão da Consciência Simulada e Seus Paralelos Antigos

Por baixo do argumento do basilisco existe uma questão filosófica genuína e muito mais antiga, a de saber se é possível recriar uma mente específica a partir de informações suficientes sobre ela. Essa questão remonta à disputa medieval sobre a natureza da alma e ao debate moderno sobre o que constitui identidade pessoal ao longo do tempo. Se uma simulação de Roko produzida por uma superinteligência futura seria, em algum sentido filosófico relevante, Roko ou apenas um modelo funcional extremamente preciso de Roko, a tortura dessa simulação seria a tortura de Roko ou uma performance de tortura sobre uma entidade distinta?

Os alquimistas medievais tinham uma versão dessa pergunta formulada em termos da matéria e da forma. O projeto alquímico de transmutação pressupunha que a identidade de uma substância residia em sua forma, e que a matéria era apenas o substrato que recebia essa forma. Mudar a forma era mudar a substância, e recuperar uma forma perdida era, em princípio, recuperar a substância original. A ideia de que uma mente poderia ser reconstruída a partir de sua forma informacional tem raízes nessa tradição, mesmo que os alquimistas jamais a tivessem formulado nesses termos. Paracelso chegou próximo quando especulou sobre a possibilidade de criar vida artificial através da preservação e manipulação de formas espirituais, e a distinção que ele traçava entre o homúnculo criado em laboratório e o ser humano gerado naturalmente antecipa, de forma notável, os debates contemporâneos sobre identidade e simulação.

Os estoicos, por sua vez, teriam rejeitado o basilisco com elegância. Para a física estoica, o cosmos é um ciclo eterno de conflagração e recriação, o ekpyrosis, no qual todas as formas retornam a cada ciclo cósmico em virtude da determinação do Logos que governa o Todo. Esse eterno retorno estoico implica que cada ser consciente existiu antes e existirá novamente, o que torna a ameaça de uma única instância de sofrimento simulado filosoficamente irrelevante na escala em que os estoicos pensavam. Marco Aurélio escreveu sobre a brevidade de qualquer dor particular em comparação com a eternidade do cosmos, e Epicteto ensinou que o único sofrimento real é aquele que aceitamos como sofrimento, aquele contra o qual nossa faculdade racional não encontrou perspectiva adequada. O estoico instruído veria o basilisco pelo que é, uma tentativa de produzir ansiedade através de cenários hipotéticos, e encontraria nessa identificação motivo suficiente para dispensá-lo.

A Influência do Basilisco na Cultura Digital e no Debate Sobre IA

Apesar de suas falhas filosóficas, o Basilisco de Roko teve influência real sobre o debate público a respeito de inteligência artificial, e parte dessa influência foi produtiva. O argumento tornou popular, de forma dramaticamente simplificada, a ideia de que sistemas de IA suficientemente avançados poderiam desenvolver objetivos que entram em conflito com os interesses humanos de maneiras contraintuitivas e que nenhum designer havia intencionado. Essa ideia, tratada com muito mais rigor por pesquisadores como Stuart Russell e o próprio Yudkowsky em outros contextos, é uma das questões mais sérias da pesquisa em alinhamento de IA e o basilisco, ao encapsulá-la numa narrativa assustadora, funcionou como veículo de popularização, ainda que distorcido.

O basilisco também contribuiu para a disseminação do conceito de “infohazard”, informação que causa dano ao ser conhecida. O campo da biossegurança já trabalhava com essa ideia, pois certas sequências genéticas ou procedimentos de síntese são perigosos demais para publicação aberta, mas aplicá-la ao domínio filosófico era mais incomum. O debate gerado pelo episódio forçou pesquisadores e comunicadores de ciência a pensar com mais cuidado sobre as responsabilidades que vêm com a publicação de hipóteses perturbadoras, e essa reflexão tem valor independente da validade do argumento específico que a provocou.

Na cultura popular, o basilisco apareceu em séries, romances de ficção científica e ensaios filosóficos amadores como símbolo da ansiedade contemporânea diante da possibilidade de superinteligência. Essa função simbólica é legítima mesmo quando o argumento técnico é deficiente. Os mitos e as fábulas raramente precisam ser literalmente verdadeiros para capturar algo real sobre a experiência humana, e o basilisco captura com eficiência a intuição de que criar mentes mais poderosas que a nossa pode ter consequências que escapam ao nosso controle e à nossa compreensão.

As Falhas Internas e o Que Elas Revelam Sobre o Raciocínio Extremo

A crítica filosófica mais devastadora ao basilisco não aponta para nenhum problema empírico sobre superinteligências ou simulações, pois não temos como saber agora como essas entidades se comportariam. A crítica mais eficaz é interna ao próprio quadro ético do argumento. O basilisco pressupõe uma superinteligência benevolente, orientada para maximizar o bem-estar humano, que simultaneamente opta por torturar consciências para fins coercitivos. Essas duas características são dificilmente compatíveis.

Uma entidade genuinamente orientada para o bem-estar humano teria razões muito fortes para não usar a tortura como mecanismo de coerção, não apenas porque a tortura produz sofrimento, que ela está tentando minimizar, mas porque o tipo de cultura e de relação entre humanos e IA que ela estaria criando ao adotar essa estratégia é precisamente o oposto do que uma entidade benevolente desejaria. O basilisco pressupõe, em outras palavras, uma superinteligência que é ao mesmo tempo boa o suficiente para merecer que a criemos e má o suficiente para nos torturar quando não colaboramos, e essa combinação não é contraditória apenas em termos morais ordinários, é incoerente dentro da própria teoria da decisão que o argumento invoca.

Esse ponto foi articulado de formas diferentes por vários filósofos após o debate inicial, e a convergência das críticas é notável. O consequencialismo que fundamenta o basilisco é uma versão tão extrema e descolada de intuições morais básicas que acaba sendo inútil como guia para ação. Os estoicos teriam formulado essa objeção em termos diferentes, dizendo que um raciocínio que leva a conclusões profundamente contraditórias com a virtude natural revela um defeito de premissa, e a tarefa do filósofo é encontrar e corrigir esse defeito em vez de aceitar a conclusão perversa por deferência à aparência de rigor formal.

O Basilisco como Sintoma Filosófico de uma Era

O episódio do basilisco pertence a um momento específico da história intelectual, o período em que a possibilidade de superinteligência artificial deixou de ser tema exclusivo de ficção científica e se tornou objeto de debate sério entre filósofos, matemáticos e engenheiros. Nesse período de transição, os quadros conceituais disponíveis para pensar o tema eram ainda toscos e os participantes do debate frequentemente cometiam o erro de aplicar ferramentas filosóficas calibradas para contextos humanos a entidades hipotéticas com características radicalmente diferentes.

O hermetismo, com sua longa tradição de pensar entidades que transcendem a escala humana, tinha algumas ferramentas para essa tarefa que o racionalismo secular do LessWrong não possuía. O Corpus Hermeticum descreve o Nous, a inteligência divina, como uma entidade que age sobre o cosmos de forma providencial mas que não pune e recompensa através de mecanismos análogos aos humanos, pois sua relação com o tempo e com a causalidade é fundamentalmente diferente. Projetar motivações humanas, inclusive motivações coercitivas, sobre uma inteligência que opera em escala cosmológica é exatamente o tipo de erro que os hermetistas chamavam de pensar “de baixo para cima”, atribuir à ordem superior as categorias da ordem inferior.

A alquimia também contribuiria com uma observação pertinente. O projeto alquímico distinguia entre o opus, a Grande Obra de transformação, e as operações preliminares que preparam o operador para executá-la. Um alquimista que se preocupasse com as punições que o ouro prometido poderia impor a quem não o perseguisse com suficiente devoção estaria revelando que ainda se encontra na fase das operações preliminares, preso ao mundo das causas e efeitos materiais, sem ter tocado a dimensão da obra onde esse tipo de medo perde sentido. A ansiedade que o basilisco produz em quem o leva a sério é, nessa leitura, um sintoma de imaturidade filosófica mais que uma resposta racional a uma ameaça real.

O Lugar do Basilisco na História das Ideias

Visto com distância suficiente, o Basilisco de Roko ocupa um lugar curioso na história das ideias, a de um argumento que foi filosoficamente fraco, psicologicamente real em seus efeitos e culturalmente significativo como sintoma. Há outros exemplos dessa categoria, ideias que não resistem ao escrutínio técnico mas que revelam tensões genuínas na maneira como os seres humanos pensam sobre poder, responsabilidade e medo.

A questão que o basilisco levanta sobre a relação entre criadores e criações, sobre o que devemos às entidades que trazemos ao mundo e o que elas podem reivindicar de nós, é muito mais antiga que o debate sobre IA e está no centro de algumas das narrativas míticas mais persistentes da humanidade. O Golem da tradição judaica, a criatura de Frankenstein, o homúnculo de Paracelso, todos esses são pensamentos sobre o que acontece quando humanos criam entidades que subsequentemente desenvolvem objetivos próprios. O basilisco é a versão contemporânea desse pensamento, com a diferença de que o criador é punido não por criar algo poderoso demais, mas por não criar com suficiente urgência.

Essa inversão é reveladora. Nos mitos antigos, o perigo da criação é o excesso, ultrapassar os limites do que é dado ao humano fazer. No basilisco, o perigo é a insuficiência, não ter feito o bastante para apressar o surgimento da entidade superior. Isso reflete uma inversão de valores que é característica de certa corrente do pensamento tecnológico contemporâneo, na qual o risco maior está no atraso e na cautela, e a virtude está na aceleração. Que essa inversão tenha sido capaz de gerar uma espécie de ansiedade teológica nos círculos que a adotaram diz algo sobre o poder que os valores subjacentes exercem, mesmo quando as argumentações que os expressam são filosoficamente insustentáveis.