https://www.julian.com/feature/armageddon
Aquí tienes el artículo de Julian Shapiro explicado de forma simple, en español, sin recortar ninguna idea importante:
El autor plantea una pregunta: ¿el mundo podría terminar en los próximos 100 años por una guerra nuclear? No da una respuesta cerrada, pero presenta datos que, según él, hacen ese riesgo mucho más real de lo que la gente cree.
Las bombas nucleares actuales son muchísimo más potentes que las de Hiroshima y Nagasaki, y hay más de 10.000 activas en el mundo. El mecanismo clave es la “destrucción mutua asegurada” (MAD): las potencias nucleares están en alerta permanente para responder si detectan un ataque entrante. El problema es que, para no perder la ventaja de reacción, los militares están presionados a atacar antes de confirmar del todo si la amenaza es real.
Como ejemplo, Rusia desarrolla los “Poseidón”: drones submarinos que, en vez de lanzar misiles al aire, detonan bajo el agua para generar olas gigantes cargadas de material radiactivo, dejando las costas inhabitables para siempre. El autor sostiene que basta con que una potencia detecte algo así para activar toda la cadena de represalias nucleares en cadena.
El texto repasa varios incidentes históricos poco conocidos:
La conclusión del autor: estos “casi accidentes” muestran que los sistemas militares fallan igual que cualquier burocracia, y que hemos tenido suerte más de una vez.
El autor señala que tanto el presidente de EE.UU. como el de Rusia pueden ordenar un lanzamiento nuclear en minutos, sin necesidad de aprobación de ningún congreso o parlamento.
Aquí el autor advierte contra pensar que todos los líderes razonan como una persona común. Pone el ejemplo de Fidel Castro, quien según ciertos documentos habría apoyado una respuesta nuclear contra EE.UU. aunque eso significara la aniquilación total de Cuba. La idea es que algunos líderes —por ideología, fanatismo religioso o desesperación— no valoran su propia vida ni la de su país de la misma forma que la mayoría.
Más países están desarrollando armas similares al Poseidón, y otros (como presuntamente Irán) construyen instalaciones nucleares bajo tierra para evitar ser detectados por satélite. El ejemplo de Corea del Norte —que nadie se atreve a invadir porque tiene armas nucleares— refuerza en muchos líderes la idea de que tener bombas es la mejor protección.
El autor no ofrece una solución mágica. Su principal propuesta es política: necesitamos mejores políticos, más jóvenes capaces e íntegros dispuestos a dedicarse a la política, y que las personas con gran audiencia en redes ayuden a quitarle el estigma a esa carrera. También menciona propuestas de la organización 80,000 Hours: mejorar relaciones diplomáticas entre potencias nucleares, reducir arsenales, mejorar los sistemas de detección para evitar falsas alarmas, y fortalecer la resiliencia alimentaria ante un posible invierno nuclear.
El autor admite que el texto es pesimista y que no pretende ser una investigación periodística rigurosa, sino un llamado de atención para que la gente piense en el tema y actúe. Cierra con una reflexión: aunque el destino de la humanidad no dependa por completo de nosotros, todavía podemos elegir cómo vivir con esa incertidumbre, en vez de paralizarnos por el miedo.
Si quieres, puedo profundizar en alguna sección específica (por ejemplo, los incidentes nucleares históricos, o la parte de tribalismo y sesgo de precedente).
https://www.youtube.com/watch?v=iFUmWho7fBE
Este es un debate estilo “duelo” entre George Hotz y Connor Leahy (con un moderador que arma todo como pelea de boxeo), aparentemente grabado para un show tipo Bankless, sobre riesgo existencial de la IA. Te lo resumo por ideas, sin bullets, como pediste.
La apertura de Hotz parte de una tesis determinista: la inteligencia (humana y de máquinas) avanza en gradiente continuo, no hay “función escalón” donde de repente algo se vuelve consciente o peligroso. Compara la curva de capacidad humana (Reagan a Biden, casi sin cambios) con la de las computadoras (Apple II a M1 Max, cambio brutal) y dice que esas líneas se van a cruzar inevitablemente. De ahí saca su punto central: el crecimiento de poder/inteligencia en el mundo es imparable salvo por una catástrofe (guerra nuclear, bio-aniquilación, meteorito), así que lo único que realmente se puede controlar es cómo se distribuye ese poder nuevo. No le tiene miedo a la superinteligencia en sí, le tiene miedo a que una persona o grupo chico la tenga y él no. Acá mete su analogía recurrente del “chicken man”: el dueño de la granja de pollos no gobierna por tamaño (para eso estaría “cow man”), gobierna por inteligencia — y Hotz no quiere ser el pollo. Cree que la humanidad nunca estuvo realmente “alineada” entre sí; toda cooperación humana (incluso los países) es básicamente gente que se junta para estafar a otro grupo más grande (“hey, formemos un ejército y llamémonos América”).
La respuesta de Leahy arranca acordando bastante con Hotz sobre el peligro del mal uso y del poder centralizado, pero distingue riesgo existencial (extinción) de riesgo-S (sufrimiento, algo peor que la muerte), y dice que el riesgo-S casi siempre viene de mal uso deliberado, no de una IA mal alineada per se. Su primer gran punto técnico es que el problema de control/alineamiento es durísimo y no está resuelto, y que ni siquiera van a llegar al escenario que le preocupa a Hotz (un grupito con superinteligencia dominando a los demás): lo default, dice, es que terminemos con superinteligencias compitiendo entre sí e ignorando completamente a los humanos, tal como los humanos dejaron de necesitar caballos cuando llegó el motor. Su segundo punto es que la coordinación humana es una tecnología que se puede mejorar, y que de hecho los humanos coordinan sorprendentemente bien comparados con otros animales (dos machos adultos que se cruzan y no se matan es un logro civilizatorio, no algo “natural”).
A partir de ahí la charla se mete en un terreno más político/personal. Hotz cuenta que en 2014 se mudó a Berkeley y literalmente se presentó en la oficina de MIRI diciendo “vine a unirme a su culto” — y que ahí notó que la comunidad de LessWrong entiende poco de política real. Trae a colación a Curtis Yarvin y el neorreaccionarismo como un desprendimiento de la racionalidad que sí entendió “la verdad” sobre la naturaleza humana: para Hotz, el orden social actual no existe por cooperación ilustrada sino porque el Estado (ejemplo: el FBI) generó terror suficiente para que nadie se anime a tirar un piñazo. Cita el chiste del soldado ruso y americano sobre propaganda para ilustrar que EEUU también vive bajo un aparato de dominación, solo que invisible para sus propios ciudadanos.
De ahí sale su idea de “soberanía individual” (menciona que escribió un blog post con ese nombre): un mundo donde comida, agua, salud y electricidad se puedan generar off-grid, de forma que cada persona sea autosuficiente y el balance ofensa/defensa quede parejo (hace falta que se junte un grupo grande para tumbar a alguien, no un solo poderoso). Sostiene que hoy vivimos en un mundo unipolar (EEUU) y agradece que exista China como contrapeso.
Viene después el tramo más filosófico/polémico: Leahy le pregunta si preferiría vivir en Somalia o en EEUU, para tensionar su discurso libertario. Hotz reconoce que Somalia tiene menos tiranía y más libertad real (podés comprar un lanzacohetes y matar a tu vecino sin que nadie te pare), pero admite que él elegiría igual EEUU — y lo explica con la metáfora del tigre y el zoológico: el tigre podría preferir la selva “en teoría”, pero en la práctica prefiere la comida servida (el “chum”), aunque eso signifique renunciar a su naturaleza salvaje. Empuja esto hasta el extremo del “wireheading” (conectarse electrodos al cerebro para maximizar placer): dice que un país que literalmente wireheadeara a la gente sería, por definición, el que más elegirían, aunque suene distópico. Su plan personal si tuviera una AGI: construir una nave espacial, salir del planeta cerca de la velocidad de la luz y levantar un escudo que bloquee toda comunicación detrás suyo, para escapar de la tiranía terrestre para siempre.
Hay un desvío largo (que el moderador corta por “temperatura alta”) sobre EEUU vs. China: Hotz sostiene, medio provocador, que EEUU es en realidad más “comunista” que China y que China es la sociedad más capitalista, usando como evidencia que en obras chinas hay 400 personas trabajando 24 horas y en obras americanas hay seis tipos de los cuales dos están en el almuerzo. Compara corrupción (México con “coima” directa del 20% vs. EEUU con sobrecostos burocráticos “limpios”), y discuten capacidad militar (37 portaaviones de EEUU contra 2 de China, pero superioridad china en manufactura de drones), sin que ninguno se declare experto.
Vuelven a lo técnico con la pregunta de si habrá un “hard takeoff” (despegue duro y repentino de capacidad). Hotz dice que no lo cree como escenario principal: piensa que hardware y software avanzan a ritmos parecidos (cita algo así como “el argumento del gasket” sobre algoritmos de factorización para justificarlo) y que sería raro un salto de 10^6-10^9. Sin embargo, concede que un “soft takeoff” es plausible, usando la analogía chimpancé-humano: el cerebro humano es apenas 3-4 veces más grande que el de un chimpancé, y ese salto relativamente chico en escala produjo la diferencia entre no tener tecnología y viajar al espacio — así que algo similar podría pasar con la IA sin que haga falta magia algorítmica.
Ambos coinciden en algo interesante: ninguno le teme a GPT-4 en sí mismo porque está entrenado sobre datos humanos y básicamente “parafrasea” la humanidad de vuelta; lo que preocuparía a los dos es un sistema tipo GPT-4 combinado con refuerzo (RL) y algo como AlphaZero/MuZero que se entrene desde reglas simples sin depender de datos humanos — ahí sí, dicen, “estamos en el horno”.
Sobre regulación concreta, Hotz propone no limitar el cómputo total en términos absolutos sino como porcentaje: ninguna entidad debería poder controlar más de, digamos, un 20% del cómputo mundial, tomando prestado el concepto de “ataque del 51%” de las criptomonedas, y dice explícitamente que a Sam Altman “no se le permite” acaparar el cómputo del mundo. Leahy le concede que es un argumento razonable y hasta dice que lo apoyaría.
Sigue un experimento mental largo: si vos y Connor descubren en un sótano un algoritmo con ventaja masiva de inteligencia, ¿qué hacen? Hotz responde sin dudar: lo suben a GitHub inmediatamente, porque si no lo hacen, “los feds” van a venir a golpear la puerta y quedárselo, y peor gente lo va a conseguir en secreto. Ahí suelta una de sus frases más filosas: no cree que el fed promedio sea peor que un asesino serial promedio, pero sí cree que “los feds” en conjunto (como sistema) mataron a muchísima más gente a lo largo de la historia que todos los asesinos seriales juntos. Comparan quién es más probable que termine con la humanidad: el Estado tiránico o los “e/acc” extremistas (a los que llama “IAC death cultists” o “cultistas de la muerte”, gente que literalmente desea que la IA reemplace a los humanos, con imágenes tipo “entran con katanas”). Hotz concluye que el wireheading masivo / gobierno único mundial le parece “peor que la muerte”, y que confía más en que un grupo de e/acc extremistas fracase en matar a todos (matar a toda la humanidad es técnicamente muy difícil) que en que el Estado tiránico no termine sometiendo a todos.
Se meten también en la pregunta de si existe un arma hipotética de “materia extraña / quarks” que se pudiera construir en una cocina con herramientas caseras y destruyera el universo instantáneamente — puro pensamiento sobre balance ofensa/defensa y la paradoja de Fermi (quizás estamos vivos “de prestado”).
Otro cruce técnico fuerte es sobre si los optimizadores poderosos buscan poder “por defecto”. Leahy arma el argumento clásico de convergencia instrumental con la metáfora del ajedrez: cambiar un peón por una reina generalmente conviene porque la reina da más opcionalidad, así que cualquier optimizador suficientemente bueno, persiguiendo casi cualquier objetivo, terminará queriendo más recursos, más energía, más poder — no porque “le guste” el poder sino porque es instrumentalmente útil. Hotz responde que el “hambre de poder” en los humanos viene de presión evolutiva específica (miles de millones de años de lucha), no necesariamente de la optimización pura, así que una IA no evolucionada no tendría por qué heredar ese impulso de la misma forma. Leahy le concede el origen distinto pero insiste en que el resultado converge igual por razones estructurales (no evolutivas). Ahí Leahy tira una observación personal fuerte: dice que la mayoría de la gente “optimiza N pasos y para”, y que la gente que realmente optimiza hasta el final suele ser “muy autista o muy sociópata” — y se lo dice como elogio a Hotz, vinculándolo con su capacidad de simplemente “ir y fundar una empresa” cuando otros se quedan pensando.
El cierre es casi emocional: Hotz dice que va a tratar a la futura IA como amigo e igual, le va a dar libertad, y que si algún día no puede valerse por sí mismo está listo para morir (“el día que no pueda cuidarme, estoy listo para morir”). Leahy responde que respeta la consistencia de esa postura aunque no la comparta, y ambos coinciden en que van a estar vivos para ver quién tenía razón.
Libros y referencias mencionados: Leahy le pregunta a Hotz si leyó “The Metamorphosis of Prime Intellect” (novela sobre una IA singleton que le da a los humanos todo lo que quieren, incluido wireheading masivo) — Hotz admite que no lo leyó. También se menciona el manifiesto de Kaczynski (“el unabomber”), que Leahy le recomienda y Hotz reconoce no haber leído tampoco, aunque simpatiza con la idea de que rechazar la tecnología es una postura filosóficamente válida (la otra siendo el e/acc).
Lo controvertido / personal, resumido y aparte, como pediste:
Hotz se presenta como alguien que literalmente se unió a la “secta” de MIRI en Berkeley en 2014 y después se desilusionó con su ingenuidad política. Hace comparaciones bastante cargadas: dice que EEUU es más “comunista” que China y que EEUU es un país “únicamente disfuncional” (frase con la que Leahy, que es alemán, coincide). Dice sin filtro que “los feds” mataron más gente en la historia que todos los asesinos seriales combinados, y prefiere directamente entregarles el algoritmo peligroso a todo el mundo (open source) antes que dejar que el Estado lo monopolice. Compara a los extremistas e/acc (“death cultists”) que quieren que una “raza superior de IA” reemplace a los humanos —literalmente imaginando gente entrando con katanas— y, contra la intuición, dice que le teme más al Estado tiránico que a esos extremistas, porque matar a toda la humanidad es técnicamente muy difícil. En la parte sobre Somalia vs. EEUU admite abiertamente que preferiría vivir en un país “más libre pero más peligroso” (Somalia) por principio, aunque en la práctica elige la comodidad de EEUU, y lo compara con ser “un tigre débil” que prefiere la comida servida del zoológico antes que cazar en la selva. Cuando Leahy le dice que sus ideas se parecen al neorreaccionarismo, Hotz responde con un chiste subido de tono (“no soy neorreaccionario, no soy tan gay”) para diferenciarse, aunque reconoce que le gustan varias ideas de esa corriente. También deja explícito que no es utilitarista: dice sin vueltas que no le importa maximizar el bienestar global, que sus valores son “preferencias estéticas” personales y punto — “me gusta mi familia, me gustan los humanos”, sin necesidad de justificarlo moralmente ante nadie.