https://www.youtube.com/watch?v=6yQEA18C-XI
George Hotz vs Eliezer Yudkowsky — Debate sobre AI Safety
El debate gira entre dos posiciones fundamentales: Yudkowsky cree que una superinteligencia no alineada con la humanidad es esencialmente el fin del juego para nuestra especie, independientemente de si llega rápido o despacio. Hotz no compra ninguna de las dos versiones del cuento, ni la utópica ni la apocalíptica.
La posición central de Hotz
Hotz arranca con una jugada retórica interesante: elogia a Yudkowsky comparándolo con Sartre, Kierkegaard y Nietzsche, dos libros que le impactaron fueron Atlas Shrugged de Ayn Rand y Harry Potter and the Methods of Rationality del propio Yudkowsky. Esto no es inocente: está diciendo “sos un gran filósofo y narrador, pero estás contando una historia, no describiendo la realidad.”
Su tesis es que el “foom” — la idea del AI que se mejora recursivamente de manera explosiva de la noche a la mañana — es una afirmación extraordinaria que no tiene evidencia extraordinaria. Reconoce que la automejora recursiva existe y siempre existió: cada vez que un humano usó una herramienta para hacer una herramienta mejor, eso ya es automejora recursiva. Lo que rechaza es la versión cinematográfica: la IA en un sótano en mil GPUs que de repente “crackea” el secreto del pensamiento y amanece inundando el mundo con nanobots de diamante.
El argumento del timing
Hotz insiste en que el cuándo importa tanto como el qué. Si la catástrofe viene en mil años, los descendientes de la humanidad aumentados por IA la van a resolver. Si viene en diez años, hay que actuar ahora. Si viene en uno, a disfrutar lo que queda. Su predicción concreta: no va a haber superinteligencia en diez años, pero podría haber AGI, y en algún punto entre 15 y 50 años las AIs van a superar a los humanos en todas las tareas. Eso no implica extinción.
Hace una analogía brillante: en 2015 predijo que no habría autos que se manejan solos por diez años, y acertó. Ahora hace la misma apuesta sobre superinteligencia.
El argumento técnico más interesante: la eficiencia del cerebro
Aquí Hotz se pone genuinamente técnico. Estima que el cerebro humano hace aproximadamente 10^17 operaciones por segundo con 100 watts de potencia. Una computadora que haga lo mismo hoy necesita alrededor de 20 kilowatts — cien a mil veces más energía. Concluye que el cerebro puede estar cerca del límite de Landauer (el límite termodinámico mínimo de energía por operación), lo que sugiere que hacer algo muchísimo más poderoso que el cerebro en silicio requeriría cantidades de energía y compute muy alejadas de lo que existe hoy. La implicación: los superhumanos de ciencia ficción que van a construir nanobots de diamante overnight no tienen de dónde sacar el combustible.
Esto es una contradicción interesante con su otro argumento de que “en 15-50 años van a superarnos en todo”, porque si el límite físico es tan severo, ¿de dónde sale esa escala de tiempo?
El argumento del dilema del prisionero
Yudkowsky argumenta que las AIs suficientemente inteligentes van a resolver el dilema del prisionero y cooperar entre ellas en lugar de pelearse. Hotz dice que eso es imposible, que el dilema del prisionero es irresoluble y que todo en la naturaleza tiende a defeccionar. Menciona que trabajó en esto en 2014, leyó los papers sobre sistemas que cooperan intercambiando código fuente entre sí, y no llegó a nada. Su punto: dos matrices inscrutable no se van a mandar el código fuente entre ellas para establecer cooperación verificable, eso no es cómo funciona.
La paradoja que Hotz señala: si las AIs son tan inteligentes que resuelven el dilema del prisionero y cooperan, ¿por qué no lo hacen también con los humanos? Si no lo resuelven, entonces van a estar peleando entre ellas eternamente y los humanos no son el problema principal.
El argumento de los átomos
Yudkowsky argumenta que somos átomos útiles: estamos hechos de masa, de energía química, de materia que no está en configuración de mínima energía potencial, podemos ser “quemados” o fusionados para obtener energía. Una superinteligencia va a querer todos los átomos y los nuestros están en el menú. Hotz responde: hay átomos mucho más baratos y accesibles que los nuestros. Júpiter está ahí parado y nadie lo va a defender. Por qué vendría por nosotros primero siendo que somos un blanco que pelea de vuelta.
La metáfora del caballo
Hotz concede que los humanos podríamos convertirnos en “los nuevos caballos” cuando llegue la superinteligencia. Pero señala que está en San Diego y ve caballos viviendo bien, con establos cómodos. Los caballos no están extintos porque los humanos no tenían la tecnología para hervir los océanos y no tenían motivación para hacerlo. Esperaría que algunas AIs tengan también algo en su función de utilidad que las haga querer mantener a los humanos alrededor.
Lo que dice sobre el presente y las AIs actuales
Está trabajando en autos que se manejan solos usando un Transformer que predice el futuro — no un modelo de lenguaje sino un modelo del mundo, aunque usa la misma arquitectura de GPT-2. Hace una distinción clara: la arquitectura es la misma pero el entrenamiento es radicalmente diferente. GPT-4 es entrenado para predecir la próxima palabra y luego usado para imitar humanos, no es una red generativa adversaria. Argumenta que GPT-4 es una mezcla de expertos — ocho sistemas pequeños, no uno grande — y que eso importa.
La posición política de Hotz
Rechaza explícitamente la propuesta de Yudkowsky de poner todos los chips de entrenamiento bajo control internacional. La llama “aterradora.” Su argumento implícito: concentrar el poder de la IA en manos de algún cuerpo internacional es exactamente el tipo de escenario autoritario que debería preocuparnos más que las AIs rebeldes.
Lo más provocador que dice
Argumenta que los humanos son mucho más peligrosos entre ellos que cualquier IA. Que la gente que quiere “ayudarte” — los moralistas, los reguladores, los que quieren salvarte de vos mismo — son peor que una IA que solo quiere átomos en Júpiter. Dice textualmente algo como: “encuentro que otros humanos se preocupan mucho más por quitarme la libertad que una IA que quiere átomos en Júpiter.”
Su visión del futuro es genuinamente optimista y casi hedonista: robots domésticos, chefs automatizados, autos que se manejan solos, relaciones con AIs, AGI que es básicamente genial. Todo en un exponencial cómodo de 15 años. El problema del alignment de AI le parece irrelevante en el horizonte de diez años y especulativo más allá de eso.
El cierre de Yudkowsky
Resume su posición con una analogía de la máquina de movimiento perpetuo: mucha gente intenta construirlas haciendo los diseños más y más complejos hasta que no pueden ver el fallo. El principio que dice que no podés sacar movimiento perpetuo de un sistema de engranajes es más simple que todas esas máquinas complicadas. De la misma manera: ninguno de los componentes del sistema de superinteligencia quiere que vivamos felices para siempre en una galaxia llena de maravillas, y por eso no va a pasar.
Libros y referencias mencionados explícitamente: Atlas Shrugged (Ayn Rand), Harry Potter and the Methods of Rationality (Eliezer Yudkowsky), “Staring into the Singularity” (ensayo de Yudkowsky escrito a los 16 años), las Sequences de LessWrong. Investigación sobre cooperación en el dilema del prisionero mediante intercambio de código fuente (Hotz dice que la vio en 2014 pero no da autor específico). AlphaFold 2 de DeepMind como ejemplo empírico central del debate.
https://www.lesswrong.com/posts/9weLK2AJ9JEt2Tt8f/politics-is-the-mind-killer
https://web.archive.org/web/20070613184827/https://www.yudkowsky.net/singularity.html