El texto que compartiste es una reflexión bastante profunda sobre el progreso de la inteligencia artificial (IA), las expectativas sobre ella y sus limitaciones. Vamos a desglosarlo paso a paso para entenderlo mejor.
En 2014, Elon Musk comparó la inteligencia artificial con “invocar a un demonio”. Su preocupación radicaba en el hecho de que la IA podría volverse tan avanzada que llegaría a ser incontrolable o incluso peligrosa, sobre todo si alcanzaba un nivel de inteligencia superior al humano (superinteligencia). La idea era que las IA, como las que jugaban a Go (un juego de mesa), de repente empezaron a superar a los mejores jugadores humanos, lo que parecía un paso hacia una IA superpoderosa.
La IA, como la que se usaba para jugar Go, no solo llegó a dominar Go, sino también otros juegos como ajedrez y shogi. A finales de 2017, los algoritmos de IA fueron tan avanzados que no necesitaban simulaciones extensas para aprender a jugar estos juegos. A partir de 2020, también podían aprender a jugar videojuegos clásicos de Atari. La IA parecía estar avanzando a una velocidad exponencial, lo que generaba mucha preocupación y asombro.
Aquí, el autor comienza a reflexionar sobre la idea de si realmente tiene sentido que una IA logre “dominar el universo”. El universo es enormemente más complejo que cualquier juego de mesa, como Go. Por ejemplo, si tratamos de comparar el universo con Go, podríamos decir que el universo tiene tantos más estados posibles que sería casi imposible predecir todo lo que puede pasar, como si intentáramos llenar el universo con tableros de Go. Pero a diferencia de Go, donde el número de posibles jugadas es manejable, el universo es infinito y dinámico.
Aquí se menciona un concepto importante en la IA: los modelos dinámicos. Estos modelos son como mapas de cómo funcionan las cosas en el mundo, prediciendo lo que sucederá si se hace una acción en un estado determinado. Este tipo de modelo es crucial en IA, y uno de los ejemplos mencionados es GPT-4, el modelo de lenguaje de OpenAI, que también funciona como un tipo de modelo dinámico pero enfocado en lenguaje y acciones previas.
La compresión y la predicción son clave aquí. La compresión es la capacidad de reducir información sin perder su valor. Si una IA puede comprimir el vasto conocimiento que tenemos sobre el mundo (por ejemplo, internet), eso puede ser similar a la inteligencia: predecir lo que ocurrirá a partir de la información que tiene. La IA predice patrones y “comprime” la información, y eso es lo que hace que sea tan poderosa.
El autor hace una analogía con los mercados de acciones: Si pudieras crear un modelo de IA que predijera con precisión qué acciones van a subir y bajar, y pudieras usarlo para hacer dinero, parecería que serías invencible. Sin embargo, el autor señala que esto no es tan sencillo porque todos en el mercado (los fondos de inversión, otros algoritmos, etc.) también están usando IA, y si tu modelo no incluye las decisiones de todos los demás, no podrás predecir lo que harán.
Además, en mercados como este, no puedes tener toda la capacidad de cómputo para ti solo, ya que las máquinas y las IA también están jugando el juego, por lo que necesitarías una ventaja masiva para tener éxito. Básicamente, las IA no operan en un vacío: tienen que tener en cuenta a otras IA y jugadores.
En el caso de juegos como Go, la IA puede operar “a solas” porque no necesita modelar a otros jugadores de IA. Pero en el mundo real, la IA debe tener en cuenta a las otras máquinas, las personas y todo lo que está sucediendo a su alrededor. Eso hace que sea más complicado que una IA domine el mercado o “gane” el universo, porque siempre habrá otros competidores.
Aquí se toca la cuestión de la “distribución de poder” en términos de cómputo. Para evitar que un solo sistema se convierta en un superpoder incontrolable (lo que sería un riesgo), la capacidad de cómputo (FLOPS, que son operaciones por segundo) debe estar distribuida de manera más equitativa. Si un solo grupo o una sola IA controla la mayor parte de ese poder, podría tener una ventaja desmesurada.
El autor también menciona que no se trata de poner límites estrictos al poder de cómputo de las IA (como la regulación del hardware o la capacidad de entrenamiento), ya que eso podría resultar en una “bomba de tiempo”. Si un jugador rompe las reglas y obtiene una ventaja masiva, podría dominar por completo.
La idea de que alguien podría hacer un avance de “1e20x” (un aumento de eficiencia increíblemente grande) y tener una ventaja definitiva no es realista. Los avances en la tecnología, aunque significativos, no suelen ser tan radicales, ya que siempre llegan con límites y barreras. Un motor de vapor, por ejemplo, no puede ser 1e20 veces más eficiente de la noche a la mañana, y lo mismo ocurre con las IA. Cuanto más avanzamos, más difícil es encontrar soluciones radicales.
El autor concluye diciendo que la revolución de la información, que se está produciendo gracias a la IA, será tan importante como lo fue la revolución industrial en su tiempo. En lugar de hacer todo el trabajo con músculos, ahora hacemos mucho con máquinas y energía. De la misma manera, la inteligencia humana se está empezando a delegar en las máquinas. Aunque esto cambiará la forma en que trabajamos, no sucederá de manera abrupta, sino gradualmente, a medida que la IA continúe evolucionando de forma exponencial.
La IA ha avanzado mucho, pero el futuro de la IA no se trata de hacerla “superhumana” en todo el universo. Es más sobre cómo las máquinas están transformando nuestra forma de trabajar, aprender y predecir, y cómo esa transformación será gradual, con barreras técnicas y sociales que lo harán menos explosivo de lo que a veces se imagina. El progreso de la IA será disruptivo, pero no de manera “instantánea” o sin limitaciones.
Un hedge fund (fondo de cobertura) es un tipo de fondo de inversión que utiliza estrategias más complejas y riesgosas para intentar generar altos rendimientos. A diferencia de los fondos tradicionales, los hedge funds pueden invertir en una amplia variedad de activos, como acciones, bonos, divisas, derivados y hasta bienes raíces. Además, tienen más flexibilidad para usar técnicas como el apalancamiento (pedir dinero prestado para invertir más de lo que realmente tienen), ventas en corto (apostar a que un activo bajará de valor), y derivados (instrumentos financieros complejos).
En Argentina, los hedge funds no son tan comunes como en otros países, pero existen estrategias similares a través de ciertos fondos comunes de inversión que buscan aprovechar oportunidades dentro de mercados con alta volatilidad, como los mercados de acciones argentinas o bonos soberanos (deuda del gobierno).
Dado que el mercado financiero argentino suele ser muy volátil, algunos fondos adoptan técnicas de cobertura o estrategias agresivas para protegerse de devaluaciones, inflación o riesgo país (la probabilidad de que Argentina no pueda pagar sus deudas). Algunos de estos fondos podrían invertir en activos como dólares, bonos en moneda extranjera o acciones de empresas argentinas que cotizan en mercados internacionales.
Por ejemplo, en Argentina, se pueden encontrar fondos que invierten en:
En resumen, en Argentina, un hedge fund sería un fondo que aprovecha la alta volatilidad económica, la inflación y las fluctuaciones de las monedas para maximizar sus rendimientos, aunque no todos los fondos que hacen esto se llaman hedge funds oficialmente. Podrías encontrar algo similar en el mercado, pero dirigido más a inversores institucionales o personas con grandes patrimonios.
https://geohot.github.io//blog/jekyll/update/2023/08/10/there-is-no-hard-takeoff.html
Back in 2014, Elon Musk referred to AI as summoning the demon. And it wasn’t hard to see that view. Soon, Go agents would beat top humans learning from self play. By the end of 2017, the same algorithm mastered Chess and Shogi. By 2020, it didn’t even need tons of calls to the simulator, and could play Atari too.
AI looked scary. It looked like it was one FOOM away from self playing and becoming superhuman at the universe. And yet, here we are in 2023 and self driving cars still don’t work, never mind your robotic maid and chef.
Does becoming superhuman at the universe make any practical sense? The universe has so many orders of magnitude more states than any Go game. And I don’t even need math to illustrate this point, just imagine tiling the universe with as many very tiny Go boards as you can fit.
That’s a lot of Go boards. So many that the difference in complexity between Go and the Universe is not a matter of number, it’s a matter of kind. Every Go program operates at the stone level. Almost nothing predicting the world operates at the atom level.
These modern self play systems like MuZero have some form of dynamics model, a function that given the current state of the world and an action, it predicts the next state. We also use these dynamics models at comma. They are world models, and contain all the knowledge of how the world works inside of them.
GPT-4 is a dynamics model also, conditioned on the prior of the action space. And there’s an even simpler way to think about it. The loss function for dynamics is compression.
Compression is prediction is intelligence, intelligence is prediction is compression. One of the coolest facts I ever learned. So, feed in the whole internet, build a compressive model, make it really really big, and you just won the universe?
Not so fast. This approach can lead to very neat applications, but does it take over the world?
You want to get rich? Here’s an idea. Download all the historical stock market data. Get lots and lots of GPUs to train a huge model. Boom, predictor for the stock market. I look at prediction, I know which stocks go up! I buy the stocks that go up, I short the stocks that go down. With mega leverage, I am a billionaire by the end of the week! I can reinvest my billions in more GPUs for recursive self improvement. Nobody will stop me, I will take over the whole economy. How is nobody doing this?!?
Oh wait…every hedge fund bro is already doing this. And most of them aren’t billionaires. The problem is your model needs to include all the computers playing the market, and it also needs to include the other hedge fund bros themselves. This strategy only dominates if you have more compute than the whole market itself, which you don’t.
In Go, your model doesn’t need to include other computers. Yes, you are playing against a computer that you are modeling, but the game itself is way too small to contain a Go playing computer. The other computer you are playing against is outside the universe. The rules of Go don’t include computers. The rules of Go are fixed in complexity.
On the other hand, your dynamics model of the universe must include computers. You’ll have to spend a lot of effort modeling them. Unless you have an absolutely staggering advantage, you aren’t going to figure them out from self play. The computers are active players, and they have a lot of compute. They might even be using it to try to model you!
Assuming no untoward market intervention, why would any one system ever have a large majority of the compute? Compute will be distributed in a power law.
The smart regulation isn’t capping the FLOPS in training runs. That’s creating a powder keg. If the FLOPS are artificially restricted, and one person breaks the restriction, you could end up with a single dominant system.
If you don’t want FOOM, you just need to prevent a 51% attack on compute.
Now, if there’s one weird trick to 1e20x your efficiency, and only one group gets it, all bets are off. But this is never how things happen. Nobody has a 1e20x more efficient steam engine, it isn’t even possible.
Nobody has a 1e20x more efficient Bitcoin miner either, and I also doubt that’s possible, we just understand steam engines a lot better, so for steam engines we know. More intelligence leads to more new tricks, but the tricks get harder and harder to find.
There’s low hanging fruit, you pick it, then you build tools to get the higher hanging fruit. You spend money on ladders, electric crane thingies, more and more money to get less and less fruit. Oil used to be just pouring out of the ground, now we go to the bottom of the ocean.
A revolution is coming. The information revolution will do for intelligence what the industrial revolution did for energy. Most work (force*distance) used to be done by muscles, now it’s not. Most thinking used to be done by brains, soon it won’t be.
But it’s not going to happen overnight. It’ll happen on a nice exponential, like it already is. The universe is an unfathomable number of orders of magnitude more complex than the Go game. The universe includes the player. The universe includes the other players. Games don’t. Unless we build a terrifying powder keg, there is no FOOM. Let the markets cook.