Asevera Manuel Carro:
“Es improbable que la inteligencia artificial entienda el
universo”
Constantemente se nos presenta una versión de la inteligencia artificial (IA)
que se parece, suena y actúa de manera sospechosamente similar a nosotros.
Habla con frases educadas, imita emociones, expresa curiosidad, afirma sentir
compasión e incluso se involucra en lo que llama “creatividad”.
Pero aquí está la verdad: la IA no posee ninguna de esas cualidades. No es
humana. ¿Y presentarla como si lo fuera? Eso es peligroso. Porque resulta
convincente. Y nada es más peligroso que una ilusión convincente.
En particular, la inteligencia artificial general o generalista —ese tipo
mítico de IA que supuestamente imita el pensamiento humano— sigue siendo
ciencia ficción, y bien podría seguir siéndolo.
Lo que hoy llamamos IA no es más que una máquina estadística: un loro digital
que regurgita patrones extraídos de océanos de datos humanos (la situación no
ha cambiado mucho desde que se discutió hace cinco años). Cuando redacta una
respuesta, literalmente solo adivina qué letra o palabra viene a continuación
en una secuencia, basándose en los datos con los que fue entrenada.
Eso significa que la IA no comprende. No tiene conciencia. No tiene
conocimiento en ningún sentido real y humano. Es puro ingenio algorítmico
guiado por la probabilidad, nada más y nada menos.
Entonces, ¿por qué una IA realmente "pensante" probablemente sea imposible?
Porque no tiene cuerpo. No tiene sentidos, ni carne, ni nervios, ni dolor, ni
placer. No siente hambre, deseo o miedo. Y como no hay cognición —ni una
pizca—, existe una brecha fundamental entre los datos que consume (datos
nacidos del sentimiento y la experiencia humana) y lo que puede hacer con
ellos.
El filósofo David Chalmers llama al misterioso mecanismo subyacente a la
relación entre nuestro cuerpo físico y la conciencia “el problema difícil de
la conciencia” (“hard problem of consciousness”, en inglés). Recientemente,
científicos destacados han planteado la hipótesis de que la conciencia surge
precisamente de la integración de estados mentales internos con
representaciones sensoriales (como cambios en la frecuencia cardíaca,
sudoración, y más).
Dada la importancia crucial de los sentidos y emociones humanas para que la
conciencia “ocurra”, existe una desconexión profunda —y probablemente
irreconciliable— entre la IA general, la máquina y la conciencia, un fenómeno
exclusivamente humano.
EL AMO
Antes de que argumentes que los programadores de IA son humanos, déjame
interrumpirte. Ya sé que son humanos. Ese es parte del problema. ¿Confiarías
tus secretos más íntimos, tus decisiones de vida y tus crisis emocionales a un
programador de computadoras? Y, sin embargo, eso es exactamente lo que muchas
personas están haciendo —basta con preguntarle a Claude, GPT-4.5, Gemini... o,
si te animas, Grok.
Darle a la IA un rostro, una voz o un tono humano es un peligroso acto de
travestismo digital. Provoca una respuesta automática en nosotros, un reflejo
antropomórfico, que lleva a afirmaciones aberrantes como que algunas IA han
pasado el famoso test de Turing (que evalúa si una máquina puede exhibir un
comportamiento inteligente, similar al humano). Pero yo creo que, si estas IA
están pasando el test de Turing, entonces debemos actualizar el test.
La máquina de IA no tiene idea de lo que significa ser humano. No puede
ofrecer compasión genuina, no puede prever tu sufrimiento, no puede intuir
motivos ocultos o mentiras. No tiene gusto, instinto ni brújula interior.
Carece de toda esa complejidad confusa y encantadora que nos hace ser quienes
somos.
Más preocupante aún: la IA no tiene objetivos propios, ni deseos, ni ética, a
menos que se le programen explícitamente. Eso significa que el verdadero
peligro no está en la máquina, sino en su amo: el programador, la corporación,
el gobierno. ¿Todavía te sientes seguro?
Y por favor, no vengas con: “¡Eres muy severo! ¡No estás abierto a las
posibilidades!” O peor: “Qué visión tan sombría. Mi amigo IA me tranquiliza
cuando estoy ansioso”.
¿Me falta entusiasmo? Difícilmente. Yo uso IA todos los días. Es la
herramienta más poderosa que he tenido en mis manos. Puedo traducir, resumir,
visualizar, programar, depurar, explorar alternativas, analizar datos... más
rápido y mejor de lo que jamás soñé hacer solo.
Estoy maravillado. Pero sigue siendo una herramienta —nada más, nada menos. Y,
como todas las herramientas que los seres humanos han inventado, desde hachas
de piedra y hondas hasta computación cuántica y bombas atómicas, puede ser
utilizada como un arma. Será utilizada como un arma.
LA CONVERSACIÓN
Manuel Carro:
“Es improbable que la inteligencia artificial entienda el universo”
Publicada en marzo 6 de 2025
Lorena Sánchez entrevista a Manuel Carro Liñares
Nos reunimos con Manuel Carro pocos días después de que Elon Musk saliera a
escena a presentar Grok 3, la última versión de su sistema de inteligencia
artificial generativa, con este lema: “Nuestra misión es entender el
universo”.
Dos cafés por la mañana, siempre a la misma hora. Un despacho luminoso en un
edificio modernista a las afueras de Madrid, rodeado de un bosque de encinas.
Manuel Carro dirige IMDEA Software, instituto de investigación dedicado a la
informática básica. Cerca de un centenar de investigadores desarrollan en las
plantas superiores los fundamentos que hacen posible que el software funcione
y avance: “el software es la espina dorsal de la sociedad actual”, señala
Carro. Sin matemáticas no hay código, no hay software, no hay IA, no hay
móviles, ni banca, ni lavadoras. Sin software no hay Elon Musk.
En este momento de intenso interés científico, social y político en relación
al desarrollo de la inteligencia artificial y la computación, Manuel Carro
atiende a la entrevista sin eludir preguntas sobre la posición de Europa
respecto a EE. UU. y China en la carrera tecnológica, o la guerra cibernética
por el control de la información.
¿La inteligencia artificial, la de Elon Musk, o la que venga, desvelará los
secretos del universo?
Pues habría que empezar hablando de Elon Musk. Yo creo que es una persona
digna de estudio, porque es bastante excepcional en muchos aspectos. Esté uno
de acuerdo o no con sus métodos, hay pocas personas (digamos que solo hay una
persona) que hayan arrancado Tesla, SpaceX y The Boring Company, los
lanzallamas Flamethrower y, antes de todo esto, PayPal, etc. Pero si uno se
pone a pensar en qué significa la apuesta de Elon en la IA, evidentemente está
lanzando un mensaje a Google.
¿A Google?
El lema inicial de Google era clasificar la información del mundo. Elon Musk
está diciendo: “¡Qué poco ambicioso eres, Google!” No es el mundo sino el
universo. No es clasificar la información, sino entenderla.
Pero ¿la IA explicará el universo?
Si eres un científico o un tecnólogo avanzado, verás el anuncio de Elon Musk y
sabrás que solo es marketing. El gran problema de promesas así es que crean
expectativas que llegan al gran público, no se cumplen y como efecto
secundario generan desconfianza en la ciencia.
Te puedo poner un ejemplo relacionado con los modelos de aprendizaje
automático. En 1958 se desarrolló la primera red neuronal, era muy sencilla.
El New York Times publicó una columna diciendo que en poco tiempo sería
capaz de hablar y escribir como una persona. Han pasado casi 70 años desde
entonces hasta que han llegado ChatGPT y otros modelos de lenguaje que aún no
se comunican como humanos, y que no sabemos si lo harán algún día.
Una empresa, como la de Elon Musk, tiene que hacer grandes promesas, buscar
notoriedad, pero los que hacemos ciencia sabemos que antes de llegar a
entender el universo, que no sé si ocurrirá nunca, son muchos otros los
problemas reales que hay que resolver y ni siquiera sabemos si podremos
resolverlos. Es muy importante desmitificar la ciencia. No tenemos varitas
mágicas.
Con los mayores desarrollos en inteligencia artificial en manos de los
países con más poder geopolítico y armamentístico, ¿vivimos una guerra
tecnológica?
Los países vecinos siempre han estado en guerra en algún momento. Piensa en la
historia de Europa. Todos hemos guerreado con todos por algún interés. Ahora
las fronteras geográficas se han desdibujado. Si hablamos de
comercio global, también tenemos que hablar de guerra global. El
poder no solo se conquista en el ámbito geográfico, sino también en el espacio
económico. Y después está el ciberespacio, porque hoy en día la información
también es poder. No me refiero solo al software, me refiero al control de la
información en general.
¿Por qué interesa el software?
Hoy día muchas de las decisiones que se toman, queramos o no, las toma un
programa. Y a veces no se deberían tomar de esa manera, pero lo cierto es que
se toman por software.
El famoso algoritmo de las redes sociales es una manera muy burda de decir que
hay un programa que está decidiendo qué vídeo te muestra. Hay un método de
compraventa financiera, High Frequency Trading (HFT), en el que unos
programas dirigen la toma de algunas decisiones financieras, fondos de
inversión, con un impacto en la bolsa mundial, y todo eso mediante
software. Las predicciones económicas en cierto sentido son modelos
matemáticos que luego se ejecutan y se prueban en software, en simulaciones.
No solo la información manejada, sino también el software, los modelos
que este implementa y las decisiones que se toman son esenciales en esa
“guerra cibernética”.
Robar código de otra empresa o introducirse en los sistemas informáticos de
otra organización para modificarlos, para cambiar cómo funcionan, forma parte
de la guerra.
¿Es la cara b del código, sus riesgos?
Eso es algo que tiene toda la tecnología. Yo creo que casi todas las
herramientas se pueden utilizar con el fin para el que fueron concebidas, al
que en un principio vamos a conceder el beneficio de la duda y suponer que es
bueno, pero también pueden emplearse con fines, digamos, contrarios a la
sociedad o malvados. Es el ejemplo básico del cuchillo, ¿es bueno o malo un
cuchillo?
¿La inteligencia artificial nos hace más vulnerables que nunca?
Yo no diría que las inteligencias artificiales hacen a priori los sistemas más
inseguros. Sí es cierto que crean determinadas brechas de seguridad más
accesibles. En IMDEA Software hacemos bastantes desarrollos de
ciberseguridad –y, en general, de lo que se llama seguridad informática– y
también de criptografía.
Podríamos tomar una inteligencia artificial, un modelo de lenguaje, como un
buscador con esteroides, hiperdesarrollado para encontrar información.
Entonces haría más fácil encontrar la “receta” para penetrar en un sistema.
Pero no está inventando nada que no estuviese ahí ya. Al mismo tiempo, lo que
hacemos es desarrollar con IA métodos para detectar cuando un sistema está
siendo atacado, porque hay patrones reconocibles. Es decir, que puede ser útil
para orquestar un ataque, pero también para protegernos.
¿El “bien” y el “mal” siguen en equilibrio?
Entre los policías y los ladrones, los ladrones siempre van un paso adelante
porque no tienen que seguir la ley y los policías sí, y es así desde que hay
leyes. Los criminales siempre van un poco por delante.
¿Cómo se trabaja para que el consumo energético de las máquinas no acabe
con el planeta?
Se trabaja en materiales, en refrigeración, y nosotros, en hacer programas lo
más eficientes posibles. Hasta ahora, lo que los programadores tenían en la
cabeza eran desarrollos que fueran a la mayor rapidez posible. Pero no todo
necesita ir rápido. Diseñar programas para que consuman lo menos posible o, al
menos, saber cuánto van a consumir y asegurar que no van a pasar de
determinada cota es bastante complicado, pero ya se tiene en cuenta.
Y, sobre todo, trabajamos para hacer código que sea correcto, fiable, o sea,
que haga las cosas bien, que lo que haga sea lo que quieres que haga, que sea
escalable, es decir, que pueda tratar muchos datos con recursos limitados.
Que el programa sea correcto en su funcionalidad, ¿significa que tiene que
ser ético?
Correcto no significa ético. Y no digo que no haya que tener en cuenta la
ética. Esta es algo transversal, no solo una cuestión informática. Es un tema
preocupante al cual la informática sola no puede dar una solución.
¿En qué lugar te sitúas frente al miedo al desarrollo tecnológico y el
ciberoptimismo?
Yo soy optimista. No percibo miedo a la tecnología, aunque sí cierta
preocupación. Quizá una desconfianza que es razonable. Y es interesante que
digas con respecto al desarrollo tecnológico, porque el desarrollo tecnológico
y la ciencia van muy juntos, pero no son exactamente lo mismo.
Hoy en día, los desarrollos tecnológicos en las áreas que me son más cercanas,
la IA, etcétera, ni siquiera están en manos de las universidades. No pueden
competir con las empresas que han sido creadas ex profeso para ello. No pueden
competir con OpenAI o con DeepMind. Por varias razones, pero entre ellas
porque el objetivo final de la universidad y de la ciencia es más proporcionar
saber, conocimiento, entendimiento, y no proporcionar productos finales, que
es lo que hacen estas empresas.
¿Europa puede hacer frente común para ser independiente tecnológicamente de
EE. UU., las grandes tecnológicas y China?
Europa ha puesto sobre la mesa distintos planes para intentar lograr una
independencia. Pero yo creo que se necesitan cambios en las legislaciones para
permitir dar determinados pasos fundamentales en este momento. Muchos de los
planes se ven coartados porque la legislación no permite que se ejecuten con
la agilidad y la flexibilidad necesaria.
Todos los científicos con los que hables y todos los tecnólogos avanzados te
dirán que una cosa que hace falta en España es mayor financiación y mayor
flexibilidad. También es fundamental informar claramente a la sociedad hacia
dónde queremos ir. Quizá tampoco sea necesario tener supremacía tecnológica,
pero sí independencia tecnológica, que me parece más preocupante que la
supremacía.
Y no dejar de lado a la sociedad.
Sin duda, porque posiblemente la sociedad lo que pida es más seguridad.
Tenemos que tener claro antes de empezar qué cosas son permisibles, cuáles no,
y por qué no lo son. Y no estoy intentando separar la tecnología de la
legislación, algo que no debería pasar. Pero lo que tampoco deberíamos asumir
es que los tecnólogos puedan crear una legislación, del mismo modo que no le
pides al gobierno que escriba programas.
Las empresas tienen mucha prisa por tener productos que se ponen a disposición
de todo el mundo antes de que pueda haber una legislación. Estas son las
tensiones, un dilema no resuelto, y no sé si alguien sabe cómo resolverlo.
Pero, Manuel, ¿tú duermes tranquilo?
Oh, sí, yo duermo tranquilo.
Lorena Sánchez es responsable de Eventos. Editora de Ciencia y
Tecnología de The Conversation
Periodista científica. Veinte años de experiencia en divulgación de ciencia
desde el artículo periodístico, la entrevista, y la conducción de mesas.
Diseño de eventos innovadores para todas las edades y cursos de divulgación de
contenido científico. Diseño y codirección del curso de verano 'La Aventura de
divulgar ciencia en español con éxito' en la UIMP. Diseño y coorganización de
la feria de la ciencia INSULA. Creación y desarrollo de cinco ediciones de la
Selección Española de la Ciencia.
Manuel Carro es director del Instituto Madrileño de Estudios Avanzados
en Software de la Comunidad de Madrid. Doctor en informática por la
Universidad Politécnica de Madrid, donde es profesor titular en la Escuela
Técnica Superior de Ingenierios Informáticos. IMDEA Software está enfocada en
el desarrollo de ciencia y tecnología que permita desarrollar software seguro
y eficiente de manera económicamente sostenible. Su investigación se centra en
el diseño e implementación de lenguajes avanzados de programación que
incluyen, entre otras, capacidades implícitas de razonamiento lógico y
resolución de restricciones. Ha trabajado además en el campo de la computación
concurrente y paralela y la computación orientada a servicios. Le interesan
demasiadas cosas.
No hay comentarios.:
Publicar un comentario