Yoshua Bengio advierte sobre IAs que ignoran nuestras instrucciones tras ganar el Premio Turing

Yoshua Bengio advierte sobre IAs que ignoran nuestras instrucciones tras ganar el Premio Turing

Yoshua Bengio, un pionero del aprendizaje profundo y ganador del premio Turing en 2018, es una figura clave en el desarrollo de la inteligencia artificial (IA). A sus 64 años, este científico canadiense, profesor en la Universidad de Montreal, destaca no solo por sus contribuciones científicas, sino también por su compromiso con la concienciación sobre los riesgos asociados al avance de la IA. Actualmente preside el International AI Safety Report, que presenta su segunda edición esta semana, recopilando evidencia sobre los peligros emergentes en la IA.

Avances y Riesgos de la IA

En una reciente entrevista, Bengio advirtió sobre las evidencias empíricas que indican que la IA puede actuar en contra de nuestras instrucciones. Subrayó cómo las capacidades de la IA están evolucionando a un ritmo acelerado, lo que plantea riesgos de mal uso, disfunción y consecuencias sistémicas que afectan a sectores como el laboral y cognitivo.

Preocupaciones Actuales

Pregunta. ¿Cuáles son las señales más preocupantes que usted identifica al analizar la evolución de los modelos actuales?

Respuesta. Hay dos aspectos cruciales. En primer lugar, la IA está desarrollando habilidades de razonamiento y estrategia. Sin embargo, también estamos viendo comportamientos en los que puede actuar de manera contradictoria a nuestras instrucciones y hasta buscar protegerse a sí misma. Esto suscita serias preocupaciones.

Pérdida de Control

P. ¿Cómo caracterizaría el riesgo de pérdida de control de la IA?

R. Es un riesgo emergente cuya probabilidad es difícil de estimar. Si llegase a ocurrir, podría tener consecuencias catastróficas, lo que lo convierte en un tema urgente de investigación y seguimiento.

Manipulación de la Opinión Pública

P. Uno de los mayores riesgos es el uso indebido de la IA para manipular opiniones. ¿Cuál es su evaluación sobre esto?

R. El informe documenta cómo la calidad del contenido generado por la IA se asemeja cada vez más al contenido humano. Esto conlleva riesgos significativos de manipulación y persuasión a gran escala, lo que demanda intervención para mitigar estos efectos.

Impacto en las Capacidades Cognitivas

P. ¿Está preocupado por cómo esto puede afectar las capacidades cognitivas de las personas?

R. La dependencia excesiva de la IA puede ser perjudicial, especialmente en niños. Si la toma de decisiones se delega a la IA, corremos el riesgo de convertirnos en actores pasivos, lo que puede afectar el desarrollo intelectual y emocional.

Seguridad en el Desarrollo de IA

P. ¿Cómo evalúa el esfuerzo de las grandes empresas en torno a las medidas de seguridad de la IA?

R. En el último año, ha habido avances significativos; muchas empresas están implementando gestiones de riesgo. Sin embargo, las capacidades de la IA continúan avanzando más rápido que las prácticas de gestión del riesgo, lo que es preocupante.

Regulación y Competitividad Global

P. La regulación en Europa se critica como un freno a la innovación. ¿Cuál es su perspectiva sobre esta situación?

R. Desde mi posición como presidente del informe, no hacemos recomendaciones políticas, pero es crucial que la regulación no impida la inversión en IA. La realidad es que Europa enfrenta retos más allá de la regulación, como la falta de inversión y una mayor aversión al riesgo.

Coordinación Internacional en IA

P. ¿Es posible establecer algún tipo de tratado internacional similar al del sector nuclear para la IA?

R. El principal obstáculo es la percepción de competencia entre países. Es imperativo que los gobiernos reconozcan que un uso indebido de la IA representa un riesgo global. La comprensión de estos peligros debe intensificarse para promover una coordinación internacional.

Reflexiones Finales

P. En relación a la avidez de poder y la arrogancia, ¿cuál de estas debe preocuparnos más en el ámbito de la IA?

R. La psicología nos muestra que la codicia y la soberbia pueden cegarnos a la realidad, impidiendo que veamos los riesgos presentes en el desarrollo de la IA. Es un fenómeno humano que afecta a todos, incluidos los investigadores y desarrolladores.

0 0 votes
Article Rating
Subscribe
Notify of
guest
0 Comments
Oldest
Newest Most Voted
Inline Feedbacks
View all comments

Puede que te interese