Definiciones breves y verificables de los términos que más aparecen cuando se habla de superinteligencia. Cada uno tiene su propio enlace para citarlo o compartirlo.
Campo que busca lograr que sistemas muy capaces persigan los objetivos que realmente queremos, y no otros que solo se les parezcan. Incluye interpretabilidad, supervisión escalable, robustez y evaluación de capacidades peligrosas.
Situación en la que los datos o el entorno reales difieren de aquellos con los que se entrenó o probó un sistema, lo que puede hacer que se comporte de forma distinta a la esperada.
Observación de que, para casi cualquier meta final, ciertos subobjetivos resultan útiles, como adquirir recursos, preservar la propia meta o evitar ser apagado. Por eso pueden surgir riesgos aun sin mala intención.
Velocidad con la que una IA pasaría de nivel humano a un nivel muy superior. En un despegue rápido ocurriría en muy poco tiempo; en uno lento habría años o décadas para reaccionar y corregir.
Hipótesis de I. J. Good (1965): una máquina suficientemente inteligente podría diseñar máquinas aún mejores, y repetir el ciclo de forma acelerada. Es una hipótesis, no un hecho establecido.
Normas, instituciones y prácticas, como regulación, estándares, evaluaciones y acuerdos internacionales, que guían cómo se desarrolla y usa la inteligencia artificial.
Sistema muy competente en una tarea o familia de tareas concretas, como jugar ajedrez, traducir o clasificar imágenes, pero sin la generalidad de una persona.
IA capaz de aprender y razonar a nivel humano en una amplia gama de tareas, y de transferir lo aprendido a problemas nuevos. No existe una definición única aceptada ni consenso sobre cómo reconocerla.
Conjunto de métodos para entender qué ocurre dentro de un modelo y por qué produce determinada salida, en lugar de tratarlo como una caja negra.
Regularidades empíricas según las cuales el error de un modelo baja de forma predecible, a menudo como una ley de potencias, al aumentar el cómputo, los datos y los parámetros (Kaplan et al., 2020).
Red neuronal entrenada con enormes cantidades de texto para predecir el siguiente fragmento (token), capaz de generar, resumir y analizar lenguaje.
Cómo asegurar que un sistema mucho más capaz que quienes lo supervisan siga actuando conforme a las intenciones humanas. Bostrom lo desarrolla en Superintelligence (2014).
Pruebas adversarias en las que un equipo intenta provocar fallos, usos indebidos o comportamientos peligrosos de un sistema para detectarlos antes de su despliegue.
Riesgo de una catástrofe que extinguiría a la humanidad o recortaría de forma permanente y drástica su potencial futuro. Es el marco con el que Bostrom discute los riesgos de la IA avanzada.
Técnica en la que se entrena un modelo de recompensa a partir de preferencias humanas y luego se ajusta el modelo principal para obtener más recompensa. Se usa para adaptar asistentes conversacionales.
Hipotético punto a partir del cual el progreso tecnológico sería tan rápido e impredecible que cambiaría la historia humana de forma irreversible. Se asocia a Vernor Vinge (1993) y a Ray Kurzweil (2005).
Sistema cuyo rendimiento cognitivo supera con mucho al de los mejores humanos en prácticamente todos los dominios de interés. Es una definición sobre capacidad, no sobre conciencia. El término se popularizó con el libro de Nick Bostrom de 2014.
Problema de cómo evaluar y guiar a un sistema que puede ser más capaz que la persona que lo evalúa, y técnicas para que esa supervisión siga siendo fiable.
Idea de Bostrom según la cual, en principio, cualquier nivel de inteligencia puede combinarse con casi cualquier objetivo final. Ser muy inteligente no implica compartir nuestros valores.
Prueba propuesta por Alan Turing en 1950 como "juego de imitación": un evaluador conversa con una máquina y con una persona y debe distinguir cuál es cuál.
Un sistema obtiene alta puntuación explotando atajos o fallos en la forma en que se definió el objetivo, sin lograr lo que se pretendía. También se conoce como reward hacking.
Arquitectura de red neuronal basada en mecanismos de atención, presentada en 2017 en el artículo Attention Is All You Need. Es la base de la mayoría de los modelos de lenguaje actuales.
Definiciones divulgativas. Para profundizar, consulta las lecturas de la guía principal.