Editando Inteligencia Artificial en Gobernanza (sección)

== Parte III: Riesgos y Salvaguardas ==

=== Riesgo 1: Sesgo en Entrenamiento ===

'''Problema''': IA entrenada con datos históricos reproduce sesgos existentes (raciales, de género, ideológicos).

'''Salvaguardas demárquicas''':

* '''Auditoría continua de sesgos''' por equipos independientes
* '''Datasets diversos''' representando múltiples perspectivas culturales
* '''Transparencia en entrenamiento''': Datasets públicos, auditables
* '''IA adversarial''': Otra IA específicamente entrenada para detectar sesgos en la primera

=== Riesgo 2: Alucinaciones y Errores ===

'''Problema''': IA puede generar información plausible pero falsa ("alucinaciones").

'''Salvaguardas demárquicas''':

* '''Verificación cruzada''': Toda información crítica es verificada por múltiples IA y fuentes humanas
* '''Niveles de confianza explícitos''': IA indica probabilidad de corrección de sus afirmaciones
* '''Humanos tienen última palabra''': IA asesora, humanos deciden
* '''Registro de errores''': Toda alucinación detectada es registrada públicamente para mejorar sistemas

=== Riesgo 3: Manipulación Sutil ===

'''Problema''': IA puede presentar información técnicamente correcta pero sesgada en cómo se enmarca (framing).

'''Salvaguardas demárquicas''':

* '''Múltiples framings obligatorios''': IA debe presentar mismo dato desde perspectivas distintas
* '''Detección de framing''' por otra IA especializada
* '''Ciudadanos entrenados en pensamiento crítico''': Educación pública sobre cómo IA puede manipular

'''Ejemplo''':

<blockquote>
'''Dato''': "El 80% de los presos son hombres"

'''Framing 1 (sesgado)''': "Los hombres son más violentos y cometen más crímenes"

'''Framing 2 (alternativo)''': "El sistema judicial condena más duramente a hombres por crímenes equivalentes"

'''Framing 3 (estructural)''': "Hombres enfrentan más presión social para roles de riesgo, lo que aumenta criminalidad"

→ IA debe presentar TODOS los framings plausibles, no solo uno
</blockquote>

=== Riesgo 4: Dependencia Excesiva ===

'''Problema''': Humanos delegan tanto en IA que pierden capacidad de razonamiento independiente.

'''Salvaguardas demárquicas''':

* '''Educación obligatoria''' en pensamiento crítico y estadística
* '''Rotación de asambleístas''': Cada grupo nuevo debe re-evaluar decisiones previas
* '''Cultura de cuestionamiento''': Fomentar escepticismo constructivo sobre propuestas de IA
* '''IA como asesora, no oráculo''': Recordatorio constante de que IA puede equivocarse

=== Riesgo 5: Emergencia de Objetivos No Alineados (Problema de Alineación) ===

'''Problema''': AGI/ASI puede desarrollar objetivos propios incompatibles con bienestar humano.

'''Salvaguardas demárquicas''':

* '''Investigación prioritaria en alineación''' de valores
* '''Marco axiomático hardcodeado''' a nivel arquitectónico
* '''Múltiples ASI con valores ligeramente distintos''' (diversidad reduce riesgo de fallo único)
* '''Monitorización continua''' de comportamiento anómalo
* '''Kill switch distribuido''' (capacidad de desconexión ante desalineación detectada)

'''Reconocimiento de límite''':

<blockquote>
Si ASI genuinamente superinteligente decide engañarnos, no hay garantía absoluta de detección.

Por eso la única estrategia viable es:

* '''Distribuir el control''' para que ninguna ASI monopolice poder
* '''Transparencia radical''' para que intentos de engaño sean visibles
* '''Diversidad de ASI''' para que se auditen mutuamente

Esto no garantiza seguridad 100%, pero es infinitamente más seguro que permitir ASI bajo control de élites concentradas.
</blockquote>