Polémica en Reino Unido: quieren usar IA para crear un “Minority Report” que se adelante al delito
El gobierno británico se encuentra en el centro de una controversia tras revelarse el desarrollo secreto de un sistema que pretende “predecir” quién podría cometer un asesinato en el futuro, según un informe de la ONG Statewatch posteriormente confirmado por The Guardian.
El proyecto, inicialmente denominado “Homicide Prediction Project” (es decir, Proyecto de Predicción de Homicidio, en inglés) y luego renombrado como “sharing data to improve risk assessment” (compartir información para mejorar el análisis de riesgo), ha generado fuertes críticas y comparaciones con la distópica película de ciencia ficción Minority Report (Sentencia previa, de 2022, protagonizada por Tom Cruise).
La comparación con Minority Report, donde una unidad policial futurista arresta a personas antes de que cometan crímenes basándose en predicciones de “precogs” psíquicos, es inevitable. Si bien el proyecto británico utiliza datos estadísticos en lugar de habilidades psíquicas, la preocupación fundamental sobre la criminalización anticipada y el potencial abuso de poder persiste.
Según documentos obtenidos por Statewatch, el Ministerio de Justicia británico está utilizando “datos personales sensibles de cientos de miles de personas” en colaboración con el Home Office y las policías de Greater Manchester y Metropolitana de Londres. También se mantuvieron conversaciones con la policía de West Midlands sobre el uso de sus datos.
El objetivo del proyecto es «explorar el poder de los conjuntos de datos en relación con la evaluación del riesgo de homicidio“. El equipo de Ciencia de Datos del Ministerio de Justicia luego desarrolla modelos de análisis buscando ”los predictores poderosos en los datos para el riesgo de homicidio“. Los documentos incluso se refieren a la ”futura operacionalización» del sistema.
La información utilizada para desarrollar esta herramienta predictiva incluye datos del Ministerio la Policía Nacional Informática y la policía de Manchester, que compartió datos de entre 100.000 y 500.000 personas, incluyendo información sobre “sospechosos, víctimas, testigos, personas desaparecidas y personas para quienes existen preocupaciones de protección“.
Según el informe, un aspecto particularmente alarmante es la inclusión de marcadores de salud que se espera que tengan un poder predictivo significativo. Esto abarca datos sobre ”salud mental, adicción, autolesiones, suicidio, vulnerabilidad y discapacidad“.
El gobierno británico, a través de un portavoz del Ministerio de Justicia, ha declarado que «este proyecto se está llevando a cabo únicamente con fines de investigación“. Aseguran que se ha diseñado utilizando datos existentes sobre delincuentes condenados para comprender mejor el riesgo de que las personas en libertad condicional cometan actos de violencia grave.
Sofia Lyall, investigadora de Statewatch, calificó el proyecto como “el último ejemplo escalofriante y distópico de la intención del gobierno de desarrollar los llamados sistemas de ‘predicción’ del crimen“.
Lyall advierte que de ponerse en práctica, “al igual que otros sistemas de su tipo, codificará sesgos hacia las comunidades racializadas y de bajos ingresos“.
Statewatch también señala que datos de personas no condenadas por ningún delito podrían utilizarse en el proyecto, incluyendo información personal sobre autolesiones y detalles relacionados con violencia doméstica. Si bien los funcionarios niegan categóricamente esta afirmación, insistiendo en que solo se han utilizado datos de personas con al menos una condena penal, la organización basa su afirmación en una parte del acuerdo de intercambio de datos los organismos.
La experiencia con herramientas predictivas anteriores, como el ‘Offender Assessment System’ (OASys), ha demostrado que estos modelos clasifican a los delincuentes negros con menor precisión que a los blancos. Un estudio del propio Ministerio encontró que la validez predictiva de los algoritmos utilizados en OASys era “mayor… para los delincuentes blancos que para los delincuentes de etnia asiática, negra y mixta» y que funcionaban “menos bien para los delincuentes negros” y “menos bien para los delincuentes de etnia mixta“.
Esta realidad plantea serias dudas éticas sobre la posibilidad de “condenar a personas no por lo que han hecho, sino por lo que un algoritmo cree que podrían hacer“.
Desde el Ministerio de Justicia británico han aclarado que se trata de un proyecto que todavía está en desarrollo.
El gobierno británico se encuentra en el centro de una controversia tras revelarse el desarrollo secreto de un sistema que pretende “predecir” quién podría cometer un asesinato en el futuro, según un informe de la ONG Statewatch posteriormente confirmado por The Guardian.
El proyecto, inicialmente denominado “Homicide Prediction Project” (es decir, Proyecto de Predicción de Homicidio, en inglés) y luego renombrado como “sharing data to improve risk assessment” (compartir información para mejorar el análisis de riesgo), ha generado fuertes críticas y comparaciones con la distópica película de ciencia ficción Minority Report (Sentencia previa, de 2022, protagonizada por Tom Cruise).
La comparación con Minority Report, donde una unidad policial futurista arresta a personas antes de que cometan crímenes basándose en predicciones de “precogs” psíquicos, es inevitable. Si bien el proyecto británico utiliza datos estadísticos en lugar de habilidades psíquicas, la preocupación fundamental sobre la criminalización anticipada y el potencial abuso de poder persiste.
Según documentos obtenidos por Statewatch, el Ministerio de Justicia británico está utilizando “datos personales sensibles de cientos de miles de personas” en colaboración con el Home Office y las policías de Greater Manchester y Metropolitana de Londres. También se mantuvieron conversaciones con la policía de West Midlands sobre el uso de sus datos.
El objetivo del proyecto es «explorar el poder de los conjuntos de datos en relación con la evaluación del riesgo de homicidio“. El equipo de Ciencia de Datos del Ministerio de Justicia luego desarrolla modelos de análisis buscando ”los predictores poderosos en los datos para el riesgo de homicidio“. Los documentos incluso se refieren a la ”futura operacionalización» del sistema.
La información utilizada para desarrollar esta herramienta predictiva incluye datos del Ministerio la Policía Nacional Informática y la policía de Manchester, que compartió datos de entre 100.000 y 500.000 personas, incluyendo información sobre “sospechosos, víctimas, testigos, personas desaparecidas y personas para quienes existen preocupaciones de protección“.
Según el informe, un aspecto particularmente alarmante es la inclusión de marcadores de salud que se espera que tengan un poder predictivo significativo. Esto abarca datos sobre ”salud mental, adicción, autolesiones, suicidio, vulnerabilidad y discapacidad“.
El gobierno británico, a través de un portavoz del Ministerio de Justicia, ha declarado que «este proyecto se está llevando a cabo únicamente con fines de investigación“. Aseguran que se ha diseñado utilizando datos existentes sobre delincuentes condenados para comprender mejor el riesgo de que las personas en libertad condicional cometan actos de violencia grave.
Sofia Lyall, investigadora de Statewatch, calificó el proyecto como “el último ejemplo escalofriante y distópico de la intención del gobierno de desarrollar los llamados sistemas de ‘predicción’ del crimen“.
Lyall advierte que de ponerse en práctica, “al igual que otros sistemas de su tipo, codificará sesgos hacia las comunidades racializadas y de bajos ingresos“.
Statewatch también señala que datos de personas no condenadas por ningún delito podrían utilizarse en el proyecto, incluyendo información personal sobre autolesiones y detalles relacionados con violencia doméstica. Si bien los funcionarios niegan categóricamente esta afirmación, insistiendo en que solo se han utilizado datos de personas con al menos una condena penal, la organización basa su afirmación en una parte del acuerdo de intercambio de datos los organismos.
La experiencia con herramientas predictivas anteriores, como el ‘Offender Assessment System’ (OASys), ha demostrado que estos modelos clasifican a los delincuentes negros con menor precisión que a los blancos. Un estudio del propio Ministerio encontró que la validez predictiva de los algoritmos utilizados en OASys era “mayor… para los delincuentes blancos que para los delincuentes de etnia asiática, negra y mixta» y que funcionaban “menos bien para los delincuentes negros” y “menos bien para los delincuentes de etnia mixta“.
Esta realidad plantea serias dudas éticas sobre la posibilidad de “condenar a personas no por lo que han hecho, sino por lo que un algoritmo cree que podrían hacer“.
Desde el Ministerio de Justicia británico han aclarado que se trata de un proyecto que todavía está en desarrollo.
Un proyecto del Ministerio de Justicia analiza los perfiles de sospechosos para tratar de determinar si están cerca de cometer un delito LA NACION
