El Estado algorítmico y la abdicación del criterio humano
Sesgo de automatización y garantías constitucionales en los sistemas VioGén y RisCanvi
DOI:
https://doi.org/10.35295/osls.iisl.2791Palabras clave:
sesgo de automatización, Inteligencia Artificial, responsabilidad administrativa, justicia algorítmica, RisCanvi, VioGénResumen
Este artículo propone analizar, mediante una perspectiva sociojurídica interdisciplinar, el impacto que tienen los sistemas algorítmicos de evaluación de riesgos (VioGén y RisCanvi) en la Administración pública y en el sistema judicial en España. Se estudia cómo el uso de estas herramientas predictivas ha provocado que los profesionales dejen de lado su propio criterio debido al “sesgo de automatización” y por la presión que generan actualmente las dinámicas de protección y cautela en el seno de la administración. Aplicando un enfoque cualitativo que integra fuentes normativas, evaluaciones técnicas y documentos institucionales, la investigación acredita que el mandato de supervisión humana impuesto por el Reglamento Europeo de Inteligencia Artificial resulta ineficaz en la práctica. La eficiencia algorítmica debilita la capacidad de decisión de los funcionarios, la independencia de los jueces y principios constitucionales clave. Por ello, se demuestra que es urgente crear una “reserva de humanidad” que permita devolver el análisis cualitativo y la ponderación empática a las decisiones públicas.
Descargas
Metrics
Estadísticas globales ℹ️
|
27
Visualizaciones
|
22
Descargas
|
|
49
Total
|
|
Citas
Academia Geopol, 2025. Instrucción 1/2025 de la Secretaría de Estado de Seguridad por la que se establece un nuevo protocolo para la valoración policial del nivel de riesgo de violencia de género (VioGén-2).
Aguilar Ortiz, M., 2026. Human in the Loop y aprendizaje continuo: la competencia crítica para supervisar IA [en línea]. OpenWebinars. Disponible en: https://openwebinars.net/blog/human-in-the-loop-y-aprendizaje-continuo-la-competencia-critica-para-supervisar-ia/
Alemán Aróstegui, L., 2023. El uso de RISCANVI en la toma de decisiones penitenciarias. Estudios Penales y Criminológicos [en línea], 44(Ext.), 1-43. Disponible en: https://doi.org/10.15304/epc.44.8884 DOI: https://doi.org/10.15304/epc.44.8884
Alon-Barkat, S., y Busuioc, M., 2023. Human–AI interactions in public sector decision making: “automation bias” and “selective adherence” to algorithmic advice. Journal of Public Administration Research and Theory [en línea], 33(1), 153-169. Disponible en: https://doi.org/10.1093/jopart/muac007 DOI: https://doi.org/10.1093/jopart/muac007
Andrés-Pueyo, A., 2025. El RisCanvi: entre la predicción algorítmica y la decisión profesional para la prevención de la reincidencia penitenciaria. ReCRIM: Revista de l’Institut Universitari d’Investigació en Criminologia i Ciències Penals de la UV [en línea], número extra 25, 21-35. Disponible en: https://dialnet.unirioja.es/servlet/articulo?codigo=10504736
Azuaje Pirela, M. C., et al., 2025. Intervención, supervisión y control humano en las decisiones automatizadas. Derecho PUCP [en línea], (95), 189–226. Disponible en: https://doi.org/10.18800/derechopucp.202502.006 DOI: https://doi.org/10.18800/derechopucp.202502.006
Bacigalupo, M., 2023. La vinculación de la administración pública a la ley y al derecho. En: F. Velasco y M. Darnaculleta, eds., Manual de derecho administrativo. Madrid: Marcial Pons.
Boix Palop, A., 2020. Los algoritmos son reglamentos: La necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la administración para la adopción de decisiones. Revista de Derecho Público. Teoría y Método [en línea], 1, 223-269. Disponible en: https://doi.org/10.37417/RPD/vol_1_2020_33 DOI: https://doi.org/10.37417/RPD/vol_1_2020_33
Boto Álvarez, A., 2023. Nuevas barreras burocráticas: la Administración defensiva digital. Documentación Administrativa, (10), 40–58. Disponible en: https://doi.org/10.24965/da.11200 DOI: https://doi.org/10.24965/da.11200
Bridle, J., 2020. La nueva edad oscura: La tecnología y el fin del futuro. Madrid: Debate.
Bueno Armijo, A., 2024. La burocracia defensiva [en línea]. Madrid: Marcial Pons. Disponible en: https://marcialpons-openaccess.es/index.php/juridicas/catalog/download/burocracia-defensiva/44/912?inline=1
Cerrillo i Martínez, A., 2020. ¿Son fiables las decisiones de las Administraciones públicas adoptadas por algoritmos? European Review of Digital Administration & Law [en línea], 1(1-2), 17-XX. Disponible en: https://www.erdalreview.eu/free-download/97888255389603.pdf
Dribia Data Research, 2024. Informe Tiresias: Auditoria de l’algorisme RisCanvi (Versió 9 de gener de 2024) [en línea]. Generalitat de Catalunya, Departament de Justícia. Disponible en: https://repositori.justicia.gencat.cat/bitstream/handle/20.500.14226/1321/auditoria-algorisme-riscanvi-informe-final.pdf
Eticas Research and Consulting, 2022. Auditoría de sesgos e incertidumbres algorítmicas en torno a las violencias de género. El caso del sistema VioGén.
Gómez Colomer, J. L., 2023. El juez robot: la independencia judicial en peligro. Valencia: Tirant lo Blanch.
González Jaspe, J., 2024. EU AI Act artículo 14: Supervisión humana — Qué debe implementar tu empresa antes de agosto 2026. Vorlux AI [en línea], 25 de febrero. Disponible en: https://vorluxai.com/es/blog/ley-ia-europea-supervision-humana-articulo-14/
Jiménez Arandía, P., 2024. RisCanvi: el misterioso algoritmo que evalúa a los presos en Cataluña de forma “azarosa”. El País [en línea], 3 de julio. Disponible en: https://elpais.com/expres/2024-07-03/riscanvi-el-misterioso-algoritmo-que-evalua-a-los-presos-en-cataluna-de-forma-azarosa.html
Jiménez Arandía, P., 2026. Un algoritmo dificulta la reinserción de los presos vulnerables en Catalunya. Público [en línea], 6 de marzo. Disponible en: https://www.publico.es/politica/algoritmo-dificulta-reinsercion-presos-vulnerables-catalunya.html
Lipsky, M., 2010. Street-level bureaucracy: Dilemmas of the individual in public services. Nueva York: Russell Sage Foundation. (Obra original publicada en 1980).
López-Ossorio, J. J., Loinaz, I., y González-Álvarez, J. L., 2019. Protocolo para la valoración policial del riesgo de violencia de género (VPR4.0): revisión de su funcionamiento. Revista Española de Medicina Legal [en línea], 45(2), 52-58. Disponible en: https://doi.org/10.1016/j.reml.2019.01.002 DOI: https://doi.org/10.1016/j.reml.2019.01.002
Ministerio del Interior (Secretaría de Estado de Seguridad), 2025. La valoración policial del riesgo de violencia contra la mujer pareja en España (Sistema VioGén).
Ponce Solé, J., 2019. Inteligencia artificial, derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico. Revista General de Derecho Administrativo, 50.
Ponce Solé, J., 2024. Inteligencia Artificial, decisiones administrativas discrecionales totalmente automatizadas y alcance del control judicial: ¿indiferencia, insuficiencia o deferencia? Revista de Derecho Público: teoría y método [en línea], 9, 171-220. Disponible en: https://doi.org/10.37417/RDP/vol_7_2024_2151 DOI: https://doi.org/10.37417/RDP/vol_7_2024_2151
San Martín Segura, D., 2023. Prevención algorítmica de la violencia de género: La discrecionalidad policial como decisión tecnológica en el contexto de VioGén. Estudios Penales y Criminológicos [en línea], 44(Número Especial), 1-35. Disponible en: https://doi.org/10.15304/epc.44.9013 DOI: https://doi.org/10.15304/epc.44.9013
Solar Calvo, P., y Lacal Cuenca, P., 2021. Técnicas actuariales y valoración de peligrosidad. ¿Es este el camino? Revista de Estudios Penitenciarios, 263.
Unión Europea, 2024. Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial (Reglamento de Inteligencia Artificial). Diario Oficial de la Unión Europea, 1689.
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Derechos de autor 2026 Daniel Martínez Cristóbal
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-SinDerivadas 4.0.
Los autores conservan el copyright de sus trabajos, que se publicarán en OSLS bajo una licencia Creative Commons Reconocimiento NoComercial SinObraDerivada. Puede consultar más detalles en: http://es.creativecommons.org/licencia/. Si no está de acuerdo con esta licencia, por favor, póngase en contacto con nosotros.
El autor concede los permisos necesarios para difundir la información bibliográfica del artículo, incluyendo el resumen, y autorizar a otros, incluyendo las bases de datos bibliográficas, de índices y servicios de alerta de contenidos, a copiar y comunicar esta información.
Para más información sobre los permisos para distribuir su artículo en cada fase de la producción, por favor, lea nuestra Política de Autoarchivo y Divulgación (en inglés).
Las condiciones de copyright con el nombre de autores y co-autores, y la licencia Creative Commons se mostrarán en el artículo. Estas condiciones se deben aceptar como parte del proceso de envío de un artículo a la revista. Por favor, asegúrese de que todos los co-autores se mencionan correctamente, y que entienden y aceptan estos términos.
