The algorithmic state and the abdication of human judgement
Automation bias and constitutional guarantees in the VioGén and RisCanvi Systems
DOI:
https://doi.org/10.35295/osls.iisl.2791Keywords:
automation bias, Artificial Intelligence, administrative responsibility, algorithmic justice, VioGén, RisCanviAbstract
This article analyses, from an interdisciplinary socio-legal perspective, the impact of algorithmic risk assessment systems (VioGén and RisCanvi) on public administration and the judicial system in Spain. It examines how the use of these predictive tools has led professionals to disregard their own judgement due to "automation bias" and the pressure currently generated by defensive and precautionary dynamics within the civil service. By applying a qualitative approach that integrates legal sources, technical assessments, and institutional documents, the research establishes that the human oversight mandate imposed by the European Artificial Intelligence Act proves ineffective in practice. Algorithmic efficiency undermines the decision-making capacity of public officials, the independence of the judiciary, and key constitutional principles. Consequently, the study demonstrates the urgent need to establish a "reserve of humanity" to restore qualitative analysis and empathetic deliberation to public decision-making.
Downloads
Metrics
Global Statistics ℹ️
|
27
Views
|
22
Downloads
|
|
49
Total
|
|
References
Academia Geopol, 2025. Instrucción 1/2025 de la Secretaría de Estado de Seguridad por la que se establece un nuevo protocolo para la valoración policial del nivel de riesgo de violencia de género (VioGén-2).
Aguilar Ortiz, M., 2026. Human in the Loop y aprendizaje continuo: la competencia crítica para supervisar IA [en línea]. OpenWebinars. Disponible en: https://openwebinars.net/blog/human-in-the-loop-y-aprendizaje-continuo-la-competencia-critica-para-supervisar-ia/
Alemán Aróstegui, L., 2023. El uso de RISCANVI en la toma de decisiones penitenciarias. Estudios Penales y Criminológicos [en línea], 44(Ext.), 1-43. Disponible en: https://doi.org/10.15304/epc.44.8884 DOI: https://doi.org/10.15304/epc.44.8884
Alon-Barkat, S., y Busuioc, M., 2023. Human–AI interactions in public sector decision making: “automation bias” and “selective adherence” to algorithmic advice. Journal of Public Administration Research and Theory [en línea], 33(1), 153-169. Disponible en: https://doi.org/10.1093/jopart/muac007 DOI: https://doi.org/10.1093/jopart/muac007
Andrés-Pueyo, A., 2025. El RisCanvi: entre la predicción algorítmica y la decisión profesional para la prevención de la reincidencia penitenciaria. ReCRIM: Revista de l’Institut Universitari d’Investigació en Criminologia i Ciències Penals de la UV [en línea], número extra 25, 21-35. Disponible en: https://dialnet.unirioja.es/servlet/articulo?codigo=10504736
Azuaje Pirela, M. C., et al., 2025. Intervención, supervisión y control humano en las decisiones automatizadas. Derecho PUCP [en línea], (95), 189–226. Disponible en: https://doi.org/10.18800/derechopucp.202502.006 DOI: https://doi.org/10.18800/derechopucp.202502.006
Bacigalupo, M., 2023. La vinculación de la administración pública a la ley y al derecho. En: F. Velasco y M. Darnaculleta, eds., Manual de derecho administrativo. Madrid: Marcial Pons.
Boix Palop, A., 2020. Los algoritmos son reglamentos: La necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la administración para la adopción de decisiones. Revista de Derecho Público. Teoría y Método [en línea], 1, 223-269. Disponible en: https://doi.org/10.37417/RPD/vol_1_2020_33 DOI: https://doi.org/10.37417/RPD/vol_1_2020_33
Boto Álvarez, A., 2023. Nuevas barreras burocráticas: la Administración defensiva digital. Documentación Administrativa, (10), 40–58. Disponible en: https://doi.org/10.24965/da.11200 DOI: https://doi.org/10.24965/da.11200
Bridle, J., 2020. La nueva edad oscura: La tecnología y el fin del futuro. Madrid: Debate.
Bueno Armijo, A., 2024. La burocracia defensiva [en línea]. Madrid: Marcial Pons. Disponible en: https://marcialpons-openaccess.es/index.php/juridicas/catalog/download/burocracia-defensiva/44/912?inline=1
Cerrillo i Martínez, A., 2020. ¿Son fiables las decisiones de las Administraciones públicas adoptadas por algoritmos? European Review of Digital Administration & Law [en línea], 1(1-2), 17-XX. Disponible en: https://www.erdalreview.eu/free-download/97888255389603.pdf
Dribia Data Research, 2024. Informe Tiresias: Auditoria de l’algorisme RisCanvi (Versió 9 de gener de 2024) [en línea]. Generalitat de Catalunya, Departament de Justícia. Disponible en: https://repositori.justicia.gencat.cat/bitstream/handle/20.500.14226/1321/auditoria-algorisme-riscanvi-informe-final.pdf
Eticas Research and Consulting, 2022. Auditoría de sesgos e incertidumbres algorítmicas en torno a las violencias de género. El caso del sistema VioGén.
Gómez Colomer, J. L., 2023. El juez robot: la independencia judicial en peligro. Valencia: Tirant lo Blanch.
González Jaspe, J., 2024. EU AI Act artículo 14: Supervisión humana — Qué debe implementar tu empresa antes de agosto 2026. Vorlux AI [en línea], 25 de febrero. Disponible en: https://vorluxai.com/es/blog/ley-ia-europea-supervision-humana-articulo-14/
Jiménez Arandía, P., 2024. RisCanvi: el misterioso algoritmo que evalúa a los presos en Cataluña de forma “azarosa”. El País [en línea], 3 de julio. Disponible en: https://elpais.com/expres/2024-07-03/riscanvi-el-misterioso-algoritmo-que-evalua-a-los-presos-en-cataluna-de-forma-azarosa.html
Jiménez Arandía, P., 2026. Un algoritmo dificulta la reinserción de los presos vulnerables en Catalunya. Público [en línea], 6 de marzo. Disponible en: https://www.publico.es/politica/algoritmo-dificulta-reinsercion-presos-vulnerables-catalunya.html
Lipsky, M., 2010. Street-level bureaucracy: Dilemmas of the individual in public services. Nueva York: Russell Sage Foundation. (Obra original publicada en 1980).
López-Ossorio, J. J., Loinaz, I., y González-Álvarez, J. L., 2019. Protocolo para la valoración policial del riesgo de violencia de género (VPR4.0): revisión de su funcionamiento. Revista Española de Medicina Legal [en línea], 45(2), 52-58. Disponible en: https://doi.org/10.1016/j.reml.2019.01.002 DOI: https://doi.org/10.1016/j.reml.2019.01.002
Ministerio del Interior (Secretaría de Estado de Seguridad), 2025. La valoración policial del riesgo de violencia contra la mujer pareja en España (Sistema VioGén).
Ponce Solé, J., 2019. Inteligencia artificial, derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico. Revista General de Derecho Administrativo, 50.
Ponce Solé, J., 2024. Inteligencia Artificial, decisiones administrativas discrecionales totalmente automatizadas y alcance del control judicial: ¿indiferencia, insuficiencia o deferencia? Revista de Derecho Público: teoría y método [en línea], 9, 171-220. Disponible en: https://doi.org/10.37417/RDP/vol_7_2024_2151 DOI: https://doi.org/10.37417/RDP/vol_7_2024_2151
San Martín Segura, D., 2023. Prevención algorítmica de la violencia de género: La discrecionalidad policial como decisión tecnológica en el contexto de VioGén. Estudios Penales y Criminológicos [en línea], 44(Número Especial), 1-35. Disponible en: https://doi.org/10.15304/epc.44.9013 DOI: https://doi.org/10.15304/epc.44.9013
Solar Calvo, P., y Lacal Cuenca, P., 2021. Técnicas actuariales y valoración de peligrosidad. ¿Es este el camino? Revista de Estudios Penitenciarios, 263.
Unión Europea, 2024. Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial (Reglamento de Inteligencia Artificial). Diario Oficial de la Unión Europea, 1689.
Published
How to Cite
Issue
Section
License
Copyright (c) 2026 Daniel Martínez Cristóbal
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
OSLS strictly respects intellectual property rights and it is our policy that the author retains copyright, and articles are made available under a Creative Commons licence. The Creative Commons Non-Commercial Attribution No-Derivatives licence is our default licence and it regulates how others can use your work. Further details available at https://creativecommons.org/licenses/by-nc-nd/4.0 If this is not acceptable to you, please contact us.
The non-exclusive permission you grant to us includes the rights to disseminate the bibliographic details of the article, including the abstract supplied by you, and to authorise others, including bibliographic databases, indexing and contents alerting services, to copy and communicate these details.
For information on how to share and store your own article at each stage of production from submission to final publication, please read our Self-Archiving and Sharing policy.
The Copyright Notice showing the author and co-authors, and the Creative Commons license will be displayed on the article, and you must agree to this as part of the submission process. Please ensure that all co-authors are properly attributed and that they understand and accept these terms.
