Inteligencia artificial, sesgos algorítmicos y racismo: el lado desconocido de la justicia algorítmica
Barra lateral del artículo
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-SinDerivadas 4.0.
Queda autorizada la reproducción total o parcial de los contenidos de la revista con finalidades educativas, investigativas o académicas siempre y cuando sea citada la fuente. Para poder efectuar reproducciones con otros propósitos, es necesario contar con la autorización expresa del Sello Editorial Universidad de Medellín.
Usted es libre de:
Compartir, copiar y redistribuir el material en cualquier medio o formato
La licenciante no puede revocar estas libertades en tanto usted siga los términos de la licencia
Bajo los siguientes términos:
Atribución
Usted debe dar crédito de manera adecuada , brindar un enlace a la licencia, e indicar si se han realizado cambios . Puede hacerlo en cualquier forma razonable, pero no de forma tal que sugiera que usted o su uso tienen el apoyo de la licenciante.
No Comercial
Usted no puede hacer uso del material con propósitos comerciales .
Sin Derivadas
Si remezcla, transforma o crea a partir del material, no podrá distribuir el material modificado.
No hay restricciones adicionales
No puede aplicar términos legales ni medidas tecnológicas que restrinjan legalmente a otras a hacer cualquier uso permitido por la licencia.
Avisos
No tiene que cumplir con la licencia para elementos del material en el dominio público o cuando su uso esté permitido por una excepción o limitación aplicable.
No se dan garantías. La licencia podría no darle todos los permisos que necesita para el uso que tenga previsto. Por ejemplo, otros derechos como publicidad, privacidad o derechos morales pueden limitar la forma en que utilizan el material.
Contenido principal del artículo
Resumen
El presente artículo se propone identificar algunas externalidades negativas originadas por la inobservancia de determinados patrones éticos en modelos de Inteligencia Artificial (IA). El estudio pretende aclarar la importancia de prestar una atención rigurosa a los datos utilizados en la construcción de modelos de IA, así como enumerar posibles soluciones para reducir la incidencia de algoritmos sesgados y mitigar sus consecuencias perjudiciales. La metodología empleada es de naturaleza exploratoria y descriptiva, abordando casos prácticos, y también se utilizó la investigación bibliográfica como procedimiento técnico. La principal conclusión obtenida es que los algoritmos sesgados producen nefastas consecuencias sociales, vulnerando derechos fundamentales y operando como catalizadores, que aumentan y perpetúan prejuicios y segregaciones inherentes a la sociedad en la que se basan, contribuyendo al mantenimiento e intensificación del racismo estructural que permea a la sociedad y el sistema de justicia penal.
Detalles del artículo
Citas
Biddle S. (2019, 26 de novembro). Amazon’s Ring Planned Neighborhood “Watch Lists” Built on Facial Recognition. The Intercept. https://theintercept.com/2019/11/26/amazon-ring-home-security-facial-recognition/
Breland, A. (2017, 4 de dezembro). How white engineers built racist code – and why it’s dangerous for black people. The Guardian. https://www.theguardian.com/technology/2017/dec/04/racist-facial-recognitionwhite-coders-black-people-police
Buranyi, S. (2017, 8 de agosto). Rise of the racist robots – how AI is learning all our worst impulses. The Guardian. https://www.theguardian.com/inequality/2017/aug/08/rise-of-the-racist-robots-how-ai-is-learningall-our-worst-impulses
Conselho Nacional de Justiça [CNJ]. (2020). Justiça em números. 2020. CNJ. https://www.cnj.jus.br/pesquisas-judiciarias/justica-em-numeros/
Conselho Nacional de Justiça [CNJ]. (2020, 21 de agosto). Resolução n.º 332 de 21/08/2020. Dispõe sobre a ética, a transparência e a governança na produção e no uso de Inteligência Artificial no Poder Judiciário e dá outras providências. Diário da Justiça eletrônico (DJe) n.º 274. https://atos.cnj.jus.br/atos/detalhar/3429
Damasceno, V. & Fernandes, S. (2021, 9 de julho). Sob críticas por viés racial, reconhecimento facial chega a 20 estados. Folha de S. Paulo. https://www1.folha.uol.com.br/cotidiano/2021/07/sob-criticas-porvies-racial-reconhecimento-facial-chega-a-20-estados.shtml
Danziger, S., Levav, J. & Avnaim-Pesso, L. (2011). Extraneous factors in judicial decisions. Proceedings of the National Academy of Sciences of the United States of America, 108(17), 6889-6892. https://doi.org/10.1073/pnas.1018033108
Da Rosa, A. & Guasque, B. (2021). O avanço da disrupção nos tribunais brasileiros. In D. Nunes, P. H. Lucon e E. Navarro Wolkart (Orgs.), Inteligência artificial e direito processual. Os impactos da virada tecnológica no Direito Processual (pp. 93-121). JusPODVIM.
Dastin, J. (2018, 10 de outubro). Amazon scraps secret AI recruiting tool that showed bias against women. Reuters. https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G
Freitas, C. O. A. (2020, 4 de agosto). A obscuridade dos algoritmos e a LGPD. Estadão/Blog do Fausto Macedo. https://politica.estadao.com.br/blogs/fausto-macedo/a-obscuridade-dos-algoritmos-e-a-lgpd/
Fundação Getulio Vargas [FGV]. (2020). Introdução. In L. F. Salomão (Coord.), Inteligência Artificial: tecnologia aplicada à gestão dos conflitos no âmbito do Poder Judiciário Brasileiro (pp. 10-24). https://ciapj.fgv.br/sites/ciapj.fgv.br/files/estudos_e_pesquisas_ia_1afase.pdf
Haskins, C. (2019, 7 de fevereiro). Amazon’s Home Security Company Is Turning Everyone into Cops. VICE. https://www.vice.com/en/article/qvyvzd/amazons-home-security-company-is-turning-everyoneinto-cops
Hill, K. (2020, 29 de dezembro). Another Arrest, and Jail Time, Due to a Bad Facial Recognition Match. The New York Times. https://www.nytimes.com/2020/12/29/technology/facial-recognition-misidentifyjail.html
Instituto Igarapé. (2023). Crime Radar. https://igarape.org.br/tech/crimeradar/
Kelley, J. & Guariglia, M. (2020, 10 de junho). Amazon Ring Must End Its Dangerous Partnerships with Police. Electronic Frontier Foundation. https://www.eff.org/deeplinks/2020/06/amazon-ring-must-end-itsdangerous-partnerships-police
Larson, J., Mattu, S., Kirchner, L. & Angwin, J. (2016, 23 de maio). How We Analyzed the COMPAS Recidivism Algorithm. ProPublica. https://www.propublica.org/article/how-we-analyzed-the-compasrecidivism-algorithm
Lum, K. & Isaac, W. (2016). To predict and serve? Significance, 13(5), 14-19. https://doi.org/10.1111/j.1740-9713.2016.00960.x
Ministério da Justiça e Segurança Pública. (2019, 24 de outubro). Portaria n.º 793, de 24 de outubro de 2019. Regulamenta o incentivo financeiro das ações do Eixo Enfrentamento à Criminalidade Violenta, no âmbito da Política Nacional de Segurança Pública e Defesa Social e do Sistema Único de Segurança Pública, com os recursos do Fundo Nacional de Segurança Pública, previstos no inciso I do art. 7º da Lei nº 13.756, de 12 de dezembro de 2018. Diário Oficial da União de 25/10/2019. https://www.in.gov.br/en/web/dou/-/portaria-n-793-de-24-de-outubro-de-2019-223853575
Navas Navarro, S. (2017). Derecho e inteligencia artificial desde el diseño. Aproximaciones. In S. N. Navarro (Coord.), Inteligencia artificial: tecnología, derecho (pp. 23-72). Tirant Lo Blanch.
Nieva Fenoll, J. N. (2018). Inteligencia Artificial y Proceso Judicial. Marcial Pons.
National Institute of Standards and Technology [NIST]. (2019, 19 de dezembro). NIST Study Evaluates Effects of Race, Age, Sex on Face Recognition Software. https://www.nist.gov/news-events/news/2019/12/nist-study-evaluates-effects-race-age-sex-face-recognition-software
Nunes, D. (2021, 25 de junho). A supervisão humana das decisões de inteligência artificial reduz os riscos? Consultor Jurídico. https://www.conjur.com.br/2021-jun-25/nunes-supervisao-humana-decisoesia-reduz-riscos
O’Neil, C. (2019, 22 de janeiro). CCBLAB. The Authority of the Inscrutable: An Interview with Cathy O’Neil. https://lab.cccb.org/en/the-authority-of-the-inscrutable-an-interview-with-cathy-oneil/
O’Neil, C. (2020). Algoritmos de destruição em massa: como o Big Data aumenta a desigualdade e ameaça a democracia (R. Abraham, Trad.). Editora Rua do Sabão.
Organização para a Cooperação e Desenvolvimento Econômico [OECD]. (2023, 7 de novembro). Recommendation of the Council on Artificial Intelligence, OECD/LEGAL/0449. https://legalinstruments.oecd.org/en/instruments/oecd-legal-0449
Panch, T., Mattie, H. & Atun, R. (2019). Artificial intelligence and algorithmic bias: implications for health systems. Journal of Global Health, 9(2). https://doi.org/10.7189%2Fjogh.09.020318
Paul, K. (2019, 17 de abril). ‘Disastrous’ lack of diversity in AI industry perpetuates bias, study finds. The Guardian. https://www.theguardian.com/technology/2019/apr/16/artificial-intelligence-lack-diversity-newyork-university-study
Paul, K. (2020, 11 de junho). Amazon to ban police use of facial recognition software for a year. The Guardian. https://www.theguardian.com/technology/2020/jun/10/amazon-rekognition-software-police-blacklives-matter
Pospielov, S. (2022, 20 de junho). How To Reduce Bias in Machine Learning. Spiceworks. https://www.spiceworks.com/tech/artificial-intelligence/guest-article/how-to-reduce-bias-in-machine-learning/
Presidência da Câmara dos Deputados – Brasil. (2019, 26 de novembro). Anteprojeto de Lei de Proteção de Dados para segurança pública e persecução penal. https://static.poder360.com.br/2020/11/DADOSAnteprojeto-comissao-protecao-dados-seguranca-persecucao-FINAL.pdf
Presidência da República do Brasil. (2018, 14 de agosto). Lei n.º 13.709 de 14 de agosto de 2018. Lei Geral de Proteção de Dados Pessoais (LGPD). Diário Oficial da União de 15/08/2018. https://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/l13709.htm
Ramos, S. (Coord.). (2019). Retratos da Violência. Cinco meses de monitoramento, análises e descobertas. Junho a outubro – 2019. Rede de Observatórios da Segurança; Centro de Estudos de Segurança e Cidadania. https://cesecseguranca.com.br/textodownload/retratos-da-violencia-cinco-meses-demonitoramento-analises-e-descobertas/
Rodríguez, P. (2018). Inteligencia Artificial. Cómo cambiará el mundo (y tu vida). Ediciones Deusto.
Sadowski, J. (2020). Too Smart: How Digital Capitalism is Extracting Data, Controlling Our Lives, and Taking Over the World. The MIT Press.
Snow, J. (2018, 26 de julho). Amazon’s Face Recognition Falsely Matched 28 Members of Congress with Mugshots. ACLU. https://www.aclu.org/blog/privacy-technology/surveillance-technologies/amazons-facerecognition-falsely-matched-28
U.S. Equal Employment Opportunity Commission. (2015). Diversity in High Tech. Executive Summary. https://www.eeoc.gov/special-report/diversity-high-tech
Vega Iracelay, J. J. (2018). Inteligencia artificial y derecho: principios y propuestas para una gobernanza eficaz. Informática y Derecho: Revista Iberoamericana de Derecho Informático, (5), 13-48. https://dialnet.unirioja.es/servlet/articulo?codigo=6845781
Whittaker, M., Crawford, K., Dobbe, R., Fried, G., Kaziunas, E., Mathur, V., Myers West, S., Richardson, R., Schultz, J., Schwarts, O., Campolo, A. & Krueger, G. (2018, 6 de dezembro). AI Now 2018 Report. AI Now Institute. https://ainowinstitute.org/publication/ai-now-2018-report-2