Inteligência artificial, vieses algorítmicos e racismo: o lado desconhecido da justiça algorítmica
Conteúdo do artigo principal
Resumo
O presente artigo se propõe a identificar algumas externalidades negativas oriundas da não observância de determinados padrões éticos em modelos de Inteligência Artificial (IA). O estudo objetiva esclarecer a importância de se voltar uma rigorosa atenção aos dados que são utilizados na construção de modelos de IA, tal como elencar possíveis soluções para reduzir a incidência de algoritmos enviesados e mitigar suas consequências danosas. A metodologia utilizada tem natureza exploratória e descritiva, abordando casos práticos e, também, como procedimento técnico, utilizou-se de pesquisa bibliográfica. A conclusão principal aferida é a de que os algoritmos enviesados produzem nefastas consequências sociais, violando direitos fundamentais e operando como catalisadores, o que aumenta e perpetua preconceitos e segregações inerentes à sociedade na qual se baseiam, contribuindo com a manutenção e intensificação do racismo estrutural que permeia a sociedade e o sistema de justiça criminal.
##plugins.themes.bootstrap3.displayStats.downloads##
Detalhes do artigo
Seção
Este trabalho está licenciado sob uma licença Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
Atribuição-NãoComercial-
SemDerivações 4.0 Internacional (CC BY-NC-ND 4.0)
Você tem o direito de:
Compartilhar, copiar e redistribuir o material em qualquer suporte ou formato
O licenciante não pode revogar estes direitos desde que você respeite os termos da licença.
De acordo com os termos seguintes:
Atribuição
Você deve atribuir o devido crédito, fornecer um link para a licença, e indicar se foram feitas alterações. Você pode fazê-lo de qualquer forma razoável, mas não de uma forma que sugira que o licenciante o apoia ou aprova o seu uso.
NãoComercial
Você não pode usar o material para fins comerciais.
SemDerivações
Se você remixar, transformar, ou criar a partir domaterial, não pode distribuir o material modificado.
Sem restrições adicionais
Você não pode aplicar termos jurídicos ou medidas de caráter tecnológico que restrinjam legalmente outros de fazerem algo que a licença permita.
Avisos:
Não tem de cumprir com os termos da licença relativamente a elementos do material que estejam no domínio público ou cuja utilização seja permitida por uma exceção ou limitação que seja aplicável.
Não são dadas quaisquer garantias. A licença pode não lhe dar todas as autorizações necessárias para o uso pretendido. Por exemplo, outros direitos, tais como direitos de imagem, de privacidade ou direitos morais, podem limitar o uso do material.
Como Citar
Referências
Biddle S. (2019, 26 de novembro). Amazon’s Ring Planned Neighborhood “Watch Lists” Built on Facial Recognition. The Intercept. https://theintercept.com/2019/11/26/amazon-ring-home-security-facial-recognition/
Breland, A. (2017, 4 de dezembro). How white engineers built racist code – and why it’s dangerous for black people. The Guardian. https://www.theguardian.com/technology/2017/dec/04/racist-facial-recognitionwhite-coders-black-people-police
Buranyi, S. (2017, 8 de agosto). Rise of the racist robots – how AI is learning all our worst impulses. The Guardian. https://www.theguardian.com/inequality/2017/aug/08/rise-of-the-racist-robots-how-ai-is-learningall-our-worst-impulses
Conselho Nacional de Justiça [CNJ]. (2020). Justiça em números. 2020. CNJ. https://www.cnj.jus.br/pesquisas-judiciarias/justica-em-numeros/
Conselho Nacional de Justiça [CNJ]. (2020, 21 de agosto). Resolução n.º 332 de 21/08/2020. Dispõe sobre a ética, a transparência e a governança na produção e no uso de Inteligência Artificial no Poder Judiciário e dá outras providências. Diário da Justiça eletrônico (DJe) n.º 274. https://atos.cnj.jus.br/atos/detalhar/3429
Damasceno, V. & Fernandes, S. (2021, 9 de julho). Sob críticas por viés racial, reconhecimento facial chega a 20 estados. Folha de S. Paulo. https://www1.folha.uol.com.br/cotidiano/2021/07/sob-criticas-porvies-racial-reconhecimento-facial-chega-a-20-estados.shtml
Danziger, S., Levav, J. & Avnaim-Pesso, L. (2011). Extraneous factors in judicial decisions. Proceedings of the National Academy of Sciences of the United States of America, 108(17), 6889-6892. https://doi.org/10.1073/pnas.1018033108
Da Rosa, A. & Guasque, B. (2021). O avanço da disrupção nos tribunais brasileiros. In D. Nunes, P. H. Lucon e E. Navarro Wolkart (Orgs.), Inteligência artificial e direito processual. Os impactos da virada tecnológica no Direito Processual (pp. 93-121). JusPODVIM.
Dastin, J. (2018, 10 de outubro). Amazon scraps secret AI recruiting tool that showed bias against women. Reuters. https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G
Freitas, C. O. A. (2020, 4 de agosto). A obscuridade dos algoritmos e a LGPD. Estadão/Blog do Fausto Macedo. https://politica.estadao.com.br/blogs/fausto-macedo/a-obscuridade-dos-algoritmos-e-a-lgpd/
Fundação Getulio Vargas [FGV]. (2020). Introdução. In L. F. Salomão (Coord.), Inteligência Artificial: tecnologia aplicada à gestão dos conflitos no âmbito do Poder Judiciário Brasileiro (pp. 10-24). https://ciapj.fgv.br/sites/ciapj.fgv.br/files/estudos_e_pesquisas_ia_1afase.pdf
Haskins, C. (2019, 7 de fevereiro). Amazon’s Home Security Company Is Turning Everyone into Cops. VICE. https://www.vice.com/en/article/qvyvzd/amazons-home-security-company-is-turning-everyoneinto-cops
Hill, K. (2020, 29 de dezembro). Another Arrest, and Jail Time, Due to a Bad Facial Recognition Match. The New York Times. https://www.nytimes.com/2020/12/29/technology/facial-recognition-misidentifyjail.html
Instituto Igarapé. (2023). Crime Radar. https://igarape.org.br/tech/crimeradar/
Kelley, J. & Guariglia, M. (2020, 10 de junho). Amazon Ring Must End Its Dangerous Partnerships with Police. Electronic Frontier Foundation. https://www.eff.org/deeplinks/2020/06/amazon-ring-must-end-itsdangerous-partnerships-police
Larson, J., Mattu, S., Kirchner, L. & Angwin, J. (2016, 23 de maio). How We Analyzed the COMPAS Recidivism Algorithm. ProPublica. https://www.propublica.org/article/how-we-analyzed-the-compasrecidivism-algorithm
Lum, K. & Isaac, W. (2016). To predict and serve? Significance, 13(5), 14-19. https://doi.org/10.1111/j.1740-9713.2016.00960.x
Ministério da Justiça e Segurança Pública. (2019, 24 de outubro). Portaria n.º 793, de 24 de outubro de 2019. Regulamenta o incentivo financeiro das ações do Eixo Enfrentamento à Criminalidade Violenta, no âmbito da Política Nacional de Segurança Pública e Defesa Social e do Sistema Único de Segurança Pública, com os recursos do Fundo Nacional de Segurança Pública, previstos no inciso I do art. 7º da Lei nº 13.756, de 12 de dezembro de 2018. Diário Oficial da União de 25/10/2019. https://www.in.gov.br/en/web/dou/-/portaria-n-793-de-24-de-outubro-de-2019-223853575
Navas Navarro, S. (2017). Derecho e inteligencia artificial desde el diseño. Aproximaciones. In S. N. Navarro (Coord.), Inteligencia artificial: tecnología, derecho (pp. 23-72). Tirant Lo Blanch.
Nieva Fenoll, J. N. (2018). Inteligencia Artificial y Proceso Judicial. Marcial Pons.
National Institute of Standards and Technology [NIST]. (2019, 19 de dezembro). NIST Study Evaluates Effects of Race, Age, Sex on Face Recognition Software. https://www.nist.gov/news-events/news/2019/12/nist-study-evaluates-effects-race-age-sex-face-recognition-software
Nunes, D. (2021, 25 de junho). A supervisão humana das decisões de inteligência artificial reduz os riscos? Consultor Jurídico. https://www.conjur.com.br/2021-jun-25/nunes-supervisao-humana-decisoesia-reduz-riscos
O’Neil, C. (2019, 22 de janeiro). CCBLAB. The Authority of the Inscrutable: An Interview with Cathy O’Neil. https://lab.cccb.org/en/the-authority-of-the-inscrutable-an-interview-with-cathy-oneil/
O’Neil, C. (2020). Algoritmos de destruição em massa: como o Big Data aumenta a desigualdade e ameaça a democracia (R. Abraham, Trad.). Editora Rua do Sabão.
Organização para a Cooperação e Desenvolvimento Econômico [OECD]. (2023, 7 de novembro). Recommendation of the Council on Artificial Intelligence, OECD/LEGAL/0449. https://legalinstruments.oecd.org/en/instruments/oecd-legal-0449
Panch, T., Mattie, H. & Atun, R. (2019). Artificial intelligence and algorithmic bias: implications for health systems. Journal of Global Health, 9(2). https://doi.org/10.7189%2Fjogh.09.020318
Paul, K. (2019, 17 de abril). ‘Disastrous’ lack of diversity in AI industry perpetuates bias, study finds. The Guardian. https://www.theguardian.com/technology/2019/apr/16/artificial-intelligence-lack-diversity-newyork-university-study
Paul, K. (2020, 11 de junho). Amazon to ban police use of facial recognition software for a year. The Guardian. https://www.theguardian.com/technology/2020/jun/10/amazon-rekognition-software-police-blacklives-matter
Pospielov, S. (2022, 20 de junho). How To Reduce Bias in Machine Learning. Spiceworks. https://www.spiceworks.com/tech/artificial-intelligence/guest-article/how-to-reduce-bias-in-machine-learning/
Presidência da Câmara dos Deputados – Brasil. (2019, 26 de novembro). Anteprojeto de Lei de Proteção de Dados para segurança pública e persecução penal. https://static.poder360.com.br/2020/11/DADOSAnteprojeto-comissao-protecao-dados-seguranca-persecucao-FINAL.pdf
Presidência da República do Brasil. (2018, 14 de agosto). Lei n.º 13.709 de 14 de agosto de 2018. Lei Geral de Proteção de Dados Pessoais (LGPD). Diário Oficial da União de 15/08/2018. https://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/l13709.htm
Ramos, S. (Coord.). (2019). Retratos da Violência. Cinco meses de monitoramento, análises e descobertas. Junho a outubro – 2019. Rede de Observatórios da Segurança; Centro de Estudos de Segurança e Cidadania. https://cesecseguranca.com.br/textodownload/retratos-da-violencia-cinco-meses-demonitoramento-analises-e-descobertas/
Rodríguez, P. (2018). Inteligencia Artificial. Cómo cambiará el mundo (y tu vida). Ediciones Deusto.
Sadowski, J. (2020). Too Smart: How Digital Capitalism is Extracting Data, Controlling Our Lives, and Taking Over the World. The MIT Press.
Snow, J. (2018, 26 de julho). Amazon’s Face Recognition Falsely Matched 28 Members of Congress with Mugshots. ACLU. https://www.aclu.org/blog/privacy-technology/surveillance-technologies/amazons-facerecognition-falsely-matched-28
U.S. Equal Employment Opportunity Commission. (2015). Diversity in High Tech. Executive Summary. https://www.eeoc.gov/special-report/diversity-high-tech
Vega Iracelay, J. J. (2018). Inteligencia artificial y derecho: principios y propuestas para una gobernanza eficaz. Informática y Derecho: Revista Iberoamericana de Derecho Informático, (5), 13-48. https://dialnet.unirioja.es/servlet/articulo?codigo=6845781
Whittaker, M., Crawford, K., Dobbe, R., Fried, G., Kaziunas, E., Mathur, V., Myers West, S., Richardson, R., Schultz, J., Schwarts, O., Campolo, A. & Krueger, G. (2018, 6 de dezembro). AI Now 2018 Report. AI Now Institute. https://ainowinstitute.org/publication/ai-now-2018-report-2