674 - Inteligência artificial no Poder Judiciário brasileiro: a experiência europeia como referência

Adriana Barrea [1] – Juíza de Direito no estado de São Paulo 

Camila Henning Salmoria [2] Juíza de Direito no estado do Paraná

 

Resumo: o objetivo deste artigo é analisar o EU AI ACT, identificando suas potencialidades para a melhoria da regulação brasileira para o Poder Judiciário, a Resolução 332 do CNJ. Através de uma abordagem metodológica dedutiva, empregando pesquisa indireta embasada em revisão bibliográfica e documental, o estudo analisa o modelo regulatório europeu traçando um comparativo com o sistema brasileiro identificando possibilidades de aprimoramento. A análise do EU AI ACT revela que o modelo regulatório europeu é mais abrangente e robusto do que o brasileiro e revela que a Resolução 332 do CNJ pode ser aprimorada em uma série de aspectos. Como conclusão, o estudo verifica que há grandes oportunidades de melhoria da Resolução 332 do CNJ com a adoção de modelos trazidos pela regulação europeia.

Palavras-chave: inteligência artificial, regulação, Poder Judiciário, Brasil, União Europeia, Resolução 332 do CNJ.

 

Introdução

Segundo o painel de estatísticas, até 31 de julho de 2023[3], estão em tramitação 82.574.093 de processos no Brasil.

Com a implementação do processo eletrônico, os Tribunais de todo o país empreendem iniciativas que contribuem para a entrega da prestação jurisdicional de forma mais célere.

O Codex é uma plataforma nacional desenvolvida pelo Tribunal de Justiça de Rondônia em parceria com o Conselho Nacional de Justiça (CNJ), constituindo-se de uma base de dados processuais que contêm textos em dados estruturados. Atualmente, há 171 milhões de processo armazenados, baixados e em tramitação.

Assim, tem-se um Big Data na esfera do judiciário que pode servir de base para pesquisas múltiplas, desde painéis e relatórios de gestão até aferição de dados voltados à implementação de políticas públicas e à melhoria dos serviços judiciais postos à população.

Neste ínterim, o avanço da tecnologia impulsiona a necessidade de que os recursos públicos sejam mais bem gerenciados. Assim é para se reconhecer que o implemento da inteligência artificial contribuirá com a prestação jurisdicional de forma mais célere e eficiente na solução dos litígios voltada à pacificação social.

A regulação de Inteligência Artificial (IA) tem se tornado uma questão crucial à medida que sua presença e influência se estendem por diversos setores da sociedade. A necessidade de estabelecer critérios claros para seu uso tem impulsionado uma série de esforços regulatórios em todo o mundo. Entre essas iniciativas, destaca-se a recente aprovação, pelo Parlamento Europeu, de um abrangente conjunto de diretrizes para regular a IA. Esta regulamentação tem sido objeto de considerável interesse devido à sua minuciosidade e amplitude.

No Brasil, embora ainda não exista uma legislação específica voltada para a regulação abrangente de sistemas de IA, o Conselho Nacional de Justiça (CNJ) estabeleceu, em 2020, a Resolução 332, que abordou de maneira preliminar a questão no âmbito do Poder Judiciário. Contudo, com os avanços tecnológicos e a emergência de sistemas de IA geradores de texto, torna-se imperativa uma revisão mais aprofundada dessa regulamentação.

O propósito deste artigo é examinar em que medida a regulamentação europeia pode contribuir para o aprimoramento da Resolução 332 do CNJ. O primeiro capítulo realiza uma análise abrangente da regulação da IA em diferentes partes do mundo, contextualizando tanto a abordagem europeia quanto a brasileira. O segundo capítulo se dedica a examinar as inovações trazidas pelo modelo de regulação europeu, com um foco específico na sua aplicabilidade ao modelo estabelecido pela Resolução 332. Por fim, o terceiro capítulo examina os pontos de convergência entre a resolução e o ato europeu, avaliando as possibilidades de aprimoramento da legislação nacional.

1 A regulação da IA no mundo

O relatório elaborado pela Biblioteca Jurídica do Congresso Americano oferece um abrangente panorama sobre a regulação da IA em todo o mundo. Este estudo abrange tanto legislações já aprovadas quanto aquelas que estão em processo de aprovação, tanto por países quanto por organizações internacionais, desde que tenham efeitos jurídicos[4].

A Convenção do Conselho da Europa (CoE) de 1981 representa o primeiro tratado internacional sobre proteção de dados pessoais, tendo entrado em vigor em 1985. Atualmente, vários países já contam com algum tipo de regulamentação relativa à IA[5], enquanto outros se encontram ainda em estágios de discussão[6].

Em algumas nações, os textos normativos abordam aspectos gerais relacionados ao desenvolvimento e à comercialização de sistemas de IA, estabelecendo diretrizes éticas, garantindo a observância dos direitos fundamentais e prevendo autoridades para supervisionar o progresso dos sistemas implementados[7]. Em outros países, a regulamentação aborda questões como pagamentos, veículos autônomos e a ilegalidade de conteúdo produzido por IA generativa[8].

Na Grécia, por exemplo, existem leis que estabelecem requisitos de registro ou licenciamento para determinados sistemas de IA, além de um projeto de lei proposto no Canadá sobre essa temática. Além disso, em países como Grécia, Finlândia, Noruega, Espanha e Suécia, foram aprovadas leis que abordam a transparência, a prevenção de preconceitos e a avaliação do impacto do uso de sistemas de IA.

Deve-se notar que, no Reino Unido, uma lei foi promulgada autorizando o governo a intervir em empresas que desenvolvem sistemas de IA cujos resultados possam comprometer a segurança do país. Em contrapartida, em Macau, existe a previsão de benefícios fiscais para empresas que desenvolvem IA, o que demonstra a preocupação em valorizar a inovação.

Conclui-se, portanto, que as perspectivas de regulação em todo o mundo são diversas, levando em consideração vários fatores, como a realidade de cada país e a natureza dos serviços prestados (sejam eles públicos, em plataformas digitais ou econômicos). No entanto, essas perspectivas convergem na observância dos direitos fundamentais e no respeito ao usuário, com base na autodeterminação da informação, fazendo interface com a legislação que protege os dados pessoais dos jurisdicionados.

1.1 Regulação europeia da IA

Em 14 de julho de 2023, o Parlamento Europeu aprovou o texto preliminar da regulação de sistemas de IA. O projeto foi proposto pela Comissão Europeia em 2020, mas só deve se tornar lei em meados de 2025[9]. A redação ainda será objeto de negociações com o Conselho Europeu e os Estados-membros[10].

Ainda que não possua status legal, o European Union Artificial Intelligence Act (EU AI ACT), tem atraído significativa atenção por se destacar como uma das primeiras regulamentações globais sobre o tema. Além dos impactos que essa legislação terá além das fronteiras da União Europeia, espera-se que sirva como um modelo inspirador para outras jurisdições em todo o mundo, semelhante ao que ocorreu com o Regulamento Geral de Proteção de Dados (GDPR).

O ato surge com um duplo propósito: promover a inovação tecnológica e salvaguardar os direitos humanos. Para atingir esses objetivos, foram estabelecidos os seguintes princípios gerais: supervisão humana, segurança, privacidade e governança de dados, transparência, não discriminação e bem-estar social e ambiental.

Há que se destacar que o regulamento europeu terá força de lei. Assim, pelo seu caráter vinculante, destinado a todos os órgãos e setores da socieade, tanto na Europa, quanto no mercado global, o que torna a normativa robusta e de respeitável conteúdo.

1.2 Regulação da IA no Brasil

No Brasil, inspirado no IA Act, tramita o projeto de Lei nº 2338/2023 com pontos de contato com a regulação Europeia, dentre outros, que merecem destaque: o uso de tecnologia a serviço do homem, a intervenção humana para supervisão dos sistemas de inteligência artificial (direito das pessoas afetadas); a transparência no uso da IA (opacidade dos algoritmos que resultam em decisões inauditáveis), o respeito aos direitos fundamentais, a graduação de riscos e a importância da regulação como meio de fomentar o avanço da tecnologia.

Entretanto, segundo a comissão de juristas, o citado projeto de lei demanda maior debate, inclusive porque está em destaque a IA Generativa, que também pende de regulação no mundo todo.

1.2.1 A Resolução 332/2020 do CNJ

No Brasil, fazendo referência à Carta Europeia de Ética sobre o Uso da Inteligência Artificial em Sistemas Judiciais e seus ambientes, o Conselho Nacional de Justiça editou a Resolução 332, que representa um importante marco na regulação da IA, em especial para o Poder Judiciário. Com foco na transparência e na segurança, a resolução estabelece diretrizes básicas para o desenvolvimento e uso de sistemas de inteligência artificial no âmbito do Poder Judiciário, destacando os princípios da dignidade, da liberdade e da equidade das decisões (art. 21).

Bem por isso é importante ressaltar que, diante da ausência de normas de normas específicas, no Brasil, a Resolução CNJ 332/2020 constitui marco regulatório para o Poder Judiciário que vem se desenvolvendo com a implementação do processo eletrônico e seu uso em todas as regiões de extensa territorialidade.

Cabe ressaltar que a resolução CNJ332/2020 é ato normativo emitido pelo Conselho Nacional de Justiça, dotado de controle pelo Supremo Tribunal Federal e com força de lei, além de se destinar especificamente aos órgãos do Poder Judiciário brasileiro. Tanto assim que não demanda a robustez exigida no regramento europeu, embora aprimoramentos sejam bem-vindos.

A normativa abrange, ainda, aspectos da governança de dados, parâmetros éticos para o desenvolvimento e uso da Inteligência Artificial; com enfoque na observância aos Direitos Fundamentais. Tanto assim que a Resolução CNJ 332/2020 dispõe sobre “a ética, a transparência e a governança na produção e no uso de Inteligência Artificial no Poder Judiciário e dá outras providências.

Em seus “considerandos”, destaca os seguintes pontos:

1.  os sistemas de IA deverão ser utilizados com agilidade e coerência para a tomada de decisão, com a observância e a compatibilidade com os Direitos Fundamentais;

2.  a decisão que tem como suporte sistemas de IA deverá atender a critérios éticos, de transparência, de previsibilidade, de possibilidade de auditoria, visando garantir a imparcialidade e a justiça substancial;

3.   destaca os princípios da preservação da igualdade, da não discriminação, da pluralidade, da solidariedade e do julgamento justo, com a primazia de meios voltados a eliminar ou minimizar a opressão e a marginalização do ser humano;

4.  há preocupação em evitar os erros de julgamento decorrentes de preconceitos; levando-se em conta que os dados utilizados processos de aprendizado de máquina precisam ser auditáveis e passíveis de serem rastreados, de fontes seguras, preferencialmente governamentais, tudo a garantir o princípio da transparência;

5.  os sistemas de IA necessitam respeitar a privacidade dos usuários, a quem cabe a ciência e controle de seus dados pessoais;

6.  a existência do uso responsável da IA, voltada para a proteção do usuário, a promoção da igualdade, da liberdade e da justiça e, por fim, à dignidade humana.

Em seu art. 2º, a resolução traz definições sobre: algoritmo, modelo de inteligência artificial, sinapses, usuário, usuário interno e externo.

Já o art. 4º destaca o respeito aos direitos fundamentais e faz referência à LGPD no quesito sobre os dados pessoais sensíveis.

Os princípios da não-discriminação, da transparência são, abrangendo o uso responsável da IA, com a indicação dos objetivos e resultados pretendidos pelos sistemas, a documentação dos riscos identificados e indicação dos instrumentos de segurança da informação e controle para seu enfrentamento são esmiuçados nos artigos 7º e 8º.

Há menção, também, à importância dos mecanismos de auditoria e a certificação de boas práticas. Tanto assim que o art. 10 dispõe que os sistemas de IA desenvolvidos pelos órgãos do Poder Judiciário devem ser informados ao CNJ, cujos modelos deverão ser na Plataforma Sinapses.

Por fim, a normativa traça regras de governança para os modelos de IA, os quais deverão respeito às Resoluções e às Recomendações do Conselho Nacional de Justiça, à Lei nº 13.709/2018, e ao segredo de justiça.

A interface de programação de aplicativos (API) que permitam sua utilização por outros sistemas vem estabelecida no art. 12, como resposta à importância da inovação e de sua adequação às diversas plataformas digitais, primando pelo Poder Judiciário como espaço de serviço público.

Pela mesma razão, no artigo 24, há previsão de que os modelos de IA deverão utilizar, preferencialmente, software de código aberto que facilite a sua integração ou interoperabilidade entre os sistemas utilizados pelos órgãos do Poder Judiciário.

O artigo 25 estabelece que os modelos de IA devem assegurar transparência na prestação de contas. Além disso, o artigo 26 prevê a responsabilização dos usuários de sistemas de IA em casos de descumprimento dos princípios e normas estipulados na Resolução.

Desde sua promulgação em 2020, esta resolução testemunhou uma expansão significativa dos sistemas de IA no âmbito do Poder Judiciário.

Em cumprimento ao disposto na Resolução 332 do CNJ, foi criada a Plataforma Sinapses (CNJ), que atua como um repositório de todos os modelos de Inteligência Artificial em operação ou em fase de desenvolvimento nos Tribunais brasileiros. Segundo os dados coletados, até o ano de 2022, foram registrados 111 projetos de Inteligência Artificial em 53 Tribunais, incluindo os Tribunais Superiores, como o STJ, STF e o CNJ. Entre esses, 63 projetos estão em produção (em uso) e 42 estão em fase de desenvolvimento na referida plataforma.

No que diz respeito ao ranking dos modelos de IA produzidos, o Tribunal de RO lidera com 21 modelos, seguido pelo TJ RS, com 7, e o TJDFT, com 5 modelos.

Os temas abordados pelos modelos de IA são diversos e englobam classificadores de petições, sistemas de geração de minutas de sentença em prestação de contas eleitorais, chatbots para esclarecer dúvidas dos jurisdicionados, modelos para auxiliar na triagem de demandas repetitivas, recomendação de classe e assunto para petições protocoladas, identificação e unificação de demandas em tramitação com o mesmo fato e tese jurídica, facilitação da indexação de documentos para a transição do formato físico para o digital, geração de textos auxiliares na elaboração de minutas e verificação da presença de pedido liminar na petição inicial.

É importante ressaltar que a motivação subjacente à criação de modelos de Inteligência Artificial é diversificada, incluindo o aumento de produtividade (em termos de volume e tempo), a inovação, o aprimoramento na qualidade dos serviços, a redução de custos,  o melhor atendimento ao cidadão, a aceleração dos processos judiciais e a prevenção de retrabalho.

Dentre os projetos, 21 ferramentas foram submetidas a monitoramento técnico, 39 passaram por revisão legal e/ou administrativa, e 38 tiveram seus dados de treinamento revisados para detectar possíveis vieses.[11], o que vem a garantir a transparência e a accoutability dos sistemas de IA.

2 Inovações da regulação europeia de IA

No Brasil, a Resolução 332 do Conselho Nacional de Justiça (CNJ) constitui marco crucial na regulamentação da IA. Ao compararmos essa resolução brasileira com a legislação vigente na Europa, percebemos que, embora ambas tenham o objetivo comum de fomentar o desenvolvimento seguro dos sistemas de IA, garantindo transparência e proteção dos direitos fundamentais, o modelo europeu se destaca por sua abrangência e detalhamento substancial. A regulação europeia introduz abordagens inovadoras para supervisionar os sistemas de inteligência artificial, as quais deveriam servir de modelo inspirador para outras jurisdições em todo o mundo.

2.1 Gradação de risco

O EU AI ACT utiliza uma abordagem inovadora e pragmática na avaliação do risco associado aos sistemas de IA, com a taxonomia dos atores e dos bens jurídicos para gradação. Ao identificar quem será o usuário ou destinatário de um sistema de IA e qual bem jurídico está sendo protegido naquele contexto, é possível avaliar o risco de maneira mais precisa e propor regulamentações proporcionais.

A classificação dos atores desempenha um papel fundamental na avaliação do risco na regulamentação da IA, uma vez que diferentes sistemas são destinados a serem utilizados por públicos e contextos diversos. Assim, a avaliação do risco deve ser personalizada de acordo com quem utiliza a tecnologia, para quem ela é destinada e quais bens jurídicos estão envolvidos.

Bem por isso a regulação faz menção ao direito das pessoas afetadas ou expostas aos sistemas de IA.

O modelo europeu de regulação é construído com base na compreensão do risco da IA. Sistemas com alto risco estão sujeitos a uma regulamentação muito mais rigorosa. Dentro desse modelo, foram estabelecidos quatro níveis de risco: baixo, médio, elevado e inaceitável.

Os sistemas de IA de baixo risco, como filtros de spam e vídeo games, são permitidos sem restrições significativas, mas com sugestões de código de conduta (art. 69).

Aqueles classificados como risco limitado incluem sistemas como chatbots, identificadores de emoções e verificadores biométricos, para os quais se exige o dever de informação e transparência (art. 52). [12].

São considerados de risco elevado (art. 6) aqueles sistemas que têm potencial para afetar a segurança ou os direitos fundamentais, especialmente nas áreas de educação, trabalho, imigração, bem como nos ramos legislativo e judicial. Esses sistemas estão sujeitos a regulamentação mais rigorosa.

No último grau, encontram-se os sistemas considerados de risco inaceitável (art. 5) e, portanto, proibidos, devido ao fato de serem considerados uma ameaça para as pessoas. Nesse grupo estão sistemas que realizam manipulação cognitivo-comportamental de pessoas ou grupos vulneráveis, pontuação social, e sistemas de identificação biométrica em tempo real e à distância, como o reconhecimento facial, sistemas de categorização biométrica baseados em dados sensíveis, sistemas de policiamento preditivo e identificadores de emoção quando utilizados no local de trabalho, por instituições de ensino, ou nas fronteiras[13].

A abordagem de gradação de risco adotada pelo EU AI ACT com base na taxonomia dos atores pode se revelar de extrema relevância para o Conselho Nacional de Justiça (CNJ) ao regulamentar a IA no contexto do sistema judiciário brasileiro. Ao identificar os usuários, destinatários e bens jurídicos envolvidos, torna-se possível avaliar com maior precisão o risco associado a um determinado sistema de IA. Isso, por sua vez, permite a definição de abordagens regulatórias proporcionais, adaptadas às particularidades de cada sistema.

Uma das principais vantagens dessa abordagem é sua adaptabilidade, que está em sintonia com o ritmo acelerado do avanço das tecnologias. Isso significa que a avaliação e a regulamentação de sistemas de IA podem ser realizadas com maior precisão e agilidade, garantindo, assim, uma regulamentação mais precisa, equilibrada e atualizada. Os direitos e valores específicos envolvidos nos processos judiciais também são protegidos, assegurando que a regulamentação esteja sempre alinhada e atualizada com as mudanças tecnológicas em constante evolução.

2.2 Obrigação de conformidade

O EU AI ACT se destaca ao instituir a obrigatoriedade para os fornecedores de sistemas de IA de alto risco possuírem termos de conformidade, garantindo que tenha ocorrido uma avaliação e assegurando a conformidade (art. 19). O regulamento estabelece dois procedimentos distintos, dependendo do tipo de sistema (Anexo III): um para controle interno (Anexo VI) e outro conduzido por um órgão independente (Anexo VII).

No primeiro procedimento, os fornecedores têm autonomia para avaliar internamente a conformidade de seus sistemas de IA de alto risco. Isso implica verificar se o sistema de gestão da qualidade está em conformidade com os requisitos estabelecidos, analisar minuciosamente a documentação técnica associada ao sistema e confirmar que o processo de design e desenvolvimento esteja de acordo com os padrões definidos.

No segundo procedimento, baseado na Avaliação do Sistema de Gestão da Qualidade e da Documentação Técnica, a avaliação é realizada por um organismo notificado, que determina se o sistema de gestão da qualidade e a documentação técnica estão em conformidade com os requisitos pré-determinados. Se o sistema de IA estiver em conformidade, será emitido um certificado de avaliação de documentação técnica da União Europeia. Quaisquer modificações no sistema de gestão da qualidade ou na lista de sistemas de IA abrangidos devem ser comunicadas e, se necessário, passar por uma nova avaliação.

Por outro lado, a Resolução do CNJ não estabelece uma obrigação de conformidade, limitando-se, em seus artigos 4 e 5, a enunciar princípios gerais para orientar os desenvolvedores, juntamente com mecanismos de auditoria e boas práticas (art. 8º, V).

Inspirado no modelo europeu, o CNJ poderia estabelecer padrões específicos de qualidade e segurança a serem cumpridos pelos desenvolvedores e fornecedores de sistemas de IA, exigindo que os Tribunais emitam declarações de conformidade para indicar que seus sistemas foram avaliados e atendem aos requisitos estabelecidos. A regulamentação europeia permite a revisão e atualização periódica dos requisitos de conformidade (art. 84), acompanhando os avanços tecnológicos. A Resolução 332 poderia incorporar disposições semelhantes para revisar e atualizar regularmente os requisitos de conformidade, assegurando assim sua contínua relevância e eficácia.

Adicionalmente, em consonância com a regulamentação europeia, a Resolução 332 poderia incluir cláusulas que permitam exceções controladas à avaliação de conformidade em circunstâncias excepcionais, especialmente quando a segurança pública ou outros interesses fundamentais estão em jogo (art. 6º, 3, e Anexo III do EU AI Act).

A obrigação de conformidade está alinhada tanto com a preocupação de transparência quanto com a garantia da proteção dos direitos fundamentais dos cidadãos. Ao incorporar essa norma, o CNJ estaria assegurando também esses conceitos aos sistemas de IA do Poder Judiciário brasileiro.

2.3 Sandbox

"Sandbox" é um termo em inglês que, quando aplicado no contexto tecnológico, representa um ambiente isolado e controlado onde sistemas de IA podem ser executados e testados sob rigorosa supervisão. Essa abordagem garante que qualquer problema seja identificado e corrigido antes que a tecnologia seja amplamente implementada, evitando impactos negativos no ambiente externo.

No que diz respeito aos testes para o uso de sistemas de IA, o EU AI ACT estabelece a criação das "sandbox" (art. 53), que são ambientes de teste regulatório com o propósito de impulsionar a inovação e a competitividade. Além disso, o regulamento europeu compromete-se com uma supervisão flexível e promove a cooperação internacional. A União Europeia define critérios específicos de elegibilidade e procedimentos de seleção para os participantes nas "sandbox", incentivando a participação de pequenas e médias empresas, bem como startups.

Por outro lado, a Resolução do CNJ concentra-se principalmente na supervisão ética e na conformidade com regulamentos éticos aplicados aos sistemas de IA utilizados no Poder Judiciário brasileiro. Atualmente, o único mecanismo de controle previsto está relacionado aos sistemas em operação, quando exige explicitamente um "registro de eventos adversos" (art. 27).

A experiência europeia com as "sandbox" pode fornecer valiosas lições ao CNJ sobre como criar um ambiente regulatório propício para o desenvolvimento seguro e ético de sistemas de IA no contexto do judiciário brasileiro, promovendo a cooperação entre os tribunais. Esse conhecimento pode ser particularmente relevante, pois o CNJ busca implementar uma inovação tecnológica que envolva a colaboração de todos os tribunais brasileiros.

3 Oportunidades de aperfeiçoamento de inspiração europeia

A Resolução 332 do CNJ tem vários pontos de contato com o EU AI ACT, em alguns desses as soluções adotadas pelo modelo europeu complementariam e aperfeiçoariam o modelo adotado pelo CNJ.

3.1 Transparência

Uma grande preocupação relacionada aos sistemas de IA diz respeito à opacidade, tanto em termos tecnológicos quanto procedimentais. Há também inquietações sobre a falta de transparência nas decisões tomadas pelos sistemas de IA, exigindo a implementação de mecanismos para verificar o cumprimento das regras e garantir a proteção dos direitos fundamentais. A transparência emerge como um ponto de convergência entre o CNJ e a União Europeia, com ênfase na promoção de divulgação responsável e clareza na comunicação.

No que diz respeito à transparência, observa-se que o CNJ promove a "divulgação responsável" (art. 8, I), sem entrar em detalhes específicos, e não impõe nenhuma obrigação de notificação às partes usuárias ou destinatárias. Por outro lado, o EU AI ACT estipula que as partes envolvidas devem ser informadas sobre o uso de sistemas de IA, levando em consideração a sensibilidade dos dados e enfatizando a clareza na comunicação (art. 13).

Quanto à documentação dos riscos, há uma convergência entre ambas, já que tanto o CNJ (art. 8, II) quanto a União Europeia reconhecem a importância de identificar e documentar os riscos associados à IA, fornecendo informações claras sobre as medidas de segurança e controle. No entanto, o EU AI ACT é mais minucioso ao estabelecer requisitos específicos para as instruções de uso, exigindo informações concisas, completas, corretas e claras para os usuários, enquanto a Resolução 332 não aborda esses detalhes.

Ambas as exigências de que as partes envolvidas tenham conhecimento sobre o uso da tecnologia e sua estrutura estão alinhadas com a dimensão substantiva da garantia do devido processo legal, um direito consagrado no direito internacional público e recentemente reconhecido em uma decisão do Supremo Tribunal Federal[14].

3.2 Governança de dados

A Europa assegurou a proteção de dados como direito fundamental autônomo ao reconhecê-la no artigo 8º da Carta de Direitos Fundamentais da União Europeia de 2000, que entrou em vigor em 2009. Em 2018, essa proteção foi instrumentalizada e ampliada pela RGPD. Desde então, a governança de dados é uma das preocupações centrais da União Europeia no que concerne ao avanço tecnológico.

A governança de dados preocupa-se com os procedimentos e práticas que uma entidade estabelece para gerenciar seus dados de forma eficaz, segura, ética e responsável. Envolve a coleta, o armazenamento, o processamento, o compartilhamento, o descarte, enfim, todas as etapas que envolvem o tratamento e a proteção de dados, assegurando tanto sua qualidade como a privacidade e a segurança.

Com este norte, o EU AI ACT determina que, ao utilizarem técnicas de treinamento com dados, os sistemas de IA de alto risco devem seguir diretrizes rigorosas relacionadas aos conjuntos de dados. Esses conjuntos devem atender a critérios específicos de qualidade e serem gerenciados de acordo com boas práticas de governança de dados. Isso inclui a coleta, a preparação, a avaliação de qualidade e a consideração de possíveis vieses que possam afetar a segurança e a não discriminação. Além disso, os conjuntos de dados devem ser relevantes, representativos, livres de erros e completos, levando em conta o contexto de uso do sistema de IA. Em casos estritamente necessários para monitorar, detectar e corrigir vieses, os provedores podem processar categorias especiais de dados pessoais, com garantias adequadas para proteger os direitos fundamentais.

A governança de dados também se concentra na proteção dos dados. O artigo 15 do EU AI ACT aborda a gestão de riscos e a segurança cibernética dos sistemas de IA de alto risco na Europa. Especificamente, o parágrafo 4 desse artigo aborda a resiliência desses sistemas diante de tentativas não autorizadas de terceiros de interromper seu funcionamento, explorando vulnerabilidades do sistema. Isso destaca a importância de adotar medidas adequadas de segurança cibernética.

O EU AI ACT também reconhece a necessidade de lidar com ameaças específicas à IA, como tentativas de manipular os dados de treinamento (conhecidas como "data poisoning"), a inserção de entradas destinadas a induzir erros no modelo (conhecidas como "adversarial examples"), e  a falhas no próprio modelo. Isso reflete a importância de proteger os sistemas de IA contra ameaças sofisticadas. De maneira similar, a Resolução 332 do CNJ, nos artigos 13 a 16, já estabelece diretrizes básicas referentes à origem dos dados, à proteção do conjunto de dados de treinamento e à segurança dos dados e sistemas.

Os controles de contaminação de dados e medidas de segurança cibernética desempenham um papel essencial para garantir que os sistemas de IA de alto risco na Europa operem de maneira confiável e segura durante todo o seu ciclo de vida. Eles também servem para proteger esses sistemas contra tentativas maliciosas de terceiros não autorizados de manipular seu comportamento ou desempenho.

Tais princípios e diretrizes podem servir como um modelo para aprimorar a regulamentação da IA no Brasil, incluindo a Resolução 332 do CNJ. Isso assegura que os sistemas de IA utilizados no contexto do judiciário brasileiro sejam resilientes a ameaças de segurança cibernética e protegidos contra tentativas de manipulação de dados e comportamento não autorizado. Tais medidas são essenciais para garantir a confiabilidade e a integridade da IA no sistema de justiça.

Em considerando o crescente número de ataques cibernéticos direcionados aos Tribunais e órgãos do Poder Judiciário, o Conselho Nacional de Justiça (CNJ) tem uma necessidade urgente de regulamentar a governança de dados e a segurança cibernética. Pesquisa revelou que, em 18 meses, de novembro de 2020 a abril de 2022, os tribunais brasileiros enfrentaram 13 ataques hackers[15].

Com dados sensíveis, decisões de grande repercussão e força executiva em jogo, o Poder Judiciário é um alvo atrativo. Os ataques cibernéticos impactaram tanto os tribunais estaduais quanto os federais, incluindo os órgãos superiores, como o TSE, STJ e STF. Esses incidentes não apenas resultaram na interrupção dos serviços, mas também representaram riscos graves para a integridade dos dados, com relatos de hackers alterando decisões e redirecionando fundos legítimos para contas fraudulentas[16].

Quando a atividade do sistema jurídico é prejudicada, surgem fragilidades que abalam a credibilidade da justiça e de suas estruturas. Assim, é crucial que o CNJ estabeleça padrões e protocolos rigorosos e detalhados para garantir que a segurança cibernética seja tratada como uma prioridade, preservando a confiança do público[17].

3.3 Explicabilidade

A garantia de explicabilidade na regulamentação de sistemas de IA é crucial para assegurar uma compreensão adequada e uma supervisão eficaz de seu funcionamento. O CNJ estabelece uma diretriz fundamental no artigo 19, exigindo que os sistemas que utilizam modelos de IA para apoiar decisões judiciais priorizem a explicação dos processos que levaram a um determinado resultado, permitindo uma supervisão efetiva por parte do magistrado responsável.

Em paralelo, o EU AI ACT também reconhece a importância da explicabilidade nos sistemas de IA, especialmente em relação aos sistemas de alto risco. O modelo europeu vai além ao estabelecer, no artigo 8º, que os sistemas de IA de alto risco devem ser projetados de maneira transparente o suficiente para permitir aos usuários interpretar o funcionamento e os resultados do sistema. Além disso, o regulamento exige que os sistemas de IA forneçam instruções de uso claras e abrangentes, garantindo que sejam relevantes, acessíveis e compreensíveis para os usuários.

A transparência nos sistemas de IA é fundamental para garantir que esses sistemas sejam compreendidos e auditados adequadamente. O CNJ pode adotar os princípios de divulgação responsável e documentação de riscos para promover a transparência nos sistemas de IA utilizados no sistema judiciário brasileiro. Além disso, o CNJ demonstra preferência pelo uso de software de código aberto para modelos de IA no Poder Judiciário (art. 24), enquanto o EU AI ACT prevê o direito das autoridades de fiscalização do mercado de acessar o código-fonte dos sistemas de IA de alto risco, com salvaguardas para proteger a confidencialidade das informações, incluindo o código-fonte (art. 70).

Com a crescente preocupação em relação à opacidade dos sistemas de IA, conhecidos como "caixa-pretas algorítmicas"[18], torna-se evidente a necessidade de estabelecer requisitos de explicabilidade para garantir a segurança e a confiabilidade desses sistemas. Essas exigências são reconhecidas como garantias fundamentais, derivadas da interseção entre os direitos à proteção de dados e ao devido processo legal. Um exemplo notável é o caso do SyRI, sistema de análise de risco implementado pelo governo holandês em 2014 e descontinuado em 2020 devido à falta de transparência e explicabilidade do modelo. A opacidade em torno do tipo de algoritmo utilizado [19]dificultou a análise técnica do tribunal em relação aos argumentos apresentados pelas partes[20]. Este caso histórico ressalta a importância crítica da transparência e explicabilidade nos sistemas de IA, especialmente em contextos que afetam os direitos humanos e a justiça.

3.4 Enviesamento

O EU AI ACT aborda de maneira abrangente a questão do controle de enviesamento (bias) nos sistemas de IA de alto risco, reconhecendo sua importância crítica na garantia de precisão, robustez e segurança desses sistemas. Para alcançar esse objetivo, o regulamento estabelece várias diretrizes específicas. Em primeiro lugar, exige que os sistemas de IA de alto risco sejam altamente robustos, capazes de resistir a erros e falhas tanto internas quanto externas, garantindo um funcionamento confiável (Recital 50).

O regulamento também reconhece a possibilidade de enviesamento ao longo do tempo devido a dados de treinamento enviesados ou desatualizados, especialmente em sistemas de aprendizado contínuo após o lançamento no mercado. Para abordar esse desafio, o regulamento estipula a necessidade de medidas de mitigação que eliminem ou minimizem o risco de saídas enviesadas influenciarem futuras operações do sistema, garantindo uma evolução justa e precisa (Recital 50).

O princípio da robustez é enfatizado como um requisito fundamental, e o regulamento destaca a importância de soluções técnicas apropriadas para prevenir ou minimizar comportamentos indesejados nos sistemas. Isso inclui a capacidade de interromper a operação do sistema de forma segura quando anomalias são detectadas. O EU AI ACT visa proteger os direitos fundamentais e a segurança das pessoas que interagem com sistemas de IA de alto risco, promovendo um ambiente confiável e justo para a inteligência artificial.

Tanto a Resolução 332 do CNJ quanto as disposições do EU AI ACT buscam estabelecer salvaguardas contra a discriminação e os enviesamentos nos sistemas de IA. O CNJ se concentra em garantir a diversidade e a representação equitativa na composição das equipes que lidam com sistemas de IA, abrangendo aspectos como gênero, raça, etnia, orientação sexual, entre outros (art. 20). Além disso, enfatiza a importância da participação diversificada em todas as fases do processo, desde o planejamento até a implementação.

Por outro lado, o Regulamento Europeu aborda a questão do risco associado a certos sistemas de IA, como aqueles que influenciam o acesso a serviços essenciais, como crédito e benefícios públicos. Ele reconhece o potencial de discriminação decorrente do uso de sistemas de IA nessas áreas e busca mitigar esses riscos, especialmente nos sistemas considerados de alto risco. Impondo medidas para garantir a equidade e a ausência de discriminação em contextos nos quais os sistemas de IA podem exercer influência significativa sobre as pessoas.

A busca por evitar sistemas enviesados tornou-se ainda mais vital após a divulgação do caso COMPASS. O sistema tornou-se um dos casos mais conhecidos do risco de discriminação em um sistema de IA. Ficou comprovado no caso que o erro não era propriamente do algoritmo, mas dos dados utilizados no desenvolvimento do sistema, que foram alimentados com informações provenientes de áreas fortemente policiadas, distorcendo as estatísticas para super-representar os pobres e as minorias[21].

3.5 Reconhecimento facial e biometria

Quanto ao reconhecimento facial, ambas as normas abordam o tema, porém, com enfoques distintos. O CNJ adota uma abordagem mais restritiva no artigo 22, requerendo prévia autorização para a utilização de sistemas de reconhecimento facial. Por outro lado, o EU AI ACT realiza uma análise minuciosa[22], considerando a estrutura do sistema, a finalidade, o período e o local da coleta de dados, a fim de graduar o risco do sistema. Desse modo, sistemas simples de verificação biométrica são classificados como de risco médio, enquanto os sistemas de identificação em tempo real em espaços públicos são expressamente proibidos (artigo 52).

Uma das principais salvaguardas aos direitos fundamentais trazida pelo modelo europeu está ao criar a obrigação dos fornecedores de sempre informar que as partes estão interagindo com algum sistema de inteligência artificial, salvo quando a interação for considerada óbvia para uma pessoa razoavelmente informada.

A questão do reconhecimento facial para fins de policiamento tem sido amplamente debatida e controversa[23], sendo um dos pontos que especialistas acreditam que ainda podem ser modificados na redação final do EU AI ACT.

Independentemente da redação final do dispositivo, a abordagem adotada pelo CNJ, que analisa a estrutura do sistema, a finalidade, o período e o local da coleta de biometria, representa um modelo mais funcional de regulamentação do que simplesmente exigir prévia autorização para qualquer sistema, especialmente considerando a velocidade do avanço tecnológico.

A regulamentação do uso de reconhecimento facial e biométrico é uma necessidade urgente do CNJ, uma vez que as tecnologias já vêm sendo desenvolvidas e testadas pelos tribunais. O Tribunal de Justiça do Distrito Federal e dos Territórios (TJDFT) tem implementado os projetos Amon e Saref para abordar diferentes necessidades de segurança e monitoramento[24].

O projeto Amon é um sistema de reconhecimento facial que visa identificar o grande volume de imagens vetorizadas que acessam as dependências do TJDFT[25]. Este mecanismo de processamento de imagens tem como objetivo auxiliar e contribuir com a segurança interna do Tribunal. No entanto, é importante ressaltar que o Amon, por ser um sistema de reconhecimento facial remoto em lugares públicos, estaria atualmente vedado pela legislação atual do EU AI ACT.

Por outro lado, o Saref é um Sistema de Apresentação e Reconhecimento Facial utilizado para verificar a obrigação de comparecimento periódico à Vara de Execuções das Penas, com o propósito de comprovar o cumprimento das medidas impostas ao regime aberto. O Saref emprega um algoritmo de reconhecimento facial para essa tarefa. Este sistema é permitido, porém está sujeito a regras rigorosas de conformidade para garantir a segurança e a privacidade dos indivíduos envolvidos.

3.6 Supervisão humana

A crescente integração de sistemas de Inteligência Artificial (IA) em diversas esferas da sociedade moderna tem levantado preocupações significativas sobre a necessidade de supervisão humana dessas tecnologias. Embora os sistemas de IA tenham demonstrado um potencial impressionante para impulsionar a eficiência e a inovação em uma ampla gama de setores, também existe uma consciência crescente dos riscos associados ao uso desses sistemas, especialmente em contextos nos quais as decisões automatizadas podem afetar indivíduos e comunidades.

A supervisão humana desempenha um papel crucial na garantia de que os sistemas de IA sejam utilizados de forma ética, responsável e transparente. Ela assegura que os resultados e as operações dos sistemas de IA sejam consistentes com princípios legais e éticos, além de mitigar potenciais preconceitos e enviesamentos que podem surgir durante o processo de tomada de decisão automatizado. Além disso, a supervisão humana ajuda a promover a confiança do público nos sistemas de IA, ao permitir que questões complexas sejam interpretadas e avaliadas por indivíduos qualificados e experientes.

Neste contexto, compreender a importância da supervisão humana para os sistemas de IA é fundamental para garantir que essas tecnologias sejam implementadas de maneira aprimorada, ética e em conformidade com os valores humanos fundamentais. A integração eficaz da supervisão humana nos sistemas de IA contribui para a construção de um ambiente tecnológico que prioriza a transparência, a equidade e a responsabilidade, ao mesmo tempo em que impulsiona o potencial positivo dessas tecnologias para o avanço social e econômico.

Tanto o artigo 19 do CNJ quanto o artigo 14 do EU AI ACT ressaltam a importância da supervisão humana no contexto da utilização de sistemas de Inteligência Artificial, especialmente em situações em que os sistemas de alto risco estão envolvidos na tomada de decisões que podem afetar a saúde, a segurança ou os direitos fundamentais das pessoas.

O artigo 19 do CNJ estipula que os sistemas computacionais que utilizam modelos de IA como auxílio na elaboração de decisões judiciais devem permitir a explicação dos passos que levaram ao resultado e a supervisão do magistrado responsável. Isso destaca a necessidade de garantir que o processo de tomada de decisão permaneça compreensível e sujeito à supervisão humana para preservar a transparência e a responsabilidade.

Da mesma forma, o artigo 14 do EU AI ACT estabelece medidas específicas para garantir a supervisão humana eficaz dos sistemas de IA de alto risco, incluindo a implementação de ferramentas apropriadas de interface humano-máquina. Além disso, enfatiza a importância de que a supervisão humana tenha como objetivo a prevenção ou minimização de riscos potenciais associados ao uso do sistema de IA.

Essas disposições em ambos os regulamentos refletem a preocupação com o potencial impacto dos sistemas de IA nas vidas e direitos das pessoas, reconhecendo a necessidade de garantir que o uso desses sistemas esteja sujeito a um controle humano adequado e que a tomada de decisões críticas seja respaldada por supervisão e interpretação humanas.

Os sistemas de IA de alto risco devem ser concebidos para permitir a supervisão efetiva por seres humanos ao longo de todo o seu ciclo de operação. Isso envolve o desenvolvimento de interfaces homem-máquina adequadas para facilitar a supervisão. Essa supervisão pode ser alcançada por meio de medidas incorporadas pelo provedor diretamente no sistema antes de sua disponibilização no mercado, ou por meio de medidas identificadas pelo provedor e implementadas pelo usuário final. É fundamental que as pessoas encarregadas da supervisão possam compreender as capacidades e limitações do sistema, monitorar sua operação, detectar possíveis dependências excessivas das saídas do sistema, interpretar corretamente essas saídas e tomar decisões informadas, incluindo a possibilidade de interromper o sistema, se necessário.

O sistema de IA de alto risco deve ser entregue aos usuários de forma que aqueles responsáveis pela supervisão possam realizar todas essas ações de maneira adequada e proporcional às circunstâncias, garantindo assim uma supervisão eficaz e segura do sistema.

4 Conclusões

Neste artigo, procuramos traçar um panorama de alguns dos aspectos mais atuais sobre a regulação da EU AI ACT e as diretrizes para o Uso da IA no âmbito do Poder Judiciário no Brasil, explorando, tanto pontos de contato entre a regulação europeia e a Resolução 332/2020 CNJ quanto em que medida ambas podem contribuir para a ampliação do debate e da regulação do uso de sistemas de IA no mundo todo.

 

Com a pandemia, houve aceleração da digitalização dos processos, a virtualização dos atos praticados e a expansão dos processos eletrônicos, surgimento da Justiça 4.0, o Balcão Virtual, as audiências virtuais e boas práticas utilizando a tecnologia a serviço da prestação jurisdicional com a redução de custos e maior eficácia, o que fomenta a eficiência da Justiça como serviço.

 

Assim, as perspectivas de regulação em todo o mundo são diversas, levando-se em consideração vários fatores, como a realidade de cada país e a natureza dos serviços prestados (sejam eles públicos, em plataformas digitais ou econômicos), os usuários e os impactos do uso das diversas tecnologias. No entanto, essas perspectivas convergem para a importância do respeito aos direitos fundamentais, aos usuários, com base na autodeterminação da informação e dos dados, fazendo interface com a legislação que protege todos os cidadãos.

 

Percebemos, ainda, que o uso de sistemas de inteligência artificial no âmbito do Poder Judiciário destaca os princípios da dignidade, da liberdade e da equidade das decisões (art. 21), em congruência com a Constituição Federal e dos Tratados Internacionais de Direitos Humanos, tanto na Europa quanto na América.

 

Bem por isso é importante ressaltar que, diante da ausência de normas de normas específicas, no Brasil, a Resolução CNJ 332/2020 constitui marco regulatório crucial para o Poder Judiciário que vem se desenvolvendo com a implementação do processo eletrônico e seu uso em todas as regiões de extensa territorialidade.

 

A normativa abrange, ainda, aspectos da governança de dados, parâmetros éticos para o desenvolvimento e uso da Inteligência Artificial; com enfoque na observância aos Direitos Fundamentais. Tanto assim que a Resolução CNJ 332/2020 dispõe sobre “a ética, a transparência e a governança na produção e no uso de Inteligência Artificial no Poder Judiciário e dá outras providências.

 

A Resolução do CNJ, inspirada na Carta Europeia, veio ao encontro de pontos de contato com a IA Act, destacando-se a primazia dos direitos humanos, tais como o direito à privacidade, à autonomia, à igualdade, aos impactos do uso de sistemas de IA na vida privada, econômica e social

Em outro giro, destacamos que a regulação da EU AI ACT busca equacionar o avanço tecnológico com os direitos e garantias fundamentais, tendo como instrumentos sandboxes regulatórios e experimentais, graduação de riscos, a preocupação com a minimização do enviesamento, da opacidade e dos ataques cibernéticos.

 

De modo que a EU IA ACT representa uma caixa de diálogo e uma oportunidade de ampliar os horizontes da Resolução CNJ, ato normativo de grande relevância que pode contribuir como experimento para o mundo, em razão da grande quantidade de dados, dentro do Poder Judiciário, cuja gestão tem sido referência a outros países. Ademais, o Conselho Nacional de Justiça tem trabalhado pela governança de dados, vez que o Poder Judiciário representa um grande Big Data em nosso país e, no futuro próximo, virá a angariar dados suficientes para a implementação de políticas públicas voltadas à melhoria da prestação jurisdicional.

 

Por fim, destacamos que o momento é de grande debate e envolve o diálogo com os institutos jurídicos existentes, os valores envolvidos para a criação de uma super regulação, pronta, atual e flexível para atender às demandas tecnológicas da sociedade e do que está porvir.

 

5 Referências bibliográficas

ALVES, R. S.; CARVALHO GEORG, M. A.; NUNES, R. R. Judiciário sob ataque hacker: fatores de risco para a segurança do processo decisório em sistemas judiciais eletrônicos. Transformação digital, ciberespaço e novas tecnologias da informação na Justiça. Disponível em: <https://www.enajus.org.br/anais/assets/papers/2022/sessao-03/judiciario-sob-ataque-hacker-fatores-de-risco-para-a-seguranca-do-processo-decisorio-em-sistemas-judiciais-eletronicos.pdf>. Acesso em: 14 out 2023.

APPELMAN, Naomi; FATHAIGH, Ronan O.; VAN HOBOKEN, Joris. Social Welfare, Risk Profiling and Fundamental Rights: The Case of SyRI in the Netherlands. J. Intell. Prop. Info. Tech. & Elec. Com. L., v. 12, p. 257, 2021.

BRASIL. CNJ. Painel analytics. Disponível em: <https://paineisanalytics.cnj.jus.br/single/?appid=9e4f18ac-e253-4893-8ca1-b81d8af59ff6&sheet=b8267e5a-1f1f-41a7-90ff-d7a2f4ed34ea&lang=pt-BR&theme=IA_PJ&opt=ctxmenu,currsel&select=language,BR>. Acesso em: 05 out. 2023.

BRASIL. Supremo Tribunal Federal. Ação Direta de Inconstitucionalidade nº 6387 Medida Cautelar-Referendo. Relatora Ministra Rosa Weber. Tribunal Pleno. Julgado em 07/05/2020. Diário da Justiça Eletrônico, nº 270, Divulgação em 11-11-2020, Publicação em 12-11-2020. Processo Eletrônico.

CNN. Europa lidera corrida para regulamentar a inteligência artificial. Disponível em: https://www.cnnbrasil.com.br/tecnologia/europa-lidera-corrida-para-regulamentar-a-inteligencia-artificial-entendacomo/#:~:text=Nesse%20contexto%2C%20a%20Lei %20de,meio%20ambiente

%20contra%20efeitos%20nocivos%E2%80%9D. Acesso em: 09 de jun de 2023.

EDWARDS. L. Expert explainer: The EU AI Act proposal. Disponível em: <https://www.adalovelaceinstitute.org/resource/eu-ai-act-explainer/>. Acesso em: 05 de out de 23.

ESTADOS UNIDOS DA AMÉRICA. Library of Congresss. Regulation of artificial intelligence around the world. Disponível em: <https://hdl.loc.gov/loc.law/llglrd.2023555920>. Acesso em: 14 out. 2023.

FEINGOLD. S. FEINGOLD, S.On artificial intelligence, trust is a must, not a nice to have,” one lawmaker said. #AI. Disponível em: <https://www.weforum.org/agenda/2023/06/european-union-ai-act-explained/>. Acesso em: 27 de ago de 2023.

FERRAREZI, T. Parlamento Europeu adota posição para regulamentar IA. Disponível em: https://www.migalhas.com.br/depeso/389455/parlamento-europeu-adota-posicao-para-regulamentar-a-ia Acesso em: 09 de jun de 2023.

KIRKPATRICK, Keith. It’s not the algorithm, it’s the data. Communications of the ACM, v. 60, n. 2, p. 21-23, 2017. Disponível em: https://cacm.acm.org/magazines/2017/2/212422-its-not-the-algorithmits-the-data/fulltext. Acesso em: 26 jun. 2022.

NUNES, Dierle José Coelho; ANDRADE, Otávio Morato de. O uso da inteligência artificial explicável enquanto ferramenta para compreender decisões automatizadas: possível caminho para aumentar a legitimidade e confiabilidade dos modelos algorítmicos? 20 de junho de 2023. Disponível em: <https://periodicos.ufsm.br/revistadireito/article/download/69329/61096/379227>. Acesso em: 14 out. 2023.

REINA, E. "Onda de invasões de hackers em estruturas tecnológicas dos tribunais." Disponível em: https://www.conjur.com.br/2022-abr-15/onda-invasoes-hackers-estruturas-tecnologicas-tribunais. Acesso em 11 out 2023.

SANTANA MELO, J. S.; SERIQUE JUNIOR, L. F. S. "Inteligência artificial e processamento de dados massivos: uma realidade que já chegou ao TJDFT." In: Inovação judicial: fundamentos e práticas para uma jurisdição de alto impacto, coordenado por Fabrício Castagna Lunardi e Marco Bruno Miranda Clementino. Brasília: Escola Nacional de Formação e Aperfeiçoamento de Magistrados — Enfam, 2021.

TJDFT. Presidente do TJDFT reúne-se com gestores para acompanhar projetos de inteligência artificial. Disponível em: <https://www.tjdft.jus.br/institucional/imprensa/noticias/2023/abril/presidente-do-tjdft-reune-se-com-gestores-para-acompanhar-projetos-sobre-inteligencia-artificial>. Acesso em: 15 out. 2023.

TUCCI, J.R.C. Recente regramento da inteligência artificial na União Europeia. Disponível em: https://www.conjur.com.br/2023-jun-23/paradoxo-corte-recente-regramento-inteligencia-artificial-uniao-europeia Acesso em: 09 de jun de 2023.

VAN BEKKUM, Marvin; BORGESIUS, Frederik Zuiderveen. Digital welfare fraud detection and the Dutch SyRI judgment. European Journal of Social Security, v. 23, n. 4, p. 323-340, 2021.

WILMERHALE. European Parliament Adopts Negotiating Position on the AI Act. Disponível em: <https://www.wilmerhale.com/en/insights/blogs/wilmerhale-privacy-and-cybersecurity-law/20230615-european-parliament-adopts-negotiating-position-on-the-ai-act>. Acesso em: 27 de ago de 2023.

ZIADDY, H. ZIADY, H. Europa lidera corrida para regulamentar a inteligência artificial; entenda como. Disponível em: <https://www.cnnbrasil.com.br/tecnologia/europa-lidera-corrida-para-regulamentar-a-inteligencia-artificial-entenda-como/>. Acesso em: 27 de ago de 2023.



[1]     Juíza de Direito do Tribunal de Justiça do Estado de São Paulo nas Varas Cíveis de Campinas. Cursando especialização em Gestão Judicial: Judiciário de Alta Performance, pela Escola Nacional de Formação e Aperfeiçoamento de Magistrados (Enfam), e Direito Digital pela Escola Nacional de Formação e Aperfeiçoamento de Magistrados (Enfam). Especialista em Serviço Social, Ética e Direitos Humanos (Unylea).

[2]     Juíza de Direito do Tribunal de Justiça do Paraná, titular junto à 5ª Turma Recursal; mestranda em Direito, Eficiência e Sistema de Justiça, na Escola Nacional de Formação e Aperfeiçoamento de Magistrados (Enfam) e cursando especialização em Direito Digital pela Escola Nacional de Formação e Aperfeiçoamento de Magistrados (Enfam); graduanda em Inteligência Artificial pela Universidade Positivo (UP); pesquisadora de gênero no coletivo Todas da Lei, professora de pós-graduação na EMAP/Faculdade Pan-americana.

[3]BRASIL. CNJ. Painel analytics. Disponível em: <https://paineisanalytics.cnj.jus.br/single/?appid=9e4f18ac-e253-4893-8ca1-b81d8af59ff6&sheet=b8267e5a-1f1f-41a7-90ff-d7a2f4ed34ea&lang=pt-BR&theme=IA_PJ&opt=ctxmenu,currsel&select=language,BR>. Acesso em: 05 out. 2023.

[4] ESTADOS UNIDOS DA AMÉRICA. Library of Congresss. Regulation of artificial intelligence around the world. Disponível em: <https://hdl.loc.gov/loc.law/llglrd.2023555920>. Acesso em: 14 out. 2023.

[5] Argentina, Bielorrússia, China, Dinamarca, Egito, Estônia, Finlândia, Grécia, Hungria, Islândia, Cazaquistão, Quirguistão, Lituânia, Macau, Maurícias, Noruega, Peru, Polónia, Portugal, Qatar, República da Irlanda, Federação Russa, Arábia Saudita, Sérvia, República Eslovaca, Espanha, Suécia, Taiwan, Emirados Árabes Unidos, Estados Unidos Reino e Uzbequistão.

[6] Argentina, Bélgica, Brasil, Canadá, Chile, Colômbia, Costa Rica, Israel, México, Panamá, Filipinas, Coreia do Sul, Tailândia e Reino Unido.

[7] Argentina, Bielorrússia, Egipto, Islândia, Cazaquistão, Peru, Portugal, Qatar, República da Irlanda, Federação Russa, Arábia Saudita, Sérvia, Uzbequistão, e a legislação proposta no Brasil, Chile, China, Colômbia, Costa Rica, Israel, México, Panamá, Filipinas, Taiwan e Tailândia 

[8] China, Estónia, Grécia, Hungria, Lituânia, Polónia, Emirados Árabes Unidos, Reino Unido e Uzbequistão e Quirguistão.

[9] WILMERHALE. European Parliament Adopts Negotiating Position on the AI Act. Disponível em: <https://www.wilmerhale.com/en/insights/blogs/wilmerhale-privacy-and-cybersecurity-law/20230615-european-parliament-adopts-negotiating-position-on-the-ai-act>. Acesso em: 27 de ago de 2023.

[10] FERRAREZI, T. Parlamento Europeu adota posição para regulamentar IA. Disponível em: https://www.migalhas.com.br/depeso/389455/parlamento-europeu-adota-posicao-para-regulamentar-a-ia Acesso em: 09 de jun de 2023.

[11]BRASIL. CNJ. Painel analytics. Disponível em: <https://paineisanalytics.cnj.jus.br/single/?appid=9e4f18ac-e253-4893-8ca1-b81d8af59ff6&sheet=b8267e5a-1f1f-41a7-90ff-d7a2f4ed34ea&lang=pt-BR&theme=IA_PJ&opt=ctxmenu,currsel&select=language,BR>. Acesso em: 05 out. 2023.

[12] EDWARDS. L. Expert explainer: The EU AI Act proposal. Disponível em: <https://www.adalovelaceinstitute.org/resource/eu-ai-act-explainer/>. Acesso em: 05 de out de 23.

[13] FEINGOLD. S. FEINGOLD, S.On artificial intelligence, trust is a must, not a nice to have,” one lawmaker said. #AI. Disponível em: <https://www.weforum.org/agenda/2023/06/european-union-ai-act-explained/>. Acesso em: 27 de ago de 2023.

[14] BRASIL. Supremo Tribunal Federal. Ação Direta de Inconstitucionalidade nº 6387 Medida Cautelar-Referendo. Relatora Ministra Rosa Weber. Tribunal Pleno. Julgado em 07/05/2020. Diário da Justiça Eletrônico, nº 270, Divulgação em 11-11-2020, Publicação em 12-11-2020. Processo Eletrônico.

[15] Reina, E. "Onda de invasões de hackers em estruturas tecnológicas dos tribunais." Disponível em: https://www.conjur.com.br/2022-abr-15/onda-invasoes-hackers-estruturas-tecnologicas-tribunais. Acesso em 11 out 2023.

[16] ALVES, R. S.; CARVALHO GEORG, M. A.; NUNES, R. R. Judiciário sob ataque hacker: fatores de risco para a segurança do processo decisório em sistemas judiciais eletrônicos. Transformação digital, ciberespaço e novas tecnologias da informação na Justiça. Disponível em: <https://www.enajus.org.br/anais/assets/papers/2022/sessao-03/judiciario-sob-ataque-hacker-fatores-de-risco-para-a-seguranca-do-processo-decisorio-em-sistemas-judiciais-eletronicos.pdf>. Acesso em: 14 out 2023.

[17] ALVES, R. S.; CARVALHO GEORG, M. A.; NUNES, R. R. Judiciário sob ataque hacker: fatores de risco para a segurança do processo decisório em sistemas judiciais eletrônicos. Transformação digital, ciberespaço e novas tecnologias da informação na Justiça. Disponível em: <https://www.enajus.org.br/anais/assets/papers/2022/sessao-03/judiciario-sob-ataque-hacker-fatores-de-risco-para-a-seguranca-do-processo-decisorio-em-sistemas-judiciais-eletronicos.pdf>. Acesso em: 14 out 2023.

[18] NUNES, Dierle José Coelho; ANDRADE, Otávio Morato de. O uso da inteligência artificial explicável enquanto ferramenta para compreender decisões automatizadas: possível caminho para aumentar a legitimidade e confiabilidade dos modelos algorítmicos? 20 de junho de 2023. Disponível em: <https://periodicos.ufsm.br/revistadireito/article/download/69329/61096/379227>. Acesso em: 14 out. 2023.

[19] VAN BEKKUM, Marvin; BORGESIUS, Frederik Zuiderveen. Digital welfare fraud detection and the Dutch SyRI judgment. European Journal of Social Security, v. 23, n. 4, p. 323-340, 2021.

[20] APPELMAN, Naomi; FATHAIGH, Ronan O.; VAN HOBOKEN, Joris. Social Welfare, Risk Profiling and Fundamental Rights: The Case of SyRI in the Netherlands. J. Intell. Prop. Info. Tech. & Elec. Com. L., v. 12, p. 257, 2021.

[21] KIRKPATRICK, Keith. It’s not the algorithm, it’s the data. Communications of the ACM, v. 60, n. 2, p. 21-23, 2017. Disponível em: https://cacm.acm.org/magazines/2017/2/212422-its-not-the-algorithmits-the-data/fulltext. Acesso em: 26 jun. 2022.

[22] Os Recitais 18-21 e 33 abordam o uso de sistemas de identificação biométricas.

[23] FEINGOLD. S. FEINGOLD, S.On artificial intelligence, trust is a must, not a nice to have,” one lawmaker said. #AI. Disponível em: <https://www.weforum.org/agenda/2023/06/european-union-ai-act-explained/>. Acesso em: 27 de ago de 2023.

[24] TJDFT. Presidente do TJDFT reúne-se com gestores para acompanhar projetos de inteligência artificial. Disponível em: <https://www.tjdft.jus.br/institucional/imprensa/noticias/2023/abril/presidente-do-tjdft-reune-se-com-gestores-para-acompanhar-projetos-sobre-inteligencia-artificial>. Acesso em: 15 out. 2023.

[25] SANTANA MELO, J. S.; SERIQUE JUNIOR, L. F. S. "Inteligência artificial e processamento de dados massivos: uma realidade que já chegou ao TJDFT." In: Inovação judicial: fundamentos e práticas para uma jurisdição de alto impacto, coordenado por Fabrício Castagna Lunardi e Marco Bruno Miranda Clementino. Brasília: Escola Nacional de Formação e Aperfeiçoamento de Magistrados — Enfam, 2021.


O Tribunal de Justiça de São Paulo utiliza cookies, armazenados apenas em caráter temporário, a fim de obter estatísticas para aprimorar a experiência do usuário. A navegação no portal implica concordância com esse procedimento, em linha com a Política de Privacidade e Proteção de Dados Pessoais do TJSP