Carregando
0x100Lição 17 de 18

Ética, vieses e limitações da IA

Descubra onde o viés pode surgir, reconheça limites da IA e compare os erros de um sistema entre diferentes grupos.

20 min Questionário com 6 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Identificar as etapas em que o viés pode entrar em um sistema de IA
  • Reconhecer alucinações, mudanças de distribuição e exemplos adversariais
  • Comparar as taxas de erro de um modelo entre grupos

Sistemas de IA ajudam a decidir quem recebe um empréstimo, qual currículo será lido e o que um médico examina primeiro. Por isso, seus erros têm consequências — sobretudo quando afetam alguns grupos de pessoas mais que outros.

Um modelo não tem opiniões próprias: aprende padrões a partir dos dados. O viés pode surgir em cada etapa:

  • Dados — grupos pouco representados ou registros que refletem discriminações antigas ensinam esses padrões ao modelo. Um reconhecedor facial treinado principalmente com pessoas de pele clara tende a errar mais com pessoas de pele escura.
  • Rótulos — pessoas rotulam os dados, e seus julgamentos podem ser inconsistentes ou preconceituosos.
  • Projeto — o objetivo escolhido pode ser um indicador inadequado. Prever “necessidade de saúde” com base nos gastos médicos anteriores subestima pacientes que tiveram menos acesso ao atendimento.
  • Implantação — usar o modelo em outro lugar, população ou finalidade para os quais não foi criado.

Experimente

Até 15 XP

Revise um plano de lançamento

Uma empresa está prestes a lançar um filtro de currículos com IA. Leia o comunicado e clique em todos os trechos preocupantes; depois confira o que encontrou.

Comunicado de lançamento do filtro de currículos (rodada 1 de 1)Sinais encontrados 0/0

Clique em todos os trechos suspeitos. São 5.

Nosso novo filtro classifica automaticamente todas as pessoas candidatas. Ele foi treinado com os currículos das pessoas contratadas nos últimos dez anos, e alcançou 94% de precisão nesses mesmos dados. Para simplificar, as pessoas com as 60% menores pontuações são rejeitadas automaticamente, sem revisão humana. Removemos a coluna de gênero, portanto o modelo não pode ter viés. Vamos acompanhar o número de candidaturas processadas por dia. Ainda não comparamos os resultados entre diferentes grupos de pessoas candidatas.

O que a IA ainda não consegue fazer

  • Alucinação — modelos generativos produzem respostas fluentes que podem estar erradas, mesmo quando parecem confiantes.
  • Mudança de distribuição — um modelo treinado com certo tipo de dado tem dificuldade quando o mundo muda: por exemplo, uma previsão de demanda treinada antes de uma pandemia ou um detector de câncer de pele treinado com câmeras de um único hospital.
  • Falta de compreensão real — modelos identificam padrões estatísticos. Podem falhar em raciocínios simples que uma criança resolveria e não sabem quando estão fora de sua capacidade.
  • Exemplos adversariais — pequenas mudanças quase invisíveis na entrada (alguns pixels alterados ou um adesivo em uma placa de pare) podem mudar a resposta do modelo.
  • Custo — treinar e executar modelos grandes exige muito poder computacional, energia e dinheiro.

Experimente

Até 15 XP

Identifique a limitação

Classifique cada situação de acordo com a principal limitação envolvida.

0 de 6 classificadosPontuação 0/0
  • “Um chatbot cita um processo judicial que nunca existiu”

  • “Um assistente de voz entende alguns sotaques bem pior que outros”

  • “Um modelo de previsão de vendas treinado entre 2015 e 2019 erra muito em 2020”

  • “Alguns adesivos fazem um sistema de visão interpretar uma placa de pare como limite de velocidade”

  • “Um modelo de empréstimo aprova menos pessoas de um bairro porque empréstimos anteriores foram negados ali”

  • “Um detector de doenças agrícolas treinado com fotos de laboratório falha com imagens borradas de celular tiradas no campo”

Compare os erros entre grupos

per_group_accuracy.py
1# (grupo, a previsão estava correta?)
2results = [("A", True)] * 90 + [("A", False)] * 5 + [("B", True)] * 3 + [("B", False)] * 2
3
4overall = sum(correct for _, correct in results) / len(results)
5print(f"geral: {overall:.0%}")
6for group in ("A", "B"):
7    group_results = [correct for name, correct in results if name == group]
8    print(f"grupo {group}: {sum(group_results) / len(group_results):.0%} de {len(group_results)}")
Saída
geral: 93%
grupo A: 95% de 95
grupo B: 60% de 5

Principais conclusões

  • O viés pode entrar pelos dados, pelos rótulos, pelo objetivo escolhido e pela implantação.

  • A IA pode alucinar, falhar quando os dados mudam, ser enganada por entradas adversariais e não tem compreensão real.

  • A precisão geral pode esconder resultados ruins para um grupo: meça os erros por grupo.

  • Mantenha supervisão humana em decisões importantes e acompanhe os resultados após a implantação.

Quiz da aula

6 perguntas · aprovação com 5 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Audite os erros por grupo

+25 XP

Cada linha contém grupo previsto real. Imprima a precisão geral como geral: P%, depois a precisão de cada grupo em ordem alfabética como GRUPO: P% (N exemplos) (percentuais inteiros). Por fim, imprima maior diferença: G pontos, a diferença em pontos percentuais inteiros entre as precisões mais alta e mais baixa.

  • Dois grupos
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Compare as taxas de aprovação

+25 XP

Cada linha contém grupo decisão, em que a decisão é aprovar ou negar. Imprima a taxa de aprovação de cada grupo em ordem alfabética como GRUPO: P% (percentual inteiro). Compare a menor taxa com a maior: se a menor for inferior a 80% da maior (regra dos quatro quintos, usada em auditorias de contratação nos EUA), imprima revisão necessária; caso contrário, imprima dentro da regra dos quatro quintos.

  • Diferença grande
  • Taxas próximas
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…