Ética, vieses e limitações da IA
Descubra onde o viés pode surgir, reconheça limites da IA e compare os erros de um sistema entre diferentes grupos.
- Identificar as etapas em que o viés pode entrar em um sistema de IA
- Reconhecer alucinações, mudanças de distribuição e exemplos adversariais
- Comparar as taxas de erro de um modelo entre grupos
Sistemas de IA ajudam a decidir quem recebe um empréstimo, qual currículo será lido e o que um médico examina primeiro. Por isso, seus erros têm consequências — sobretudo quando afetam alguns grupos de pessoas mais que outros.
Um modelo não tem opiniões próprias: aprende padrões a partir dos dados. O viés pode surgir em cada etapa:
- Dados — grupos pouco representados ou registros que refletem discriminações antigas ensinam esses padrões ao modelo. Um reconhecedor facial treinado principalmente com pessoas de pele clara tende a errar mais com pessoas de pele escura.
- Rótulos — pessoas rotulam os dados, e seus julgamentos podem ser inconsistentes ou preconceituosos.
- Projeto — o objetivo escolhido pode ser um indicador inadequado. Prever “necessidade de saúde” com base nos gastos médicos anteriores subestima pacientes que tiveram menos acesso ao atendimento.
- Implantação — usar o modelo em outro lugar, população ou finalidade para os quais não foi criado.
Experimente
Até 15 XPRevise um plano de lançamento
Uma empresa está prestes a lançar um filtro de currículos com IA. Leia o comunicado e clique em todos os trechos preocupantes; depois confira o que encontrou.
Clique em todos os trechos suspeitos. São 5.
O que a IA ainda não consegue fazer
- Alucinação — modelos generativos produzem respostas fluentes que podem estar erradas, mesmo quando parecem confiantes.
- Mudança de distribuição — um modelo treinado com certo tipo de dado tem dificuldade quando o mundo muda: por exemplo, uma previsão de demanda treinada antes de uma pandemia ou um detector de câncer de pele treinado com câmeras de um único hospital.
- Falta de compreensão real — modelos identificam padrões estatísticos. Podem falhar em raciocínios simples que uma criança resolveria e não sabem quando estão fora de sua capacidade.
- Exemplos adversariais — pequenas mudanças quase invisíveis na entrada (alguns pixels alterados ou um adesivo em uma placa de pare) podem mudar a resposta do modelo.
- Custo — treinar e executar modelos grandes exige muito poder computacional, energia e dinheiro.
Experimente
Até 15 XPIdentifique a limitação
Classifique cada situação de acordo com a principal limitação envolvida.
“Um chatbot cita um processo judicial que nunca existiu”
“Um assistente de voz entende alguns sotaques bem pior que outros”
“Um modelo de previsão de vendas treinado entre 2015 e 2019 erra muito em 2020”
“Alguns adesivos fazem um sistema de visão interpretar uma placa de pare como limite de velocidade”
“Um modelo de empréstimo aprova menos pessoas de um bairro porque empréstimos anteriores foram negados ali”
“Um detector de doenças agrícolas treinado com fotos de laboratório falha com imagens borradas de celular tiradas no campo”
Compare os erros entre grupos
1# (grupo, a previsão estava correta?)
2results = [("A", True)] * 90 + [("A", False)] * 5 + [("B", True)] * 3 + [("B", False)] * 2
3
4overall = sum(correct for _, correct in results) / len(results)
5print(f"geral: {overall:.0%}")
6for group in ("A", "B"):
7 group_results = [correct for name, correct in results if name == group]
8 print(f"grupo {group}: {sum(group_results) / len(group_results):.0%} de {len(group_results)}")geral: 93% grupo A: 95% de 95 grupo B: 60% de 5
Principais conclusões
O viés pode entrar pelos dados, pelos rótulos, pelo objetivo escolhido e pela implantação.
A IA pode alucinar, falhar quando os dados mudam, ser enganada por entradas adversariais e não tem compreensão real.
A precisão geral pode esconder resultados ruins para um grupo: meça os erros por grupo.
Mantenha supervisão humana em decisões importantes e acompanhe os resultados após a implantação.
Quiz da aula
6 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em Python
Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.
Audite os erros por grupo
Cada linha contém grupo previsto real. Imprima a precisão geral como geral: P%, depois a precisão de cada grupo em ordem alfabética como GRUPO: P% (N exemplos) (percentuais inteiros). Por fim, imprima maior diferença: G pontos, a diferença em pontos percentuais inteiros entre as precisões mais alta e mais baixa.
- Dois grupos
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Compare as taxas de aprovação
Cada linha contém grupo decisão, em que a decisão é aprovar ou negar. Imprima a taxa de aprovação de cada grupo em ordem alfabética como GRUPO: P% (percentual inteiro). Compare a menor taxa com a maior: se a menor for inferior a 80% da maior (regra dos quatro quintos, usada em auditorias de contratação nos EUA), imprima revisão necessária; caso contrário, imprima dentro da regra dos quatro quintos.
- Diferença grande
- Taxas próximas
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…