Mundo Tech Software SchoolMTSS

do primeiro conceito à prática com confiança

Processamento de linguagem natural (NLP)

Ensine os computadores a trabalhar com palavras, uma ideia útil de cada vez.

Começar a aprender 18 aulas · primeira aula com cerca de 15 min · grátis · sem cadastro
Sobre esta trilha

Explore como os computadores processam e aprendem com a linguagem humana – as ideias por trás dos mecanismos de pesquisa, filtros de spam, correção automática e assistentes de bate-papo.

Você começará com texto e tokens, contará e comparará palavras, rotulará e dividirá dados de texto reais, construirá e avaliará classificadores, extrairá fatos de documentos e trabalhará até vetores de palavras, atenção e transformadores. Você também inspecionará os resumos gerados em busca de fatos ausentes ou não comprovados. Os jogos interativos tornam as ideias visíveis: reparar um conjunto de dados com vazamento, marcar trechos, ajustar um filtro de spam e resolver analogias de palavras. Cada lição termina com Python prático em seu navegador, e o projeto final leva você a criar um mecanismo de pesquisa funcional.

Antes de começar
  • Não é necessária experiência anterior em NLP.
  • Python básico ajuda; exemplos introduzem o código conforme você avança.
  • Um navegador moderno com JavaScript habilitado.
Carregando progresso…
  1. Unidade 1 · 0/4 aulas

    Fundamentos de texto

    Normalize o texto, divida-o em tokens, limpe-o e aprenda tokens de subpalavras. Medalha: Domador de tokens

    1. 0x001Transforme texto em tokensNormalize o texto e divida-o em partes que um sistema de linguagem possa processar. 15 min 0/2 exercícios resolvidos 15 min 0/2 exercícios resolvidos
    2. 0x102Escolha uma estratégia de tokenizaçãoDivida as frases de forma consistente e torne explícito o tratamento da pontuação. 18 min 0/2 exercícios resolvidos 18 min 0/2 exercícios resolvidos
    3. 0x203Limpe o texto: stop words, radicais e lemasDecida quais palavras eliminar e como reduzi-las a uma forma comum. 18 min 0/2 exercícios resolvidos 18 min 0/2 exercícios resolvidos
    4. 0x304Aprenda tokens de subpalavra com codificação de par de bytesVeja como os tokenizadores modernos aprendem palavras reutilizáveis ​​a partir dos dados. 20 min 0/1 exercícios resolvidos 20 min 0/1 exercícios resolvidos
  2. Unidade 2 · 0/3 aulas

    Conte e compare palavras

    Pese palavras com TF-IDF, meça a distância ortográfica e preveja palavras a partir de contagens. Medalha: Localizador de padrões

    1. 0x405Representar documentos com contagem de palavrasCrie uma visualização de conjunto de palavras e avalie as palavras de acordo com o quanto elas diferenciam os documentos. 20 min 0/2 exercícios resolvidos 20 min 0/2 exercícios resolvidos
    2. 0x506Meça a similaridade das palavras com a distância de ediçãoConte as edições entre duas palavras e use-as para corrigir erros de digitação. 22 min 0/2 exercícios resolvidos 22 min 0/2 exercícios resolvidos
    3. 0x607Modele sequências curtas com n-gramasConte sequências de palavras próximas, gere texto a partir delas e atinja seus limites. 20 min 0/2 exercícios resolvidos 20 min 0/2 exercícios resolvidos
  3. Unidade 3 · 0/4 aulas

    Classificar texto

    Rotule e divida os dados de texto reais, classifique-os com regras e Naive Bayes e, em seguida, avalie-os honestamente. Medalha: Exterminador de spam

    1. 0x708Classifique o texto com recursos simplesConstrua uma pequena base de sentimento, tente enganá-la e aprenda a avaliá-la de maneira justa. 18 min 0/2 exercícios resolvidos 18 min 0/2 exercícios resolvidos
    2. 0x809Crie um conjunto de dados de texto confiávelEscreva um guia de rotulagem, lide com mensagens ambíguas e divida por conversa para evitar vazamentos. 25 min 0/1 exercícios resolvidos 25 min 0/1 exercícios resolvidos
    3. 0x9010Aprenda um classificador com Naive BayesDeixe que exemplos rotulados, e não listas de palavras escritas à mão, decidam quais palavras são importantes. 25 min 0/1 exercícios resolvidos 25 min 0/1 exercícios resolvidos
    4. 0xA011Avalie um classificador honestamenteVá além da exatidão com precisão, recall, F1 e limite de decisão. 20 min 0/1 exercícios resolvidos 20 min 0/1 exercícios resolvidos
  4. Unidade 4 · 0/2 aulas

    Estrutura da linguagem

    Identifique classes gramaticais, encontre entidades e extraia campos úteis de mensagens confusas. Medalha: Marcador

    1. 0xB012Marque palavras: classes gramaticais e entidades nomeadasRotule cada palavra com sua função gramatical e encontre pessoas, lugares e organizações no texto. 25 min 0/1 exercícios resolvidos 25 min 0/1 exercícios resolvidos
    2. 0xC013Extraia fatos de documentos confusosTransforme mensagens de suporte em campos estruturados com extensões, regras, validação e revisão humana. 25 min 0/1 exercícios resolvidos 25 min 0/1 exercícios resolvidos
  5. Unidade 5 · 0/4 aulas

    Embeddings e Transformers

    Represente o significado como vetores, calcule a atenção e verifique o texto gerado em relação às evidências da fonte. Medalha: Construtor de contexto

    1. 0xD014Representar significado com vetores de palavrasColoque as palavras como pontos no espaço para que palavras semelhantes fiquem próximas umas das outras. 22 min 0/1 exercícios resolvidos 22 min 0/1 exercícios resolvidos
    2. 0xE015Adicione contexto: de vetores de palavras a TransformersVeja por que um vetor por palavra não é suficiente e como os Transformers constroem representações sensíveis ao contexto. 20 min 0/1 exercícios resolvidos 20 min 0/1 exercícios resolvidos
    3. 0xF016Calcule a atenção passo a passoTransforme pontuações palavra a palavra em pesos de atenção com softmax e misture informações por esses pesos. 22 min 0/2 exercícios resolvidos 22 min 0/2 exercícios resolvidos
    4. 0x10017Gere texto e verifique-oCompare o resumo e a tradução, inspecione as evidências da fonte e detecte números não comprovados. 25 min 0/1 exercícios resolvidos 25 min 0/1 exercícios resolvidos
  6. Unidade 6 · 0/1 aulas

    Projeto final

    Construa um mecanismo de pesquisa funcional a partir das peças que você aprendeu. Medalha: Engenheiro de pesquisa

    1. 0x11018Projeto final: construa um mini mecanismo de buscaCombine tokenização, palavras irrelevantes, um índice invertido e TF-IDF em um mecanismo de pesquisa funcional. 35 min 0/2 exercícios resolvidos 35 min 0/2 exercícios resolvidos