Carregando
0x70Lição 8 de 11

Encontre estrutura sem rótulos

Rode o k-means à mão, escolha k com o método do cotovelo e comprima features com PCA.

24 min Questionário com 6 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Percorrer passo a passo o algoritmo k-means
  • Usar a inércia e o método do cotovelo para escolher k
  • Explicar o que o PCA faz e por que interpretar agrupamentos com cautela

O agrupamento (clustering) reúne exemplos de modo que os parecidos fiquem juntos - sem nenhum rótulo. O algoritmo clássico, o k-means, repete dois passos até nada mudar:

  1. Atribuir cada ponto ao centroide mais próximo.
  2. Atualizar cada centroide para a média dos pontos atribuídos a ele.

Cada passo só pode diminuir a inércia - a distância total, ao quadrado, dos pontos até os seus centroides:

inertia=∑i=1n∥xi−μc(i)∥2\text{inertia} = \sum_{i=1}^{n} \lVert x_i - \mu_{c(i)} \rVert^2

então o algoritmo sempre converge - mas para um ótimo local, que depende de onde os centroides começaram. Na prática, você o roda várias vezes a partir de inícios diferentes e fica com a menor inércia.

Experimente

Até 15 XP

Rode o k-means à mão

Três grupos de clientes, plotados por visitas por mês e valor médio da cesta. Os três centroides começam amontoados no meio. Alterne entre “Atribuir pontos” e “Mover centroides” e veja a inércia cair até nada mudar.

Os losangos são os centróides. Próximo passo: atribuir cada ponto ao centróide mais próximo.

    Escolhendo k e comprimindo features

    Mais grupos sempre diminuem a inércia (com k=nk = n ela é zero), então não dá para simplesmente minimizá-la. O método do cotovelo plota a inércia contra kk e escolhe o ponto em que acrescentar grupos deixa de ajudar muito. Melhor ainda: verifique se os grupos são úteis para a sua pergunta.

    A análise de componentes principais (PCA) encontra novos eixos - combinações das features originais - ao longo dos quais os dados mais variam. Ficar com os dois ou três primeiros permite plotar dados de muitas dimensões ou passar uma entrada menor para outro modelo. Assim como o agrupamento, o PCA depende da escala das features: padronize primeiro.

    elbow.py
    inertia_by_k = {1: 245.2, 2: 98.7, 3: 9.8, 4: 7.9, 5: 6.4}
    drops = {k: round(inertia_by_k[k - 1] - inertia_by_k[k], 1) for k in range(2, 6)}
    print(drops)
    Saída
    {2: 146.5, 3: 88.9, 4: 1.9, 5: 1.5}

    Principais conclusões

    • O k-means alterna entre atribuir e atualizar até as atribuições pararem de mudar.

    • A inércia sempre cai com mais grupos; use o cotovelo e o bom senso sobre o domínio para escolher k.

    • Padronize as features primeiro; confirme que os grupos significam algo antes de dar nomes a eles.

    Quiz da aula

    6 perguntas · aprovação com 5 acertos · até 50 XP

    Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

    Pratique: escreva código em Python

    Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

    Exercício 1

    k-means do zero

    +25 XP

    A linha 1 é uma lista JSON de centroides iniciais; cada linha seguinte é um ponto x y. Rode o k-means até as atribuições pararem de mudar. Imprima iterations: N, depois cada centroide final como centroid I: (X, Y) with M points (2 casas decimais) e depois inertia: V (3 casas decimais). Empates de distância vão para o centroide de menor índice. Compare os dois testes: os mesmos dados, inícios diferentes.

    • Um bom começo
    • Um começo ruim fica preso
    main.py
    Carregando editor…

    O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

    Exercício 2

    Escolha k pelo cotovelo

    +25 XP

    Cada linha é k inertia, com k crescente. A melhoria relativa de k é Ik−1−IkIk−1\frac{I_{k-1} - I_k}{I_{k-1}}. Imprima cada k=K improvement P% (porcentagem inteira) e, por fim, elbow: k=K - o último k cuja melhoria é de pelo menos 20%.

    • Dados de clientes
    main.py
    Carregando editor…

    O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

    Dúvidas sobre esta lição

    Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

    Carregando publicações…