Pular para o conteúdo
Atlas de Dados

Preparação de dados

Coleta de Dados e Web Scraping

Como obter dados de sites e APIs com requests, BeautifulSoup e pandas — HTTP, HTML, seletores, paginação, qualidade da coleta, ética e LGPD.

Visão geral

Muitos dados úteis estão em páginas web que não oferecem acesso ao banco de dados. Web scraping é a extração automática desses dados a partir do que o servidor já entrega publicamente; crawler (ou spider) é o programa que percorre muitas páginas seguindo links. Scraping não é invasão: lê o mesmo HTML que o navegador recebe.

Quando o site oferece uma API, ela é sempre preferível: entrega JSON estruturado e quebra menos que o HTML.

Como a web funciona (o mínimo)

  • Cada acesso é uma requisição HTTP e uma resposta. Métodos principais: GET (pede dados) e POST (envia dados).
  • Códigos de status: 1xx informativo, 2xx sucesso (200), 3xx redirecionamento, 4xx erro do cliente (400, 403, 404), 5xx erro do servidor (500).
  • HTML dá a estrutura (tags, classes, ids), CSS o estilo, JavaScript o comportamento. Conteúdo montado por JavaScript depois do carregamento não aparece no HTML bruto e exige navegador automatizado.
  • As DevTools do navegador (F12 → Inspecionar) mostram em que tag, classe ou id está cada dado.

Passo a passo (método base)

  1. Abra a página e inspecione o elemento que contém o dado.
  2. Baixe o HTML e confira o status: python import requests HEAD = {"User-Agent": "Mozilla/5.0"} res = requests.get(URL, headers=HEAD, timeout=20) res.raise_for_status() # ou: if res.status_code != 200: ...
  3. Interprete o HTML: python from bs4 import BeautifulSoup soup = BeautifulSoup(res.text, "lxml")
  4. Localize elementos: soup.find(...) (primeiro), soup.find_all(...) (lista) ou soup.select("article.produto h3 a") (seletor CSS).
  5. Extraia texto com get_text(strip=True) ou atributos com tag["href"], tag["title"].
  6. Guarde numa lista de dicionários, converta com pd.DataFrame(...) e salve com to_csv.
  7. Paginação: monte a URL de cada página com f-string, espere entre chamadas (time.sleep(1)) e pare (break) quando o status não for 200.
  8. Envolva cada fonte em try/except para que uma falha não derrube a coleta inteira.
dados = []
for pagina in range(1, 51):
    res = requests.get(f"{BASE}/page-{pagina}.html", headers=HEAD, timeout=20)
    if res.status_code != 200:
        break
    soup = BeautifulSoup(res.text, "lxml")
    for item in soup.select("article.produto"):
        dados.append({
            "titulo": item.h3.a["title"],
            "preco": item.select_one(".preco").get_text(strip=True),
        })
    time.sleep(1)
df = pd.DataFrame(dados)

Quando usar cada ferramenta

Situação Ferramenta
Página estática requests + BeautifulSoup (simples e rápido)
Site com API requests + res.json()
Página com tabelas <table> prontas pd.read_html (devolve lista de DataFrames)
Clique, formulário, login, conteúdo por JavaScript Selenium ou Playwright
Crawler grande e recorrente Scrapy (filas, pipelines, saída padronizada)

Qualidade da coleta

  • Contagem esperada: se cada página tem 20 itens, confira o total.
  • Campos nulos inesperados indicam mudança de layout.
  • Conversão de tipos: preço com símbolo e vírgula precisa virar float.
  • Deduplicação entre coletas por ID, timestamp ou hash do registro.
  • Resiliência: o que acontece se o site mudar o layout ou sair do ar? Registre falhas em log.
  • Scraping é a etapa E (extração) de um ETL; transformação e carga vêm depois.

Ética e legalidade

Três eixos guiam a decisão:

  1. Consentimento: termos de uso do site e o arquivo robots.txt (convenção que indica o que robôs podem acessar; não é barreira técnica, mas deve ser respeitada).
  2. Impacto no servidor: limite a taxa de requisições; não derrube o site dos outros.
  3. Intenção de uso: para que o dado será usado.

A LGPD não fala em "scraping", mas dados pessoais de acesso público continuam protegidos: o tratamento precisa respeitar finalidade, boa-fé e interesse público (art. 7º, §3º). Coletar perfis pessoais em massa é o tipo de uso que gera problema.