Visão geral
Muitos dados úteis estão em páginas web que não oferecem acesso ao banco de dados. Web scraping é a extração automática desses dados a partir do que o servidor já entrega publicamente; crawler (ou spider) é o programa que percorre muitas páginas seguindo links. Scraping não é invasão: lê o mesmo HTML que o navegador recebe.
Quando o site oferece uma API, ela é sempre preferível: entrega JSON estruturado e quebra menos que o HTML.
Como a web funciona (o mínimo)
- Cada acesso é uma requisição HTTP e uma resposta. Métodos principais:
GET(pede dados) ePOST(envia dados). - Códigos de status: 1xx informativo, 2xx sucesso (200), 3xx redirecionamento, 4xx erro do cliente (400, 403, 404), 5xx erro do servidor (500).
- HTML dá a estrutura (tags, classes, ids), CSS o estilo, JavaScript o comportamento. Conteúdo montado por JavaScript depois do carregamento não aparece no HTML bruto e exige navegador automatizado.
- As DevTools do navegador (F12 → Inspecionar) mostram em que tag, classe ou id está cada dado.
Passo a passo (método base)
- Abra a página e inspecione o elemento que contém o dado.
- Baixe o HTML e confira o status:
python import requests HEAD = {"User-Agent": "Mozilla/5.0"} res = requests.get(URL, headers=HEAD, timeout=20) res.raise_for_status() # ou: if res.status_code != 200: ... - Interprete o HTML:
python from bs4 import BeautifulSoup soup = BeautifulSoup(res.text, "lxml") - Localize elementos:
soup.find(...)(primeiro),soup.find_all(...)(lista) ousoup.select("article.produto h3 a")(seletor CSS). - Extraia texto com
get_text(strip=True)ou atributos comtag["href"],tag["title"]. - Guarde numa lista de dicionários, converta com
pd.DataFrame(...)e salve comto_csv. - Paginação: monte a URL de cada página com f-string, espere entre chamadas (
time.sleep(1)) e pare (break) quando o status não for 200. - Envolva cada fonte em
try/exceptpara que uma falha não derrube a coleta inteira.
dados = []
for pagina in range(1, 51):
res = requests.get(f"{BASE}/page-{pagina}.html", headers=HEAD, timeout=20)
if res.status_code != 200:
break
soup = BeautifulSoup(res.text, "lxml")
for item in soup.select("article.produto"):
dados.append({
"titulo": item.h3.a["title"],
"preco": item.select_one(".preco").get_text(strip=True),
})
time.sleep(1)
df = pd.DataFrame(dados)
Quando usar cada ferramenta
| Situação | Ferramenta |
|---|---|
| Página estática | requests + BeautifulSoup (simples e rápido) |
| Site com API | requests + res.json() |
Página com tabelas <table> prontas |
pd.read_html (devolve lista de DataFrames) |
| Clique, formulário, login, conteúdo por JavaScript | Selenium ou Playwright |
| Crawler grande e recorrente | Scrapy (filas, pipelines, saída padronizada) |
Qualidade da coleta
- Contagem esperada: se cada página tem 20 itens, confira o total.
- Campos nulos inesperados indicam mudança de layout.
- Conversão de tipos: preço com símbolo e vírgula precisa virar
float. - Deduplicação entre coletas por ID, timestamp ou hash do registro.
- Resiliência: o que acontece se o site mudar o layout ou sair do ar? Registre falhas em log.
- Scraping é a etapa E (extração) de um ETL; transformação e carga vêm depois.
Ética e legalidade
Três eixos guiam a decisão:
- Consentimento: termos de uso do site e o arquivo
robots.txt(convenção que indica o que robôs podem acessar; não é barreira técnica, mas deve ser respeitada). - Impacto no servidor: limite a taxa de requisições; não derrube o site dos outros.
- Intenção de uso: para que o dado será usado.
A LGPD não fala em "scraping", mas dados pessoais de acesso público continuam protegidos: o tratamento precisa respeitar finalidade, boa-fé e interesse público (art. 7º, §3º). Coletar perfis pessoais em massa é o tipo de uso que gera problema.