# Coleta de Dados e Web Scraping

> Como obter dados de sites e APIs com requests, BeautifulSoup e pandas — HTTP, HTML, seletores, paginação, qualidade da coleta, ética e LGPD.

## Visão geral

Muitos dados úteis estão em páginas web que não oferecem acesso ao banco de dados. **Web scraping** é a extração automática desses dados a partir do que o servidor já entrega publicamente; **crawler** (ou spider) é o programa que percorre muitas páginas seguindo links. Scraping não é invasão: lê o mesmo HTML que o navegador recebe.

Quando o site oferece uma **API**, ela é sempre preferível: entrega JSON estruturado e quebra menos que o HTML.

## Como a web funciona (o mínimo)

- Cada acesso é uma **requisição HTTP** e uma **resposta**. Métodos principais: `GET` (pede dados) e `POST` (envia dados).
- **Códigos de status**: 1xx informativo, **2xx sucesso** (200), 3xx redirecionamento, **4xx erro do cliente** (400, 403, 404), **5xx erro do servidor** (500).
- **HTML** dá a estrutura (tags, classes, ids), **CSS** o estilo, **JavaScript** o comportamento. Conteúdo montado por JavaScript depois do carregamento não aparece no HTML bruto e exige navegador automatizado.
- As **DevTools** do navegador (F12 → Inspecionar) mostram em que tag, classe ou id está cada dado.

## Passo a passo (método base)

1. Abra a página e inspecione o elemento que contém o dado.
2. Baixe o HTML e confira o status:
   ```python
   import requests
   HEAD = {"User-Agent": "Mozilla/5.0"}
   res = requests.get(URL, headers=HEAD, timeout=20)
   res.raise_for_status()   # ou: if res.status_code != 200: ...
   ```
3. Interprete o HTML:
   ```python
   from bs4 import BeautifulSoup
   soup = BeautifulSoup(res.text, "lxml")
   ```
4. Localize elementos: `soup.find(...)` (primeiro), `soup.find_all(...)` (lista) ou `soup.select("article.produto h3 a")` (seletor CSS).
5. Extraia texto com `get_text(strip=True)` ou atributos com `tag["href"]`, `tag["title"]`.
6. Guarde numa lista de dicionários, converta com `pd.DataFrame(...)` e salve com `to_csv`.
7. **Paginação**: monte a URL de cada página com f-string, espere entre chamadas (`time.sleep(1)`) e pare (`break`) quando o status não for 200.
8. Envolva cada fonte em `try/except` para que uma falha não derrube a coleta inteira.

```python
dados = []
for pagina in range(1, 51):
    res = requests.get(f"{BASE}/page-{pagina}.html", headers=HEAD, timeout=20)
    if res.status_code != 200:
        break
    soup = BeautifulSoup(res.text, "lxml")
    for item in soup.select("article.produto"):
        dados.append({
            "titulo": item.h3.a["title"],
            "preco": item.select_one(".preco").get_text(strip=True),
        })
    time.sleep(1)
df = pd.DataFrame(dados)
```

## Quando usar cada ferramenta

| Situação | Ferramenta |
|---|---|
| Página estática | `requests` + `BeautifulSoup` (simples e rápido) |
| Site com API | `requests` + `res.json()` |
| Página com tabelas `<table>` prontas | `pd.read_html` (devolve lista de DataFrames) |
| Clique, formulário, login, conteúdo por JavaScript | **Selenium** ou **Playwright** |
| Crawler grande e recorrente | **Scrapy** (filas, pipelines, saída padronizada) |

## Qualidade da coleta

- **Contagem esperada**: se cada página tem 20 itens, confira o total.
- **Campos nulos** inesperados indicam mudança de layout.
- **Conversão de tipos**: preço com símbolo e vírgula precisa virar `float`.
- **Deduplicação** entre coletas por ID, timestamp ou hash do registro.
- **Resiliência**: o que acontece se o site mudar o layout ou sair do ar? Registre falhas em log.
- Scraping é a etapa **E** (extração) de um ETL; transformação e carga vêm depois.

## Ética e legalidade

Três eixos guiam a decisão:

1. **Consentimento**: termos de uso do site e o arquivo `robots.txt` (convenção que indica o que robôs podem acessar; não é barreira técnica, mas deve ser respeitada).
2. **Impacto no servidor**: limite a taxa de requisições; não derrube o site dos outros.
3. **Intenção de uso**: para que o dado será usado.

A LGPD não fala em "scraping", mas dados pessoais de acesso público continuam protegidos: o tratamento precisa respeitar **finalidade, boa-fé e interesse público** (art. 7º, §3º). Coletar perfis pessoais em massa é o tipo de uso que gera problema.

## Perguntas de revisão

1. **Scraping e crawler são a mesma coisa?** Não; o crawler navega por muitas páginas, o scraping extrai dados de uma página.
2. **Por que raspar em vez de pedir o banco de dados?** Normalmente não há acesso ao banco; o HTML é o que o site entrega.
3. **Qual a diferença entre `find` e `find_all`?** `find` devolve o primeiro elemento; `find_all` devolve a lista de todos.
4. **Como pegar o texto limpo de um elemento?** Com `get_text(strip=True)`.
5. **Como pegar um valor que está num atributo da tag?** Indexando a tag pelo nome do atributo, ex.: `tag["title"]`.
6. **O que significam os códigos 200, 404 e 500?** Sucesso, página não encontrada e erro interno do servidor.
7. **Para que serve o `break` na paginação?** Para parar o laço quando a página não existe, sem quebrar o programa.
8. **Por que usar `time.sleep` entre requisições?** Para não sobrecarregar o servidor e evitar bloqueio.
9. **Para que serve o cabeçalho `User-Agent`?** Para se identificar como navegador comum; alguns sites bloqueiam o padrão do `requests`.
10. **Quando preferir uma API?** Sempre que existir: entrega JSON estruturado e é mais estável que o HTML.
11. **O que faz `pd.read_html`?** Lê as tabelas HTML de uma página e devolve uma lista de DataFrames.
12. **Quando o `requests` não basta?** Quando o conteúdo depende de JavaScript, cliques ou login; usa-se Selenium ou Playwright.
13. **O que é o `robots.txt`?** Arquivo que indica o que robôs podem acessar; é uma convenção a ser respeitada.
14. **O que a LGPD diz sobre dados pessoais públicos?** Continuam protegidos; o uso deve respeitar finalidade, boa-fé e interesse público.
15. **Como evitar duplicatas entre coletas?** Usando ID, timestamp ou hash de cada registro.
16. **Por que usar `try/except` em cada fonte?** Para que uma falha de rede ou de layout não derrube a coleta inteira.
17. **Scraping é um ETL completo?** Não; é a etapa de extração. Transformar e carregar vêm depois.
18. **Quais os três eixos éticos do scraping?** Consentimento, impacto no servidor e intenção de uso.

---
Fonte: Atlas de Dados — https://atlas.frediania.com/materia/web-scraping
