# Text Mining, Análise de Sentimento e NLP

> Pipeline de mineração de texto (coleta, pré-processamento, vetorização, modelagem, avaliação) e quatro jeitos de classificar sentimento — léxico, Naive Bayes, Transformer pronto e LLM.

## Visão geral

Texto é dado não estruturado: antes de qualquer modelo, ele precisa virar números. Quatro áreas se cruzam aqui:

- **NLP** (processamento de linguagem natural): fazer o computador lidar com a língua. É mais amplo e mais antigo que os LLMs.
- **Análise de sentimento**: medir a polaridade (positivo, negativo, neutro) de um texto.
- **LLM** (grande modelo de linguagem): gera texto e conversa.
- **Text mining**: garimpar informação em grandes volumes de texto.

A lição que mais se repete: **a qualidade do dado e do pré-processamento pesa mais que o algoritmo**.

## Vocabulário

- **Corpus**: o conjunto de textos.
- **Documento**: uma unidade do corpus (uma avaliação, um e-mail).
- **Token**: pedaço mínimo (palavra, subpalavra, pontuação).
- **Vocabulário**: os tokens distintos do corpus.
- **Feature**: atributo numérico derivado do texto.
- **Granularidade** do sentimento: por documento, por frase ou por **aspecto** (ABSA — um rótulo para cada característica citada: "a comida é ótima, mas o atendimento é lento").

## Pipeline, passo a passo

1. **Coleta**: arquivos, APIs, scraping.
2. **Pré-processamento**:
   - minúsculas;
   - remover URLs, menções e hashtags (se não importarem);
   - acentos: depende do caso (remover ajuda com erros de digitação, mas pode juntar palavras diferentes);
   - pontuação;
   - **tokenização**;
   - **stopwords** (palavras muito frequentes e sem conteúdo: "de", "o", "que");
   - **stemming** (corta sufixos até um radical, que pode não ser palavra) ou **lematização** (leva à forma de dicionário usando a classe gramatical).
3. **Vetorização**:
   - **Bag of Words**: cada documento vira um vetor de contagens das palavras do vocabulário;
   - **TF-IDF**: $tf(t,d)\cdot\log(N/df(t))$ — valoriza termos frequentes no documento e raros no corpus;
   - **Embeddings**: vetores densos que capturam significado.
4. **Modelagem** (classificação).
5. **Avaliação**: treino e teste separados, métricas e leitura manual de frases-desafio.
6. **Interpretação**: olhar erros, confiança, ajustar dados ou léxico.

## Quatro abordagens para sentimento

### 1. Léxico
Duas listas de palavras (positivas e negativas); conta-se cada uma e o maior saldo vence (empate = neutro). Rápido, sem treino e explicável. Falha em **negação** ("não é bom"), **ironia**, termos compostos ("mal posso esperar"), gírias novas e pontuação colada à palavra.

Bibliotecas de léxico: VADER (inglês) e LeIA (adaptação para português). O índice `compound` vai de -1 a +1; ≥ 0,05 positivo, ≤ -0,05 negativo.

### 2. Machine learning clássico (Naive Bayes)
$P(c \mid d) \propto P(c)\prod_i P(w_i \mid c)$ sobre as contagens do Bag of Words. Aprende a associação palavra-classe a partir de exemplos **rotulados**. Barato, treina em segundos, ótimo com dados do próprio domínio — mas não entende ordem nem negação.

### 3. Transformer pronto
Modelos pré-treinados (ex.: Hugging Face): texto → tokens → embeddings → Transformer → **logits** (pontuações brutas) → **softmax** $p_i = e^{z_i}/\sum_j e^{z_j}$ → classe e **score**. Entende melhor contexto e negação, sem treinar nada; ainda erra sarcasmo.

### 4. LLM por API
Prompt **zero-shot** (só a instrução) ou **few-shot** (instrução + alguns exemplos). Entende contexto e pode explicar a resposta, mas tem **custo por chamada, latência, dependência externa e questões de privacidade**.

| Abordagem | Vantagem | Limite |
|---|---|---|
| Léxico | rápido, explicável, sem treino | negação, ironia, gíria; idioma do léxico |
| Naive Bayes | barato, bom com rótulos do domínio | não entende ordem; precisa de rótulos |
| Transformer pronto | contexto, sem treino | modelo genérico; sarcasmo |
| LLM | contexto e explicação | custo, latência, privacidade |

**Estratégia híbrida**: usar um LLM para rotular uma amostra, treinar um modelo clássico com ela e rodar o grande volume no modelo barato.

## Avaliação

```python
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report

X_tr, X_te, y_tr, y_te = train_test_split(
    textos, rotulos, test_size=0.2, stratify=rotulos, random_state=42)

vet = CountVectorizer()
Xtr = vet.fit_transform(X_tr)   # vocabulário só do treino
Xte = vet.transform(X_te)

modelo = MultinomialNB().fit(Xtr, y_tr)
print(classification_report(y_te, modelo.predict(Xte)))
```

- `stratify` mantém a proporção das classes; `random_state` torna reprodutível.
- `fit_transform` **só no treino**: o teste simula dados novos (senão há vazamento).
- O score de confiança é a probabilidade da classe escolhida, **não** a intensidade do sentimento.
- A linguagem muda (gírias, expressões): reavalie o modelo periodicamente.
- Critérios de escolha: **custo, volume, explicabilidade e latência**.

## Bibliotecas

`re`, `unicodedata`, `collections.Counter`, `nltk` (stopwords, tokenize, stemmer RSLP para português), `spacy` (modelos em português), `scikit-learn`, `transformers` (+ PyTorch), `textblob`, LeIA, SDKs de LLM.

## Perguntas de revisão

1. **Qual a diferença entre NLP, análise de sentimento, LLM e text mining?** NLP trata a língua; sentimento mede polaridade; LLM gera texto; text mining extrai informação de grandes volumes de texto.
2. **O que são corpus, documento e token?** O conjunto de textos, uma unidade de texto e o pedaço mínimo do texto.
3. **Quais as etapas do pipeline de text mining?** Coleta, pré-processamento, vetorização, modelagem, avaliação e interpretação.
4. **Por que remover stopwords?** São palavras frequentes e sem valor semântico; removê-las reduz ruído e volume.
5. **Qual a diferença entre stemming e lematização?** Stemming corta sufixos até um radical; lematização leva à forma de dicionário usando a classe gramatical.
6. **Sempre se deve remover acentos?** Não; depende do contexto e dos erros de digitação esperados.
7. **Como um classificador por léxico decide?** Conta palavras positivas e negativas; o maior saldo vence e o empate é neutro.
8. **Cite falhas do método de léxico.** Negação, ironia, termos compostos, gírias e pontuação colada.
9. **O que é Bag of Words?** Representar cada texto como um vetor de contagens das palavras do vocabulário.
10. **O que o TF-IDF valoriza?** Termos frequentes no documento e raros no corpus.
11. **Por que aplicar `fit_transform` só no treino?** Para o vocabulário vir apenas do treino e o teste simular dados novos.
12. **O que faz o `stratify` no `train_test_split`?** Mantém a proporção das classes no treino e no teste.
13. **O que são logits?** As pontuações brutas por classe, antes do softmax.
14. **O que representa o score de um Transformer de sentimento?** A confiança na classe escolhida, isto é, a probabilidade após o softmax.
15. **O que é ABSA?** Análise de sentimento por aspecto: um rótulo para cada característica mencionada.
16. **Por que VADER dá resultados ruins em português?** Porque seu léxico é em inglês; é preciso checar o suporte ao idioma.
17. **O que é zero-shot e few-shot?** Zero-shot pede a tarefa sem exemplos; few-shot inclui alguns exemplos no prompt.
18. **Por que não usar LLM para tudo?** Custo por chamada, latência, dependência externa e privacidade.
19. **O que é a estratégia híbrida LLM + modelo clássico?** Rotular uma amostra com LLM, treinar um modelo barato e aplicá-lo ao volume.
20. **Quais critérios guiam a escolha da abordagem?** Custo, volume, explicabilidade e latência.

---
Fonte: Atlas de Dados — https://atlas.frediania.com/materia/text-mining-nlp
