Visão geral
Texto é dado não estruturado: antes de qualquer modelo, ele precisa virar números. Quatro áreas se cruzam aqui:
- NLP (processamento de linguagem natural): fazer o computador lidar com a língua. É mais amplo e mais antigo que os LLMs.
- Análise de sentimento: medir a polaridade (positivo, negativo, neutro) de um texto.
- LLM (grande modelo de linguagem): gera texto e conversa.
- Text mining: garimpar informação em grandes volumes de texto.
A lição que mais se repete: a qualidade do dado e do pré-processamento pesa mais que o algoritmo.
Vocabulário
- Corpus: o conjunto de textos.
- Documento: uma unidade do corpus (uma avaliação, um e-mail).
- Token: pedaço mínimo (palavra, subpalavra, pontuação).
- Vocabulário: os tokens distintos do corpus.
- Feature: atributo numérico derivado do texto.
- Granularidade do sentimento: por documento, por frase ou por aspecto (ABSA — um rótulo para cada característica citada: "a comida é ótima, mas o atendimento é lento").
Pipeline, passo a passo
- Coleta: arquivos, APIs, scraping.
- Pré-processamento: - minúsculas; - remover URLs, menções e hashtags (se não importarem); - acentos: depende do caso (remover ajuda com erros de digitação, mas pode juntar palavras diferentes); - pontuação; - tokenização; - stopwords (palavras muito frequentes e sem conteúdo: "de", "o", "que"); - stemming (corta sufixos até um radical, que pode não ser palavra) ou lematização (leva à forma de dicionário usando a classe gramatical).
- Vetorização: - Bag of Words: cada documento vira um vetor de contagens das palavras do vocabulário; - TF-IDF: \(tf(t,d)\cdot\log(N/df(t))\) — valoriza termos frequentes no documento e raros no corpus; - Embeddings: vetores densos que capturam significado.
- Modelagem (classificação).
- Avaliação: treino e teste separados, métricas e leitura manual de frases-desafio.
- Interpretação: olhar erros, confiança, ajustar dados ou léxico.
Quatro abordagens para sentimento
1. Léxico
Duas listas de palavras (positivas e negativas); conta-se cada uma e o maior saldo vence (empate = neutro). Rápido, sem treino e explicável. Falha em negação ("não é bom"), ironia, termos compostos ("mal posso esperar"), gírias novas e pontuação colada à palavra.
Bibliotecas de léxico: VADER (inglês) e LeIA (adaptação para português). O índice compound vai de -1 a +1; ≥ 0,05 positivo, ≤ -0,05 negativo.
2. Machine learning clássico (Naive Bayes)
\(P(c \mid d) \propto P(c)\prod_i P(w_i \mid c)\) sobre as contagens do Bag of Words. Aprende a associação palavra-classe a partir de exemplos rotulados. Barato, treina em segundos, ótimo com dados do próprio domínio — mas não entende ordem nem negação.
3. Transformer pronto
Modelos pré-treinados (ex.: Hugging Face): texto → tokens → embeddings → Transformer → logits (pontuações brutas) → softmax \(p_i = e^{z_i}/\sum_j e^{z_j}\) → classe e score. Entende melhor contexto e negação, sem treinar nada; ainda erra sarcasmo.
4. LLM por API
Prompt zero-shot (só a instrução) ou few-shot (instrução + alguns exemplos). Entende contexto e pode explicar a resposta, mas tem custo por chamada, latência, dependência externa e questões de privacidade.
| Abordagem | Vantagem | Limite |
|---|---|---|
| Léxico | rápido, explicável, sem treino | negação, ironia, gíria; idioma do léxico |
| Naive Bayes | barato, bom com rótulos do domínio | não entende ordem; precisa de rótulos |
| Transformer pronto | contexto, sem treino | modelo genérico; sarcasmo |
| LLM | contexto e explicação | custo, latência, privacidade |
Estratégia híbrida: usar um LLM para rotular uma amostra, treinar um modelo clássico com ela e rodar o grande volume no modelo barato.
Avaliação
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report
X_tr, X_te, y_tr, y_te = train_test_split(
textos, rotulos, test_size=0.2, stratify=rotulos, random_state=42)
vet = CountVectorizer()
Xtr = vet.fit_transform(X_tr) # vocabulário só do treino
Xte = vet.transform(X_te)
modelo = MultinomialNB().fit(Xtr, y_tr)
print(classification_report(y_te, modelo.predict(Xte)))
stratifymantém a proporção das classes;random_statetorna reprodutível.fit_transformsó no treino: o teste simula dados novos (senão há vazamento).- O score de confiança é a probabilidade da classe escolhida, não a intensidade do sentimento.
- A linguagem muda (gírias, expressões): reavalie o modelo periodicamente.
- Critérios de escolha: custo, volume, explicabilidade e latência.
Bibliotecas
re, unicodedata, collections.Counter, nltk (stopwords, tokenize, stemmer RSLP para português), spacy (modelos em português), scikit-learn, transformers (+ PyTorch), textblob, LeIA, SDKs de LLM.