Pular para o conteúdo
Atlas de Dados

Texto e IA generativa

Text Mining, Análise de Sentimento e NLP

Pipeline de mineração de texto (coleta, pré-processamento, vetorização, modelagem, avaliação) e quatro jeitos de classificar sentimento — léxico, Naive Bayes, Transformer pronto e LLM.

Visão geral

Texto é dado não estruturado: antes de qualquer modelo, ele precisa virar números. Quatro áreas se cruzam aqui:

  • NLP (processamento de linguagem natural): fazer o computador lidar com a língua. É mais amplo e mais antigo que os LLMs.
  • Análise de sentimento: medir a polaridade (positivo, negativo, neutro) de um texto.
  • LLM (grande modelo de linguagem): gera texto e conversa.
  • Text mining: garimpar informação em grandes volumes de texto.

A lição que mais se repete: a qualidade do dado e do pré-processamento pesa mais que o algoritmo.

Vocabulário

  • Corpus: o conjunto de textos.
  • Documento: uma unidade do corpus (uma avaliação, um e-mail).
  • Token: pedaço mínimo (palavra, subpalavra, pontuação).
  • Vocabulário: os tokens distintos do corpus.
  • Feature: atributo numérico derivado do texto.
  • Granularidade do sentimento: por documento, por frase ou por aspecto (ABSA — um rótulo para cada característica citada: "a comida é ótima, mas o atendimento é lento").

Pipeline, passo a passo

  1. Coleta: arquivos, APIs, scraping.
  2. Pré-processamento: - minúsculas; - remover URLs, menções e hashtags (se não importarem); - acentos: depende do caso (remover ajuda com erros de digitação, mas pode juntar palavras diferentes); - pontuação; - tokenização; - stopwords (palavras muito frequentes e sem conteúdo: "de", "o", "que"); - stemming (corta sufixos até um radical, que pode não ser palavra) ou lematização (leva à forma de dicionário usando a classe gramatical).
  3. Vetorização: - Bag of Words: cada documento vira um vetor de contagens das palavras do vocabulário; - TF-IDF: \(tf(t,d)\cdot\log(N/df(t))\) — valoriza termos frequentes no documento e raros no corpus; - Embeddings: vetores densos que capturam significado.
  4. Modelagem (classificação).
  5. Avaliação: treino e teste separados, métricas e leitura manual de frases-desafio.
  6. Interpretação: olhar erros, confiança, ajustar dados ou léxico.

Quatro abordagens para sentimento

1. Léxico

Duas listas de palavras (positivas e negativas); conta-se cada uma e o maior saldo vence (empate = neutro). Rápido, sem treino e explicável. Falha em negação ("não é bom"), ironia, termos compostos ("mal posso esperar"), gírias novas e pontuação colada à palavra.

Bibliotecas de léxico: VADER (inglês) e LeIA (adaptação para português). O índice compound vai de -1 a +1; ≥ 0,05 positivo, ≤ -0,05 negativo.

2. Machine learning clássico (Naive Bayes)

\(P(c \mid d) \propto P(c)\prod_i P(w_i \mid c)\) sobre as contagens do Bag of Words. Aprende a associação palavra-classe a partir de exemplos rotulados. Barato, treina em segundos, ótimo com dados do próprio domínio — mas não entende ordem nem negação.

3. Transformer pronto

Modelos pré-treinados (ex.: Hugging Face): texto → tokens → embeddings → Transformer → logits (pontuações brutas) → softmax \(p_i = e^{z_i}/\sum_j e^{z_j}\) → classe e score. Entende melhor contexto e negação, sem treinar nada; ainda erra sarcasmo.

4. LLM por API

Prompt zero-shot (só a instrução) ou few-shot (instrução + alguns exemplos). Entende contexto e pode explicar a resposta, mas tem custo por chamada, latência, dependência externa e questões de privacidade.

Abordagem Vantagem Limite
Léxico rápido, explicável, sem treino negação, ironia, gíria; idioma do léxico
Naive Bayes barato, bom com rótulos do domínio não entende ordem; precisa de rótulos
Transformer pronto contexto, sem treino modelo genérico; sarcasmo
LLM contexto e explicação custo, latência, privacidade

Estratégia híbrida: usar um LLM para rotular uma amostra, treinar um modelo clássico com ela e rodar o grande volume no modelo barato.

Avaliação

from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report

X_tr, X_te, y_tr, y_te = train_test_split(
    textos, rotulos, test_size=0.2, stratify=rotulos, random_state=42)

vet = CountVectorizer()
Xtr = vet.fit_transform(X_tr)   # vocabulário só do treino
Xte = vet.transform(X_te)

modelo = MultinomialNB().fit(Xtr, y_tr)
print(classification_report(y_te, modelo.predict(Xte)))
  • stratify mantém a proporção das classes; random_state torna reprodutível.
  • fit_transform só no treino: o teste simula dados novos (senão há vazamento).
  • O score de confiança é a probabilidade da classe escolhida, não a intensidade do sentimento.
  • A linguagem muda (gírias, expressões): reavalie o modelo periodicamente.
  • Critérios de escolha: custo, volume, explicabilidade e latência.

Bibliotecas

re, unicodedata, collections.Counter, nltk (stopwords, tokenize, stemmer RSLP para português), spacy (modelos em português), scikit-learn, transformers (+ PyTorch), textblob, LeIA, SDKs de LLM.