Semantic Search RAG

# Descrição

Sistema completo de pesquisa semântica e Retrieval Augmented Generation (RAG) construído com Sentence Transformers, FAISS e FLAN-T5. O pipeline carrega 500 artigos reais da BBC News (Junho 2025), gera embeddings de 384 dimensões com all-MiniLM-L6-v2, indexa os vetores no FAISS (IndexFlatIP + IndexIVFFlat) e permite pesquisa semântica por similaridade de cosseno. Inclui um pipeline RAG completo que recupera os documentos mais relevantes e os usa como contexto para o FLAN-T5-small gerar respostas precisas. Compara TF-IDF vs embeddings semânticos (0% sobreposição no Top-5), visualiza os embeddings com PCA e t-SNE, e analisa a distribuição de similaridade entre categorias.

$ ./deploy.sh $ git clone

# Características principais

$ Embeddings semânticos com Sentence-BERT (all-MiniLM-L6-v2, 384 dimensões)

$ Indexação FAISS: busca exata (FlatIP) e aproximada (IVFFlat) com speedup 1.9x

$ Pipeline RAG completo: retrieve (FAISS) → augment (contexto) → generate (FLAN-T5)

$ Pesquisa semântica funcional: consultas por significado, não apenas palavras exatas

$ Comparação TF-IDF vs Embeddings Semânticos com visualização de sobreposição

$ 5 visualizações: PCA, t-SNE, heatmap de categorias, distribuição de scores, comparação

$ Dataset real: 500 artigos BBC News com 70+ categorias

# Galeria

Vista desktop

Vista mobile

# Tecnologias utilizadas

Python Transformers FAISS scikit-learn