Capítulo 1: Transformação de Consultas

Por que Transformar Consultas?

As consultas dos usuários frequentemente são:

• Ambíguas ou incompletas
• Utilizam vocabulário diferente dos documentos
• Muito curtas para uma boa geração de embedding

Reescrita de Consultas

from langchain.chat_models import ChatOpenAI
from langchain.prompts import PromptTemplate

rewrite_prompt = PromptTemplate.from_template("""
Rewrite the following query to be more specific and searchable.
Original: {query}
Rewritten:""")

llm = ChatOpenAI(model="gpt-4")
chain = rewrite_prompt | llm

# "how does it work?" → "How does retrieval augmented generation work?"
rewritten = chain.invoke({"query": "how does it work?"})

Expansão de Consultas

Adicione termos relacionados:

expansion_prompt = PromptTemplate.from_template("""
Expand this query with related terms and synonyms:
Query: {query}
Expanded query with alternatives:""")

# "ML" → "machine learning ML deep learning artificial intelligence AI"

HyDE (Hypothetical Document Embeddings)

Gere uma resposta hipotética, gere embedding dela e faça a busca com isso:

def hyde_retrieval(query, llm, retriever):
    # Step 1: Generate hypothetical document
    hyde_prompt = f"""Write a short paragraph that would 
    answer this question: {query}"""
    
    hypothetical_doc = llm.invoke(hyde_prompt)
    
    # Step 2: Embed the hypothetical document
    # (embeddings will be closer to real documents)
    
    # Step 3: Retrieve using hypothetical embedding
    results = retriever.get_relevant_documents(
        hypothetical_doc.content
    )
    
    return results

Por que o HyDE funciona:

• A resposta hipotética utiliza o vocabulário dos documentos
• Melhor alinhamento dos embeddings com o corpus
• Especialmente eficaz para consultas complexas

Resumo

Técnica	Quando Usar	Melhoria
Reescrita	Consultas vagas	Clareza
Expansão	Falta de sinônimos	Recall
HyDE	Perguntas complexas	Precisão