Capítulo 3: Milvus, Qdrant e Outros

Milvus

Banco de dados vetorial open source de alta performance:

from pymilvus import connections, Collection, FieldSchema, DataType

# Connect
connections.connect(host="localhost", port="19530")

# Define schema
fields = [
    FieldSchema(name="id", dtype=DataType.INT64, is_primary=True),
    FieldSchema(name="embedding", dtype=DataType.FLOAT_VECTOR, dim=1536),
    FieldSchema(name="text", dtype=DataType.VARCHAR, max_length=65535)
]

# Create collection
collection = Collection(name="documents", schema=CollectionSchema(fields))

# Insert
collection.insert([[1], [embedding], ["text..."]])

# Create index
collection.create_index("embedding", {"index_type": "HNSW", "metric_type": "COSINE"})

# Search
collection.search(
    data=[query_embedding],
    anns_field="embedding",
    param={"metric_type": "COSINE", "params": {"ef": 64}},
    limit=5
)

Melhor para: Necessidades de grande escala e alta performance

Qdrant

Banco de dados vetorial moderno, desenvolvido em Rust:

from qdrant_client import QdrantClient
from qdrant_client.models import Distance, VectorParams, PointStruct

# Connect
client = QdrantClient(host="localhost", port=6333)

# Create collection
client.create_collection(
    collection_name="documents",
    vectors_config=VectorParams(size=1536, distance=Distance.COSINE)
)

# Insert
client.upsert(
    collection_name="documents",
    points=[
        PointStruct(id=1, vector=embedding, payload={"source": "doc.pdf"})
    ]
)

# Search
results = client.search(
    collection_name="documents",
    query_vector=query_embedding,
    limit=5,
    query_filter={"must": [{"key": "source", "match": {"value": "doc.pdf"}}]}
)

Melhor para: Deploys em produção, excelente filtragem

PostgreSQL + pgvector

Use seu PostgreSQL existente:

-- Enable extension
CREATE EXTENSION vector;

-- Create table
CREATE TABLE documents (
    id SERIAL PRIMARY KEY,
    content TEXT,
    embedding vector(1536),
    metadata JSONB
);

-- Create index
CREATE INDEX ON documents USING ivfflat (embedding vector_cosine_ops)
    WITH (lists = 100);

-- Search
SELECT id, content, 1 - (embedding <=> query_embedding) as similarity
FROM documents
ORDER BY embedding <=> query_embedding
LIMIT 5;

Melhor para: Times que já utilizam PostgreSQL

FAISS (Em Memória)

Biblioteca de busca por similaridade do Facebook:

import faiss
import numpy as np

# Create index
dimension = 1536
index = faiss.IndexFlatIP(dimension)  # Inner product

# Add vectors
vectors = np.array(embeddings).astype('float32')
faiss.normalize_L2(vectors)
index.add(vectors)

# Search
query = np.array([query_embedding]).astype('float32')
faiss.normalize_L2(query)
distances, indices = index.search(query, k=5)

Melhor para: Busca em memória de alta velocidade, pesquisa

Resumo Comparativo

Banco de Dados	Hospedagem	Performance	Facilidade de Uso	Pronto para Produção
Milvus	Self-host	Excelente	Média	Sim
Qdrant	Ambos	Excelente	Fácil	Sim
pgvector	Self-host	Boa	Fácil	Sim
FAISS	Em memória	Excelente	Média	Limitado

Guia de Decisão

---

Próximos Passos

Teste seus conhecimentos com o Quiz do Módulo 4!