Capítulo 1: Mixture of Experts (MoE)

O Conceito de MoE

Em vez de uma grande FFN, utilize múltiplas FFNs "especialistas" com um roteador:

Input → Router → Select top-k experts → Weighted combination → Output

Arquitetura Mixtral

mixtral_config = {
    "num_experts": 8,
    "num_experts_per_token": 2,  # Sparse: only 2 active
    "total_params": "46.7B",
    "active_params": "12.9B",   # Per forward pass
}

Mecanismo do Roteador

def router(hidden_states, num_experts, top_k=2):
    # Compute expert scores
    scores = router_weights @ hidden_states
    
    # Select top-k experts
    top_k_scores, top_k_indices = torch.topk(scores, top_k)
    
    # Normalize weights
    weights = F.softmax(top_k_scores, dim=-1)
    
    return weights, top_k_indices

Benefícios

Aspecto	Denso	MoE
Parâmetros	Todos ativos	Subconjunto ativo
Computação	O(params)	O(active_params)
Capacidade	Fixa	Maior para o mesmo custo computacional

Desafios

• Balanceamento de carga entre especialistas
• Sobrecarga de comunicação em ambientes distribuídos
• Colapso de especialistas (roteamento concentrado em poucos especialistas)

---

← Visão geralCapítulo 2 →