Prova Final: MLOps e LLMOps Completo

Este exame final abrangente cobre todos os 14 módulos. Você tem 50 questões para testar seu domínio dos conceitos de MLOps e LLMOps.

Tempo Recomendado: 90 minutos
Nota de Aprovação: 80% (40/50)

---

Parte 1: Fundamentos de MLOps (Questões 1-25)

Questão 1

Qual é o objetivo principal do MLOps?

1. Treinar modelos mais rápido
2. Implantar e manter modelos de ML em produção de forma confiável
3. Reduzir o tamanho do modelo
4. Coletar mais dados

---

Questão 2

Qual ferramenta é usada para controle de versão de dados em projetos de ML?

1. Apenas Git
2. DVC (Data Version Control)
3. Docker
4. Kubernetes

---

Questão 3

O que o rastreamento de experimentos normalmente inclui?

1. Apenas pesos do modelo
2. Apenas dados de treinamento
3. Parâmetros, métricas, artefatos e versões de código
4. Apenas configurações de implantação

---

Questão 4

O que é um feature store?

1. Uma loja de varejo para produtos de ML
2. Um repositório centralizado para features de ML
3. Um registro de modelos
4. Um banco de dados para dados brutos

---

Questão 5

O que é data drift?

1. Dados movendo entre bancos de dados
2. Mudanças nas propriedades estatísticas dos dados de entrada ao longo do tempo
3. Dados sendo excluídos
4. Mudanças no formato dos dados

---

Questão 6

Qual NÃO é um framework comum de serving de modelos?

1. TorchServe
2. TensorFlow Serving
3. Jupyter Notebooks
4. Triton Inference Server

---

Questão 7

Para que o Kubeflow é usado principalmente?

1. Desenvolvimento web
2. Workflows de ML no Kubernetes
3. Gerenciamento de banco de dados
4. Monitoramento de rede

---

Questão 8

O que aciona o re-treinamento de modelos?

1. Apenas solicitações manuais
2. Apenas intervalos agendados
3. Degradação de performance, drift, agenda ou novos dados
4. Cada commit de código

---

Questão 9

O que é latência P99?

1. Tempo médio de resposta
2. Tempo de resposta que 99% das requisições são mais rápidas
3. Tempo máximo de resposta
4. Tempo mínimo de resposta

---

Questão 10

Qual é o propósito de um model card?

1. Identificação física para modelos
2. Documentação sobre propósito, performance e limitações do modelo
3. Cartão de crédito para cobrança em nuvem
4. Controle de acesso

---

Questões 11-25

(Questões adicionais de MLOps cobrindo versionamento, pipelines, CI/CD, monitoramento, treinamento distribuído, conteinerização e boas práticas)

---

Parte 2: Especialização em LLMOps (Questões 26-50)

Questão 26

O que torna o LLMOps diferente do MLOps tradicional?

1. LLMOps é mais simples
2. Custos baseados em tokens, gestão de prompts e avaliação de saída de texto
3. LLMOps não precisa de monitoramento
4. LLMOps só funciona on-premises

---

Questão 27

O que é alucinação em LLMs?

1. Falhas do modelo
2. Geração de informações plausíveis, mas incorretas
3. Respostas lentas
4. Erros de memória

---

Questão 28

O que é o PagedAttention do vLLM?

1. Um formato de documentação
2. Técnica de gerenciamento de memória para cache KV eficiente
3. Uma API de paginação
4. Um novo mecanismo de attention

---

Questão 29

Para que serve a quantização?

1. Aumentar a acurácia do modelo
2. Reduzir o uso de memória do modelo e aumentar a velocidade
3. Adicionar mais parâmetros
4. Pré-processamento de dados

---

Questão 30

O que é red teaming em segurança de LLM?

1. Uma estratégia de implantação
2. Testes para encontrar vulnerabilidades e saídas prejudiciais
3. Codificação por cores das saídas
4. Organização de equipes

---

Questão 31

O que o RAGAS avalia?

1. Velocidade de treinamento
2. Qualidade da pipeline RAG (fidelidade, relevância)
3. Performance de hardware
4. Eficiência de custos

---

Questão 32

Por que versionar prompts?

1. Para deixá-los maiores
2. Para reprodutibilidade, testes e capacidade de rollback
3. Para reduzir tokens
4. Para acelerar a inferência

---

Questão 33

Qual é o propósito do cache semântico para LLMs?

1. Armazenar pesos do modelo
2. Fazer cache de consultas semelhantes para evitar chamadas redundantes à API
3. Melhorar a qualidade do modelo
4. Criptografar respostas

---

Questão 34

O que é um model router em LLMOps?

1. Hardware de rede
2. Sistema que direciona requisições para os modelos apropriados
3. Otimizador de treinamento
4. Pipeline de dados

---

Questão 35

Por que a detecção de PII é importante em aplicações LLM?

1. Para melhorar a acurácia
2. Para proteger dados sensíveis e garantir conformidade
3. Para reduzir latência
4. Para economizar custos

---

Questões 36-50

(Questões adicionais de LLMOps cobrindo deployment, avaliação, segurança, otimização de prompt, recursos corporativos e boas práticas)

---

🎓 Prova Finalizada!

Parabéns por concluir a prova final do curso MLOps e LLMOps Completo!

Interpretação da Nota:

• 45-50 corretas (90-100%): Excelente! Você dominou MLOps e LLMOps.
• 40-44 corretas (80-89%): Ótimo trabalho! Forte entendimento do conteúdo.
• 35-39 corretas (70-79%): Bom, mas revise os pontos fracos antes da certificação.
• Abaixo de 35 (< 70%): Recomendamos revisar os módulos e refazer a prova.

---

📜 Certificado

Ao atingir uma nota igual ou superior a 80%, você está elegível para a certificação MLOps e LLMOps Completo.

Entre em contato com seu instrutor para receber seu certificado.

---

Obrigado por concluir este curso!

Esperamos que você tenha adquirido conhecimento valioso para construir sistemas de ML em produção. Boa sorte na sua jornada em MLOps e LLMOps! 🚀