Quiz do Módulo 3: Rastreamento de Experimentos

Teste seu entendimento sobre rastreamento de experimentos com estas 30 perguntas.

---

Pergunta 1

Quais são os quatro principais componentes do MLflow?

1. Tracking, Projects, Models, Registry
2. Training, Pipelines, Models, Repository
3. Tracking, Packaging, Monitoring, Registry
4. Testing, Projects, Metrics, Registry

---

Pergunta 2

O que faz o MLflow autolog?

1. Faz login automaticamente no servidor MLflow
2. Registra automaticamente parâmetros, métricas e modelos sem chamadas explícitas de log
3. Registra automaticamente erros e exceções
4. Registra automaticamente commits do Git

---

Pergunta 3

O que é um sweep do W&B?

1. Uma ferramenta para limpar experimentos antigos
2. Um sistema automatizado de otimização de hiperparâmetros
3. Um método para varrer dados
4. Um tipo de visualização para métricas

---

Pergunta 4

O que é uma assinatura de modelo no MLflow?

1. Uma assinatura digital para segurança
2. Uma especificação do esquema de entrada e saída do modelo
3. O nome do autor no modelo
4. Um identificador único para o modelo

---

Pergunta 5

Qual método de sweep do W&B utiliza otimização Bayesiana?

1. grid
2. random
3. bayes
4. exhaustive

---

Pergunta 6

O que é um artefato no MLflow?

1. Um modelo antigo e obsoleto
2. Qualquer arquivo ou diretório registrado em uma execução (modelos, gráficos, dados)
3. Um tipo de métrica
4. Um arquivo de configuração

---

Pergunta 7

Qual é o propósito de execuções aninhadas no MLflow?

1. Executar experimentos em paralelo
2. Organizar execuções relacionadas (como busca de hiperparâmetros) sob uma execução principal
3. Aninhar modelos uns dentro dos outros
4. Criar experimentos recursivos

---

Pergunta 8

O que é um artefato do W&B?

1. Uma exposição de museu de modelos de ML
2. Uma unidade versionada e rastreável como conjuntos de dados ou modelos
3. Uma mensagem de erro
4. Um tipo de visualização

---

Pergunta 9

Qual comando do MLflow executa um projeto a partir de um repositório Git?

1. mlflow git run
2. mlflow run https://github.com/...
3. mlflow clone and run
4. mlflow project github

---

Pergunta 10

Qual arquivo define um projeto MLflow?

1. mlflow.yaml
2. project.yaml
3. MLproject
4. config.yaml

---

Pergunta 11

Qual é o benefício do rastreamento de experimentos?

1. Torna o treinamento mais rápido
2. Permite reprodutibilidade e comparação de experimentos
3. Reduz o tamanho do modelo
4. Melhora automaticamente a acurácia do modelo

---

Pergunta 12

Como registrar uma métrica personalizada no W&B?

1. wandb.metric("name", value)
2. wandb.log({"metric_name": value})
3. wandb.track("name", value)
4. wandb.add_metric("name", value)

---

Pergunta 13

Qual é o propósito de mlflow.set_experiment()?

1. Iniciar uma execução de experimento
2. Definir o experimento ativo para as próximas execuções
3. Configurar parâmetros do experimento
4. Encerrar um experimento

---

Pergunta 14

Qual visualização é melhor para comparar o impacto de hiperparâmetros?

1. Gráfico de pizza
2. Gráfico de coordenadas paralelas
3. Histograma
4. Apenas gráfico de dispersão

---

Pergunta 15

O que faz wandb.init()?

1. Instala o W&B
2. Inicializa uma nova execução e conecta ao W&B
3. Inicializa a rede neural
4. Reseta todas as execuções anteriores

---

Pergunta 16

O que é uma W&B Table?

1. Uma tabela de banco de dados
2. Um formato estruturado de dados para registrar e visualizar dados tabulares
3. Uma tabela de comparação entre modelos
4. Uma tabela HTML em relatórios

---

Pergunta 17

Quais tipos de backend store o MLflow suporta?

1. Apenas arquivos locais
2. Apenas PostgreSQL
3. Arquivos locais, SQLite, PostgreSQL, MySQL e outros
4. Apenas bancos de dados em nuvem

---

Pergunta 18

Qual é o propósito de wandb.finish()?

1. Excluir a execução
2. Fechar corretamente a execução e enviar os dados restantes
3. Finalizar o treinamento
4. Fazer logout do W&B

---

Pergunta 19

Como comparar experimentos na interface do MLflow?

1. Usar apenas a linha de comando
2. Selecionar múltiplas execuções e usar a visualização de comparação
3. Exportar para Excel e comparar manualmente
4. O MLflow não suporta comparação

---

Pergunta 20

O que é um exemplo de entrada em modelos MLflow?

1. Código de exemplo para usar o modelo
2. Exemplo de dados de entrada armazenado com o modelo para referência
3. Exemplos de dados de treinamento
4. Exemplos de erro

---

Pergunta 21

Qual é o benefício dos Relatórios do W&B?

1. Treinamento automatizado de modelos
2. Documentos compartilháveis que combinam texto, código e visualizações
3. Relato de bugs
4. Registro de erros

---

Pergunta 22

Como filtrar execuções do MLflow programaticamente?

1. mlflow.filter_runs()
2. client.search_runs() com filter_string
3. mlflow.query_runs()
4. mlflow.get_filtered_runs()

---

Pergunta 23

O que é um flavor de modelo no MLflow?

1. O sabor do modelo
2. Um formato específico para salvar modelos (sklearn, pytorch, etc.)
3. A versão do modelo
4. Um tipo de hiperparâmetro

---

Pergunta 24

O que wandb.config fornece?

1. Configuração do servidor
2. Acesso aos hiperparâmetros definidos durante a inicialização
3. Configuração de rede
4. Configurações de exibição

---

Pergunta 25

Por que registrar curvas de treinamento durante o treinamento?

1. É obrigatório pelo MLflow
2. Para monitorar a convergência e detectar problemas cedo
3. Para desacelerar o treinamento
4. Apenas para fins estéticos

---

Pergunta 26

Qual é o local padrão de artefatos no MLflow?

1. Bucket S3 remoto
2. Diretório mlruns no diretório de trabalho atual
3. /var/mlflow/artifacts
4. Apenas armazenamento em nuvem

---

Pergunta 27

Como usar um artefato do W&B em uma nova execução?

1. wandb.get_artifact()
2. wandb.use_artifact("name:version")
3. wandb.download_artifact()
4. wandb.load_artifact()

---

Pergunta 28

Qual é a melhor prática para nomear experimentos?

1. Usar nomes aleatórios
2. Usar apenas datas
3. Usar nomes descritivos com informações-chave de configuração
4. Usar apenas IDs gerados automaticamente

---

Pergunta 29

O que acontece se você não chamar wandb.finish()?

1. A execução é excluída
2. Nada, é opcional
3. Os dados podem não ser totalmente enviados, a execução pode aparecer incompleta
4. O W&B trava

---

Pergunta 30

O que deve ser registrado para experimentos reprodutíveis?

1. Apenas métricas
2. Apenas pesos do modelo
3. Parâmetros, métricas, artefatos, informações de ambiente e versão do código
4. Apenas o modelo final

---

🎉 Quiz Concluído!

Você concluiu o quiz do Módulo 3 sobre Rastreamento de Experimentos.

---

Próximo: Módulo 4: Data Pipelines