Hiperparâmetros

Hyperparâmetros são configurações do processo de aprendizagem que devem ser definidas antes do treinamento de um modelo. Diferem dos parâmetros do modelo, que são aprendidos a partir dos dados durante o treino. Hyperparâmetros influenciam a capacidade de generalização, a velocidade de convergência e o consumo de recursos, controlando a arquitetura, a regularização e o comportamento do algoritmo de otimização.

Exemplos comuns incluem taxa de aprendizado, tamanho do lote, número de camadas e de neurônios por camada, funções de ativação, estratégias de regularização (como dropout e regularização L1/L2) e o tipo de otimizador. Em árvores de decisão e ensembles, aparecem a profundidade máxima, o número mínimo de amostras por nó, o número de estimadores, a taxa de aprendizado para boosting e o subsample. Outros hyperparâmetros dizem respeito a técnicas de pré-processamento, normalização, dados de augmentação e critérios de parada.

A seleção de hyperparâmetros é chamada de ajuste ou tunagem de hiperparâmetros. Métodos comuns incluem busca em grade (grid search), busca aleatória (random search), otimização bayesiana, busca por evolução e abordagens automáticas de machine learning (AutoML). A avaliação geralmente utiliza um conjunto de validação ou validação cruzada para estimar o desempenho com cada configuração.

Boas práticas incluem iniciar com valores-padrão razoáveis, restringir o espaço de busca a intervalos plausíveis, registrar experimentos e seeds, evitar filtragem excessiva pelo conjunto de validação e usar técnicas como early stopping para evitar sobreajuste e reduzir o custo computacional.

Diferença fundamental: hyperparâmetros são configurados externamente ao modelo e não são aprendidos a partir dos dados, ao passo que os parâmetros do modelo são estimados durante o treinamento.