perplexidade

Perplexidade é um termo que pode significar, no uso comum, o estado de dúvida, confusão ou surpresa diante de algo complexo. Em contextos técnicos, especialmente em estatística, ciência de dados e processamento de linguagem natural, perplexidade descreve uma medida de previsibilidade de um modelo probabilístico, em particular de modelos de linguagem.

Em aprendizado de máquina, a perplexidade de um modelo M para uma sequência de palavras w1, w2, ..., wN é definida como PPL = exp(- (1/N) sum_{i=1}^N log p(w_i | w_1...w_{i-1}, M)). Aqui, p(w_i | ...) é a probabilidade prevista pelo modelo para a próxima palavra. A base do log determina a unidade: usa-se com frequência o logaritmo natural, o que faz PPL igual à exponencial da entropia média. Uma forma equivalente é PPL = 1 / (Π_{i=1}^N p(w_i | ...))^{1/N}. Quanto menor a perplexidade, melhor a capacidade preditiva do modelo. Em vocabulários grandes ou com muitos tokens raros, a perplexidade tende a aumentar.

É comum usar perplexidade para comparar modelos de linguagem em conjuntos de teste, pois fornece uma medida objetiva de previsibilidade. No entanto, a perplexidade não captura necessariamente a qualidade subjetiva da geração de texto nem a correção semântica em todos os contextos. Além disso, o valor depende do vocabulário utilizado, da tokenização e de como tokens desconhecidos são tratados.