Questão 74569 · 77ª da prova
FGV 2025 – TCE-PE – Auditor de Controle Externo: Inteligência Artificial e Automação
- Banca
- FGV
- Órgão
- TCE-PE
- Ano
- 2025
- Cargo
- Auditor de Controle Externo
- Matéria
- Noções de Informática
- Assunto
- Inteligência Artificial e Automação
No treinamento de grandes modelos de linguagem (LLMs), como
o GPT-4, uma técnica importante, utilizada para estabilizar o
treinamento e favorecer a convergência - especialmente ao lidar
com camadas profundas -, é a normalização por camada,
conhecida como Layer Normalization, que consiste em:
- Anormalizar as ativações ao longo dos canais de entrada, reduzindo o desvio padrão espacial, ideal para modelos CNN.
- Brealizar a normalização entre exemplos de treinamento, reduzindo a variação das ativações dentro de um mesmo lote.
- Cnormalizar as ativações individualmente para cada exemplo, considerando todos os neurônios da mesma camada.
- Daplicar uma normalização nas ativações por meio de uma média móvel das ativações das camadas anteriores.
- Erealizar uma normalização baseada em gradientes acumulados, diretamente no passo de retropropagação (backpropagation).