Questão 5028 · 78ª da prova
FGV 2025 – CNU – Nível Superior: Inteligencia Artificial
- Banca
- FGV
- Órgão
- CNU
- Ano
- 2025
- Cargo
- Nível Superior
- Matéria
- Engenharia de Software
- Assunto
- Inteligencia Artificial
O artigo Attention is All You Need (Vaswani et al., 2017) marcou
uma ruptura no processamento de linguagem natural ao
apresentar a arquitetura Transformer. Sua abordagem abriu
caminho para a criação de modelos de grande escala, como BERT,
GPT e diversos outros que dominam o estado da arte em
processamento de linguagem natural e em outras áreas, como
visão computacional e bioinformática.
Sobre a arquitetura Transformer, é correto afirmar que:
Sobre a arquitetura Transformer, é correto afirmar que:
- Ao Transformer substitui mecanismos recorrentes por atenção, mas não utiliza codificação posicional, pois o alinhamento sequencial é aprendido implicitamente pelas cabeças de atenção;
- Ba introdução do multi-head attention permite ao modelo aprender relações diferentes entre tokens em subespaços de projeção distintos, preservando a informação posicional por meio de codificadores específicos;
- Co Transformer original evita camadas feed-foward densas para reduzir a complexidade, compensando essa ausência com mais cabeças de atenção por bloco;
- Do mecanismo de scaled dot-product attention multiplica os escores de similaridade pela raiz quadrada da dimensão das keys para intensificar as diferenças entre tokens distantes;
- Ea arquitetura de encoder-decoder é composta por blocos distintos no encoder e no decoder, sem reutilização estrutural, a fim de especializar cada parte para tarefas diferentes.