Questão 33922 · 90ª da prova
FGV 2026 – TCE-SC – Auditor Fiscal: Big Data
- Banca
- FGV
- Órgão
- TCE-SC
- Ano
- 2026
- Cargo
- Auditor Fiscal
- Matéria
- Banco de Dados
- Assunto
- Big Data
Um pipeline de dados do TCE-SC processa bilhões de registros de
notas fiscais usando Spark SQL. O Auditor nota um problema de
desbalanceamento de dados no qual um único executor demora
muito mais que os outros para completar uma operação de Join,
pois uma chave específica possui muito mais registros que as
demais.
A seguinte técnica avançada de otimização no Spark 3.x permite ao motor de execução identificar esse desequilíbrio em tempo de execução e dividir a partição sobrecarregada em subtarefas menores:
A seguinte técnica avançada de otimização no Spark 3.x permite ao motor de execução identificar esse desequilíbrio em tempo de execução e dividir a partição sobrecarregada em subtarefas menores:
- ABroadcast Hash Join.
- BAdaptive Query Execution com Skew Join Optimization.
- CPredicate Pushdown.
- DBucketing com 1024 partições fixas.
- ECache In-Memory em nível de cluster.