Banca de QUALIFICAÇÃO: ANGELO MARCELINO CORDEIRO

Uma banca de QUALIFICAÇÃO de MESTRADO foi cadastrada pelo programa.
DISCENTE : ANGELO MARCELINO CORDEIRO
DATA : 14/09/2026
HORA: 16:00
LOCAL: Google meet
TÍTULO:

Tolerância a Falhas em Computação de Alto Desempenho para o Treinamento Distribuído de Modelos de Linguagem de Grande Porte

PALAVRAS-CHAVES:

tolerância a falhas; checkpointing; heartbeat; treinamento distribuído; LLMs; paralelismo de dados; computação de alto desempenho; instâncias preemptíveis.

PÁGINAS: 45
RESUMO:

O treinamento distribuído de modelos de linguagem de grande porte (LLMs) em arquiteturas de computação de alto desempenho (HPC) enfrenta desafios relacionados a custo e tolerância a falhas. Com o aumento do número de nós, cresce também a probabilidade de falhas, enquanto preempções de instâncias em nuvem e defeitos de hardware podem interromper treinamentos inteiros e causar perdas significativas de computação. Esta pesquisa propõe a integração da DeLIA (Dependability Library for Iterative Applications), uma biblioteca de tolerância a falhas em nível de aplicação para HPC, ao treinamento de LLMs com paralelismo de dados por meio do wrapper Python DeLIApy. O método contempla quatro etapas: empacotamento e distribuição da DeLIApy, configuração de uma linha de base de treinamento, integração e avaliação de overhead, e execução resiliente na presença de falhas. Como contribuição, o trabalho disponibiliza uma abordagem de tolerância a falhas acessível ao ecossistema de aprendizado de máquina e avalia empiricamente sua aplicabilidade ao treinamento distribuído de LLMs.

MEMBROS DA BANCA:
Interna - ***.034.615-** - CARLA DOS SANTOS SANTANA - UFRN
Interno - 2885532 - IVANOVITCH MEDEIROS DANTAS DA SILVA
Interno - 1673543 - SAMUEL XAVIER DE SOUZA
Externo à Instituição - ITALO AUGUSTO SOUZA DE ASSIS - UFERSA