Mohammad Nasser
Enginyeria Informàtica i Màster en Arquitectura de Computadors, actualment candidat a doctorat
Optimització de l’Entrenament de Càrregues de Treball d’IA Distribuïdes en Sistemes de Computació Multi-node
Optimització de l’Entrenament de Càrregues de Treball d’IA Distribuïdes en Sistemes de Computació Multi-node
Descripció
Aquest projecte aborda la necessitat de gestionar els immensos recursos computacionals requerits pels Models de Llenguatge de Gran Escala (LLMs). L'objectiu central és desenvolupar un entorn de treball (framework) que identifiqui la configuració de paral·lelisme més adequada per maximitzar el rendiment de l'entrenament. Mitjançant l'ús de l'eina AstraSim i el seu generador sintètic d'LLMs, la recerca explora l'espai de cerca per recomanar graus òptims de paral·lelisme de dades, tensor, seqüència i canonada (pipeline). Per augmentar la fidelitat de la simulació, el sistema integra un model de xarxa optimitzat que comptabilitza els efectes de la congestió, proporcionant dades crítiques sobre colls d'ampolla i compromisos de disseny (trade-offs) per a investigadors d'IA i enginyers de hardware.
Context
En Mohammad va obtenir el seu Màster en Ciències de la Computació i Enginyeria a l'Indian Institute of Technology Roorkee (2021–2024), patrocinat per la beca ICCR, on es va especialitzar en arquitectura de computadors amb una tesi sobre el desenvolupament d'un programador dinàmic de warps per a GPGPUs. Prèviament, es va graduar en Enginyeria Informàtica a la Universitat de Tishreen (Síria), on va rebre el certificat Al Bassel a l'excel·lència acadèmica i va desenvolupar una aplicació de traducció automàtica. En l'àmbit professional, ha treballat com a enginyer de programari i desenvolupador web per empreses localitzades a Síria i Dubai.Iniciativa
La seva recerca està impulsada per les limitacions de maquinari en termes de computació, memòria i amplada de banda d'interconnexió que frenen el desenvolupament d'LLMs més potents. El motiva el repte de millorar l'ús de la infraestructura i alinear les arquitectures dels models amb el maquinari subjacent. Amb el disseny d'aquest marc de recomanació de paral·lelisme, en Mohammad busca fer que l'entrenament de la intel·ligència artificial sigui més eficient en recursos, cost-efectiu i accessible per a la comunitat científica.
Organització
Supervisió
Sergi Abadal Cavalle
Supervisor UPC
El contingut d'aquest lloc web reflecteix únicament els punts de vista del projecte Catedra Chip Chair UPC.
