Descripció

Els Large Language Models (LLMs) han demostrat capacitats remarcables en una àmplia varietat de tasques, fet que els situa com un focus central de la recerca actual en intel·ligència artificial. No obstant això, permetre que aquests models operin de manera eficient requereix recursos computacionals molt elevats i un temps d’execució considerable. Un dels principals reptes consisteix a determinar l’estratègia de paral·lelisme òptima per tal de maximitzar el rendiment. Aquest projecte té com a objectiu desenvolupar un marc capaç d’identificar la configuració de paral·lelisme més adequada per a un LLM concret. Mitjançant l’ús d’AstraSim i del seu generador sintètic de LLMs, el marc explora sistemàticament l’espai de cerca per recomanar els graus òptims de paral·lelisme de dades, de tensor, de seqüència i de pipeline. Per tal d’augmentar encara més la precisió de la simulació, el marc integra un model de xarxa optimitzat que té en compte els efectes de congestió i altres limitacions pròpies de la comunicació en entorns distribuïts. Els resultats d’aquest projecte aporten valor a diferents perfils professionals. D’una banda, els investigadors en intel·ligència artificial poden utilitzar-los per obtenir recomanacions sobre les estratègies de paral·lelisme més eficients per entrenar LLMs. D’altra banda, els enginyers de maquinari poden beneficiar-se d’informació sobre els compromisos de disseny i identificar possibles colls d’ampolla associats a diferents opcions arquitectòniques.