Retour à la fiche
Question d'oral
Que change l’architecture Transformer (2017) dans le traitement du langage et l’IA générative ?
Réponse d'oral
L’architecture Transformer, présentée en 2017, change le traitement du langage en permettant à l’IA de mieux relier les mots entre eux et d’apprendre plus efficacement sur de grandes quantités de données. Son innovation centrale est le mécanisme d’attention : pour interpréter un mot, le modèle tient compte des autres mots pertinents dans son contexte, même s’ils sont éloignés. Dans « Le chien qui poursuit les chats du voisin est fatigué », il peut ainsi mieux relier « fatigué » au chien plutôt qu’aux chats. Cela ne signifie pas qu’il comprend comme un humain, mais qu’il repère des relations utiles dans la langue.Auparavant, beaucoup de modèles traitaient les phrases mot après mot, ce qui ralentissait leur entraînement et compliquait le suivi des relations lointaines. Le Transformer permet de traiter de nombreuses positions en parallèle pendant l’entraînement. Il exploite donc mieux la puissance des processeurs spécialisés. Cette efficacité favorise le développement de modèles beaucoup plus grands. BERT, présenté en 2018, améliore notamment l’analyse du langage ; les modèles GPT exploitent cette architecture pour produire des réponses en prédisant successivement des fragments de mots.Pour l’IA générative, c’est un tournant : une même famille d’architectures peut servir à rédiger, traduire, résumer ou programmer, puis être adaptée aux images et au son. Mais produire une réponse fluide ne garantit pas sa vérité : ces modèles peuvent inventer des faits et reproduire des biais. Leur essor invite donc à repenser ce que nous attendons d’une machine qui maîtrise la forme du langage sans garantir la justesse de ses propos.
Autres questions
1.Pourquoi les standards (TCP/IP, HTTP) sont-ils l’ossature des innovations numériques ?2.Quelle différence nette faites-vous entre internet (réseau) et web (service) ? Donnez un exemple.3.Comment l’effet réseau explique-t-il la concentration des plateformes numériques ?4.En quoi le smartphone (2007) est-il un tournant social (données, attention, économie) ?5.Pourquoi 2012 est-il souvent cité comme un tournant du deep learning ? Quel rôle jouent les GPU et les données ?