Retour à la fiche
Question d'oral
Pourquoi 2012 est-il souvent cité comme un tournant du deep learning ? Quel rôle jouent les GPU et les données ?
Réponse d'oral
2012 est souvent cité comme un tournant du deep learning, car la victoire du modèle AlexNet au concours ImageNet montre l’efficacité de cette méthode lorsqu’elle combine GPU et grandes quantités de données. Le deep learning, ou apprentissage profond, utilise des réseaux de neurones artificiels organisés en plusieurs couches pour reconnaître progressivement des formes complexes. Conçu par Alex Krizhevsky, Ilya Sutskever et Geoffrey Hinton, AlexNet doit identifier des objets dans des images. En 2012, son taux d’erreur atteint environ 15 %, contre 26 % pour son meilleur concurrent : la bonne réponse doit ici figurer parmi cinq propositions. L’écart est spectaculaire et convainc de nombreux chercheurs de miser sur cette approche.Les GPU, des processeurs initialement conçus pour les graphiques des jeux vidéo, jouent un rôle décisif. Ils réalisent beaucoup de calculs en parallèle. Or, entraîner un réseau de neurones demande de répéter un nombre immense d’opérations mathématiques. AlexNet est ainsi entraîné sur deux GPU : ils rendent l’apprentissage beaucoup plus rapide et praticable. Les données fournissent, elles, les exemples nécessaires. Le modèle apprend à partir d’environ 1,2 million d’images annotées, réparties en 1 000 catégories. Pour distinguer un chat d’un chien, il ajuste ses paramètres grâce à ces exemples, plutôt que de suivre uniquement des règles écrites à la main. Mais quantité ne signifie pas qualité : des images mal étiquetées ou peu variées peuvent produire des erreurs. Le tournant de 2012 vient donc d’une rencontre entre méthodes, puissance de calcul et données, qui invite aussi à réfléchir aux ressources nécessaires aux progrès de l’IA.
Autres questions
1.Pourquoi les standards (TCP/IP, HTTP) sont-ils l’ossature des innovations numériques ?2.Quelle différence nette faites-vous entre internet (réseau) et web (service) ? Donnez un exemple.3.Comment l’effet réseau explique-t-il la concentration des plateformes numériques ?4.En quoi le smartphone (2007) est-il un tournant social (données, attention, économie) ?
