Deep learning theorie et pratiques Présentiel

Introduction aux réseaux de neurones (1 jour)
- Avoir un recul historique sur le développement des approches de deep learning.
- Introduction aux modèles linéaires et aux fonctions de perte, convexité (régression linéaire, régression logistique binaire et multiclasse).
- Apprentissage d'un espace de projection : réseaux RBF, réseaux multicouches non-linéaires.
- Optimisation d'un réseau de neurones par descente de gradient, calcul du gradient par propagation arrière dans un graphe de calcul.
- Optimisation des réseaux de neurones (algorithmes d'optimisation du premier ordre à taux d'apprentissage constant ou adaptatif, initialisation).
- Améliorer la généralisation d'un réseau de neurone en utilisant des techniques de régularisation (L1/L2, early stopping, dropout).
- Être familiarisé avec l'écosystème de développement (frameworks, GPU).

L'après midi sera dédiée à la réalisation d'un TP d'introduction à pytorch montrant comment structurer proprement son projet et le coder avec les différentes briques : chargement des données en minibatch, construction/initialisation d'un modèle, régularisation, boucle d'entrainement, monitoring de l'entrainement, sauvegarde/recharge du meilleur modèle, etc...

Réseaux convolutifs et applications (1 jour)
- Introduction à la structure des réseaux convolutifs (CNNs): un réseau feedforward fortement régularisé.
- Pré-apprentissage/Transfert et augmentation de données.
- Techniques d'interprétation des CNNs.
- Architectures pour la détection d'objets.
- Architectures pour la segmentation sémantique.

L'après midi sera dédiée à la réalisation d'un TP de segmentation sémantique avec un modèle de type U-Net sur les données Stanford-2D-3D-S.

Deep learning pour le traitement automatique du langage naturel (1 jour)
- Se familiariser avec les spécificités des données textuelles.
- Connaître les modèles adaptés aux différentes tâches/données.
- Connaître les outils permettant des visualiser et préparer des données (jupyter notebook, pandas, mathplotlib).
- Représentation de données textuelles sous forme vectorielle.
- Introduction aux réseaux de neurones récurrents.

L'après-midi sera dédiée à la réalisation d'un TP mettant en application les notions abordées le matin dont l'extraction de représentations de mots (word2vec), l'analyse de sentiments et la génération de texte à l'aide d'un modèle de langue.

Mécanismes d'attention et Transformeurs (1 jour)
- Introduction aux mécanismes d'attention ainsi qu'aux modèles Transformeurs.
- Connaître les outils facilitant la réalisation et le monitoring d'expériences (tensorflow/tensorboard).
- Connaître les outils et modèles disponibles ainsi que les différents acteurs (Huggingface, Facebook AI Research, Google DeepMind, OpenAI, …).

L'après-midi sera dédiée à la réalisation d'un TP mettant en application les notions abordées le matin dont l'utilisation des transformeurs pour une tâche d'interprétation en langage naturel (NLI) sur le corpus SNLI (Stanford Natural Language Inference).

Cas d'usage (1 jour)
- Mise en pratique sur deux cas d'usages des différentes notions abordées dans la formation.
- Savoir entraîner un modèle génératif sur des images.
- Savoir construire un agent conversationnel (chat-bot) personnalisé.

Modèles génératif pour l'image: La génération d'image a connu une grande évolution ces dernières années depuis l'introduction des modèles GANs en 2014 et leurs développements successifs (e.g. StyleGAN). Nous disposons aujourd'hui d'algorithmes capables de produire des images réalistes de très grande qualité, ce qui s'accompagne de questions autour de la génération de fausses informations. La matinée sera consacrée à la présentation de ces avancées sur les modèles génératifs ainsi qu'à une mise en pratique par l'entraînement d'un modèle pour la génération d'images.

Modèles de génération de texte: La récente mise à disposition de ChatGPT par OpenAI a mis en lumière les avancées spectaculaires du traitement automatique du langage naturel de ces dernières années, ainsi que les futurs bouleversement sociétaux induits par cette nouvelle technologie. L'après-midi sera consacrée à une présentation de ces modèles, ainsi qu'à la construction d'un agent conversationnel à l'aide d'un modèle transformeur auto-régressif (modèle utilisé par ChatGPT). Pour cela, nous exploiterons un modèle pré-entraîné sur de gros corpus textuels, que nous raffinerons sur un corpus dédié à l'apprentissage d'agents conversationnels.

A l'issue de cette formation, le participant sera en capacité de :

- FORMALISER un problème d'apprentissage automatique en vision par ordinateur et traitement du langage naturel.
- IDENTIFIER les architectures de réseau les plus appropriées pour répondre à ce problème.
- CODER et DEPLOYER la solution identifiée.

Vous pouvez prendre contact avec votre conseiller formation, qui saura répondre à vos différentes interrogations. Ses coordonnées figurent sur la brochure de formation, sur le bulletin d'inscription ou sur notre site Internet.

Vous pouvez également contacter notre référent handicap pour toute précision éventuelle ou demande d'accompagnement :
Référent Handicap CentraleSupélec Exed

Lionel Husson – handicap@centralesupelec.fr