Analyse de la régulation de la longueur dans un système neuronal de compression de phrase : une étude du modèle LenInit - Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur Accéder directement au contenu
Communication Dans Un Congrès Année : 2020

Analyse de la régulation de la longueur dans un système neuronal de compression de phrase : une étude du modèle LenInit

Résumé

La simplification de phrase vise à réduire la complexité d’une phrase tout en retenant son sens initial et sa grammaticalité. En pratique, il est souvent attendu que la phrase produite soit plus courte que la phrase d’origine, et les modèles qui intègrent un contrôle explicite de la longueur de sortie revêtent un intérêt particulier. Dans la continuité de la littérature dédiée à la compréhension du comportement des systèmes neuronaux, nous examinons dans cet article les mécanismes de régulation de longueur d’un encodeur-décodeur RNN appliqué à la compression de phrase, en étudiant spécifiquement le cas du modèle LenInit. Notre analyse met en évidence la coexistence de deux influences distinctes au cours du décodage : celle du contrôle explicite de la longueur, et celle du modèle de langue du décodeur.
Fichier principal
Vignette du fichier
184.pdf (636.62 Ko) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte
Loading...

Dates et versions

hal-02786187 , version 1 (07-06-2020)
hal-02786187 , version 2 (17-06-2020)
hal-02786187 , version 3 (23-06-2020)

Identifiants

  • HAL Id : hal-02786187 , version 3

Citer

François Buet. Analyse de la régulation de la longueur dans un système neuronal de compression de phrase : une étude du modèle LenInit. 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 3 : Rencontre des Étudiants Chercheurs en Informatique pour le TAL, Jun 2020, Nancy, France. pp.57-70. ⟨hal-02786187v3⟩
185 Consultations
54 Téléchargements

Partager

Gmail Facebook X LinkedIn More