Skip to content. | Skip to navigation

Personal tools

Sections

Consider the world interacting

  • Logo CNRS
  • Logo ENSL
  • logo-enssib.jpg
You are here: Home / Agenda / Seminars / Cycles de séminaires / Intelligence Artificielle et Langage / Few-Shot Intent Classification in User-Generated Short Texts: Application to Conversational Agents

Few-Shot Intent Classification in User-Generated Short Texts: Application to Conversational Agents

Thomas Dopierre, Meetic
When May 13, 2022
from 11:00 to 12:30
Add event to calendar vCal
iCal

Résumé

Lara, le chatbot de Meetic, discute avec des dizaines de milliers d'utilisateurs chaque jour. Une des principales tâches pour son fonctionnement est la détection de l'intention dans les requêtes utilisateurs. Avec des scénarios qui évoluent de manière régulière, Lara doit pouvoir s'adapter rapidement à la compréhension de nouvelles intentions. Afin de pallier au problème du manque de données annotées, nous avons recours aux méthodes de classification "few-shot".
Dans un premier temps, nous comparerons les méthodes de classification "few-shot". Historiquement, les méthodes étaient comparées avec des encodeurs de textes différents, ce qui amenait à une comparaison biaisée. Nous verrons que l'utilisation d'un même encodeur de phrase basé sur un transformer (BERT) change la donne.
Ensuite, nous étudierons le pseudo-labeling. S'appuyant sur des exemples annotés, il s'agit d'attribuer automatiquement des pseudo-labels à des données annotées. Dans ce cadre, nous introduirons une nouvelle méthode de pseudo-labeling inspirée du clustering hiérarchique, dépourvue de tout hyper-paramètre, et qui sait faire abstraction du bruit.
Enfin, je vous présenterai ProtAugment, une architecture de méta-apprentissage pour le problème de détection d’intention. En parallèle d'une tâche de classification classique, cette méthode entraîne également le modèle à retrouver une phrase en fonction de ses paraphrases. Nous verrons également que la façon dont sont générées ces paraphrases joue un rôle important, et que les paraphrases qui aident le plus le modèle sont celles qui sont les plus diverses.

Bio

Thomas Dopierre est un jeune docteur, qui a réalisé sa thèse CIFRE au sein du Laboratoire Hubert Curien à l'Université Jean Monnet (St-Étienne), en partenariat avec Meetic, chez qui il travaille depuis quelques années. Son sujet principal de recherche est la classification de textes courts dans un cadre few-shot, c'est-à-dire quand très peu de phrases annotées sont disponibles.