Ce projet, réalisé courant 2018 — avant l’arrivée sur le marché des modèles d’OpenAI (GPT-3 et GPT-4) et après les modèles d’attention ou Transformers de Google (2017) —, avait pour objectif d’implémenter et de comparer les différents modèles de langue de l’époque sur la tâche de mesure de similarité de paires de textes pour un robot conversationnel en ligne.
Les modèles d’attention de Google ont été redéveloppés en TensorFlow et quelques variantes ont été proposées (modèles siamois). Les performances des modèles ont été évaluées dans un premier temps sur des données publiques (Stanford Question Answering Dataset), puis sur les données réelles.