CamemBERT

Apr 27, 2016

Zur Projektseite

Image credit: Alix Chagué

Language Modeling

Pedro Javier Ortiz Suárez

Doktorand

Ich bin ein Doktorand der Informatik an der Sorbonne Universität und an der Almanach Forscherteam an Inria

Publikationen

CamemBERT: a Tasty French Language Model

We explore the impact of the training data size on a French version of RoBERTa. (Equal contribution by the first three authors).

Louis Martin, Benjamin Muller, Pedro Javier Ortiz Suárez, Yoann Dupont, Laurent Romary, Éric de la Clergerie, Djamé Seddah, Benoît Sagot

CamemBERT: a Tasty French Language Model

Les modèles de langue contextuels Camembert pour le Français : impact de la taille et de l'hétérogénéité des données d'entrainement

We explore the impact of the training data size and heterogeneity on French language modeling. (Equal contribution by the first three authors).

Louis Martin, Benjamin Muller, Pedro Javier Ortiz Suárez, Yoann Dupont, Laurent Romary, Éric de la Clergerie, Benoît Sagot, Djamé Seddah

Les modèles de langue contextuels Camembert pour le Français : impact de la taille et de l'hétérogénéité des données d'entrainement