Frederic Bechet

Summary ------- Frédéric Béchet is a researcher in the field of Speech and Natural Language Processing at the Laboratoire d'Informatique Fondamentale (LIF) of Marseille. After studying Computer Science at the Aix-Marseille II University, he obtained his PhD in Computer Science in 1994 from the University of Avignon, France. Since then he worked at the Ludwig Maximilian University in Munich, Germany, as a Professor Assistant at the University of Avignon, France, as an invited professor at AT&amp;T Research Shannon Lab in Florham Park, New Jersey, USA. He is currently a full Professor of Computer Science at the Aix Marseille Université in France since 2009. In terms of managerial activities, Frédéric Béchet is currently at the head of the research departement LIS - UMR7020 <https://www.lis-lab.fr/> . ### Research activities My research activities are focused on automatic language processing models for Spoken Language Understanding. By dealing with spoken language, I’m working at the crossing of Natural Language Processing on one hand and Automatic Speech Recognition on the other hand. The main research topics that I studied during my academic career are : - Language modelling for speech processing ; - Spoken Language Understanding ; - Spoken Dialog systems ; - Robust syntactic/semantic parsing. These topics have been studied through three applicative frameworks: automatic spoken dialog systems; speech analytics; linguistic processing of non-canonical texts. One focus of my work is to combine academic research to applicative frameworks defined through collaborative projects with industrial partners. These projects are a unique opportunity to work on large "realistic" datasets in order to develop and evaluate new language processing models. These models are mostly corpus-based models with various machine learning methods integrating linguistically motivated resources. ### Carreer After studying Computer Science at the University of Marseille I obtained my PhD in 1994 at the University of Avignon with Professor Henri Meloni on Language Processing for Automatic Speech Recognition. After this PhD I did a post-doctoral research contract of 16 months at the Computational Linguistics Laboratory (CIS) of the Ludwig Maximilian University of Munich, Germany. This experience allowed me to precise the line of research I still follow today, at the intersection of Natural Language Processing one hand, and Speech Processing on the other hand. I obtained a Professor Assistant position at the University of Avignon in September 1995. I joined Professor de Mori team, working on speech processing for Spoken Dialog Systems. I went on a sabbatical leave for one year in 2001 which I spent as an Invited Professor at the AT&amp;T Shannon Labs in New Jersey, USA. I worked in Allan Gorin team on the Spoken Dialog System “How May I Help You?”. I obtained my « habilitation à diriger des recherches » in 2007 and a Full Professor position at the Aix Marseille University in 2009. I joined the NLP team of the Laboratoire d’Informatique Fondamentale (LIF). My first area of research, during my PhD, was the application of analytical models, knowledge based, for Automatic Speech Recognition. Former student of Alain Colmerauer, this line of work was very influenced by logic programming, inference and Artificial Intelligence. After my PhD I started working with machine learning corpus-based approaches for speech processing. Since my arrival in the Natural Language Processing team (TALEP) of the Computer-Science lab (LIF) of Marseille, I work on the combination of efficient Machine Learning approaches with rich linguistic resources. During these 5 past years I have been interested in multimodal approaches language processing. By considering language in several modalities (image, audio, text), I try to combine through joint processing different analyses that can be done in a multimodal document such as a video. **Full CV** ----------- ### **Work Experience** - 1993-1994 Post-doctoral research contract at the Computational Linguistics lab (CIS – Center für Information und Sprachverarbeitung) of the Ludwig Maximilians University of Munich, Germany - 1994-2009 Research assistant at the University of Avignon, France - 2001-2002 Invited Professor at the AT&amp;T Shannon Lab, Florham Park, New Jersey, USA - since 2009 Full University Professor at the Aix Marseille University, France ### **Main research domains** - Natural Language Processing - Automatic Speech Recogntion ### Main teaching activities - Algorithmic and Programmation - Compilation - Natural Language Processing ### **Administrative responsibilities** - Head of the Computer Science Research Federation of the Aix Marseille University (Fédération de Recherche en Informatique et Interactions d’Aix-Marseille, FRIIAM - FR3513) - Head of the cursus "Multimedia Information Retrieval" of the computer science Master degree of the Aix Marseille University - Board member of the Computer Science departement of the Aix Marseille University - Board member of the Mathematics and Computer Science doctoral studies of the Aix Marseille University ### **Research contracts** - Participation to international programs : 3 European projects, 2 networks of excellence, 1 US funded project (DARPA) - Participation to 8 French ANR projects depuis 2007 (Principal Investigator of 3 of them) - Participation to industrial projects with France Télécom Orange Labs Pattents - 2 US patterns produced while at AT&amp;T Shannon Labs in 2001/2002 ### **Research dissemination** - Vice-president (since 2012) of the French Natural Language Processing scientific association (Association pour le traitement automatique des langues - ATALA) - Elected member (2008-2010) of the IEEE Signal Processing Society Speech and Language Technical Committee - Associate editor for IEEE Signal Processing Letter since 2012 - Organisation of conferences : co-chair of JEP-TALN2008, SLAM 2013, TALN 2014 ; area-chair for Interspeech 2012, SLT 2012 ; member of the organizing comittee of Interspeech 2013 - Reviewer for scientific journals : Speech Communication, IEEE Signal Processing Letters, IEEE Transactions on Speech and Audio Processing, ATALA TAL - Member of reviewing committee : ICASSP, Interspeech, Eusipco, IEEE ASRU, Human Language Technology, Empirical Method Natural Language Processing, ACL/IEEE SLT, AFCP JEP, ATALA TALN. - Participation to experts panels (AERES, INRIA, ANR, European projects) ### **PhD supervision** - Supervisor or co-supervisor of 14 PhD programs since 2002 - Currently supervising 4 PhD students ### **Career** Frédéric Béchet is a researcher in the field of Speech and Natural Language Processing. His research activities are mainly focused on Spoken Language Understanding for both Spoken Dialogue Systems and Speech Mining applications. After studying Computer Science at the University of Marseille, he obtained his PhD in Computer Science in 1994 from the University of Avignon, France. Since then he worked at the Ludwig Maximilian University in Munich, as a Professor Assistant at the University of Avignon, as an invited professor at ATT Research Shannon Lab in Florham Park, New Jersey. Frédéric Béchet is currently a full Professor of Computer Science at the Aix Marseille University, and a member of the Natural Language Processing research group of the Laboratoire d’Informatique de Marseille (LIF-CNRS). Frédéric Béchet is the author/co-author of over 100 refereed papers in journals and international conferences and hold two patents. He is an Associate Editor for IEEE Signal Processing Letter since 2012, has served on the reviewing committees of several international conferences (ICASSP, Interspeech, ASRU, HLT, EMNLP) and has been an invited reviewer for several journals including : Speech Communication, IEEE Signal Processing Letters, IEEE Transactions on Speech and Audio Processing, Traitement Automatique des Langues. Frédéric Béchet was an elected member of the IEEE Speech and Language Processing Technical Committee and is currently vice-president of the board of the French Natural Language Processing association ATALA. Frédéric Béchet has been involved in many French and European research programs in the fields of Speech Processing and Spoken Dialog Systems : FP5 SMADA STREP, FP6 LUNA STREP, FP6 PASCAL NoE, ANR EPAC, ANR SEQUOIA, ANR EDYLEX, ANR DECODA, ANR PERCOL, ANR ASFALDA, ANR ORFEO, ANR DATCHA. He was the Coordinator of several French programs such as PERCOL, DECODA and DATCHA, as well as Principal Investigator for the Aix Marseille University for a US DARPA funded project (BOLT 2012-2015). In terms of managerial activities, Frédéric Béchet is currently at the head of the Computer Science Research Federation of the Aix Marseille University (Fédération de Recherche en Informatique et Interactions d’Aix-Marseille, FRIIAM - FR3513). 3 ### **Scientific activities** My research activities are mainly focused on automatic language processing models for Spoken Language Understanding (SLU). By dealing with spoken language, I’m working at the crossing of Natural Language Processing (NLP) on one hand and Automatic Speech Recognition (ASR) on the other hand. The main research topics that I studied during my academic career are : - Language modeling for speech processing (recognition and synthesis) ; - Spoken Language Understanding ; - Spoken Dialog systems ; - Robust syntactic/semantic parsing. These topics have been studied through three applicative frameworks: automatic spoken dialog systems; speech analytics ; linguistic processing of non-canonical texts. One focus of my work is to combine academic research to applicative frameworks defined through collaborative projects with industrial partners. These projects are a unique opportunity to work on large "realistic" datasets in order to develop and evaluate new language processing models. These models are mostly corpus-based models with various machine learning methods integrating linguistically motivated ressources. Along these lines I have participated to many collaborative projects with international academic partners (e.g. LIMSI and Paris7-Alpage in France; University of Trento, University of Sheffield, RWTH Aachen University in Europe; Columbia University, Washington University in USA) and industrial partners leaders in their fields related to Spoken Language Processing (France-Telecom Orange in France ; Loquendo and Teleperformance in Italy ; AT&amp;T Labs and SRI International in USA). In addition to these collaborative projects, I have participated to many evaluation programs on a large range of NLP tasks in order to validate the models and methods proposed by comparing them to other teams results, such as : - Text-to-Phoneme conversion : French program Technolangue ; - Named Entity Recognition from Speech : French programs ESTER and ETAPE; - Opinion classification : French program DEFT, SemEval ; - Spoken Language Understanding : French program MEDIA, DARPA BOLT project (with Machine Translation) ; - Multimodal person recognition: French challenge Defi-REPERE. My current research activities are focused on two main topics: robust linguistic analysis and multimodal language processing, both applied to interactive language. By interactive language I consider not only spoken dialogs, but also all computer-mediated communication such as chat, comments on blogs, tweets, etc. My work on Robust linguistic analysis is about the adaptation of parsing models (syntactic, semantic, discourse) to process noisy text either produced by an automatic system (Automatic Speech Recognition or Machine Translation systems) or representing non-canonical language (spontaneous speech, social-media data). The use of linguistically motivated models for performing multi-level parsing, in addition to supervised and unsupervised machine learning methods, aims to provide a generic representation of a message that can be used to perform a large range of language understanding tasks, from ASR error correction as in the DARPA funded BOLT project (2011-2015) where clarification dialogs are used to correct a message prior to translation, to abstractive summary generation in the European project SENSEI (2014-2016) dedicated to extract knowledge from large archives of spoken and text conversations. Since my arrival at the Aix Marseille University, in September 2009, I collaborate with the Machine Learning and Multimedia processing team (QARMA) of my lab, leading to an extension of my research areas to multimodal language processing in video documents. This collaboration lead to the participation to the French ANR-DGA scientific challenge REPERE (2010-2014) which was about multimodal person recognition in broadcast video documents. I was the coordinator of a 3-years funded collaborative project with the University of Avignon, the University of Lille and France-Telecom Orange Labs in order to participate to this challenge. Our consortium was ranked first on the main task at the last 2014 evaluation. My main contribution in this direction of research is to consider the problem as a multimodal understanding problem where the different modalities are integrated as early as possible in the understanding process instead of the standard late fusion approach. In particular scene analysis was integrated into the speaker role recognition process prior to speaker clustering in the person identification process for the REPERE challenge. This work is currently extended through two projects, one funded by the French DGA on multimodal language understanding, the other one funded by the French Intiative of Excellence A\*MIDEX on video recommendation.

Résumé ------ Frédéric Béchet est Professeur d'Informatique à Aix Marseille Université depuis le 1er septembre 2009. Après des études d'informatique à l’université Aix-Marseille II, Frédéric Béchet a obtenu en 1994 un doctorat en informatique à l'Université d'Avignon et des Pays de Vaucluse (UAPV). Il a ensuite travaillé successivement à l'Université Ludwig Maximilian de Munich dans le laboratoire de linguistique computationelle (CIS) en tant que post-doctorant, au Laboratoire Informatique d'Avignon (LIA) en tant que maitre de conférences, à AT&amp;T Research (New Jersey, USA) en tant que Professeur invité. Il est actuellement directeur du Laboratoire d'Informatique et Systèmes (LIS UMR 7020), laboratoires multi-tutelles (CNRS, Université Aix Marseille, Université Toulon, Ecole Centrale Marseille) regroupant plus de 350 personnes entre les sites de Marseille et Toulon. **Expérience professionnelle** ------------------------------ - 1993-1994 Contrat de recherche post-doctoral : chercheur à l’Institut de Linguistique Informatique (CIS – Center für Information und Sprachverarbeitung) de l’Université Ludwig Maximilians de Munich (Allemagne) - 1994-1995 Poste d’ATER en Informatique à l’Université d’Avignon - 1995-2009 Maître de Conférence en Informatique à l’Université d’Avignon - 2001-2002 Congé recherche d’une année (CRCT) : chercheur invité au Laboratoire de Recherche AT&amp;T Labs (AT&amp;T Shannon Lab, Florham Park, New Jersey, USA) du 1er Septembre 2001 au 31 Août 2002. - depuis 2009 Professeur en Informatique à l’Université Aix Marseille depuis le 1er septembre 2009 Déroulement de carrière ----------------------- Après des études d'informatique à la Faculté des Sciences de Luminy (Aix-Marseille II), j'ai obtenu en 1994 un doctorat en informatique de l'Université d'Avignon et des Pays de Vaucluse sous la direction du Professeur Henri Méloni dont la thématique principale était la modélisation du langage pour les systèmes de Reconnaissance Automatique de la Parole. A la suite de ce doctorat j'ai effectué un séjour de recherche de 16 mois à Munich, en Allemagne, à l'Université Ludwig Maximilian de Munich dans le laboratoire de linguistique computationelle CIS. Ce séjour m'a permis de préciser la voie de recherche que je poursuis toujours aujourd'hui et qui se situe à l'intersection entre d'une part des travaux en Reconnaissance Automatique de la Parole, traditionnellement liés à la communauté scientifique du Traitement de Signal et d'autre part des travaux en Traitement Automatique de la Langue regroupant des communautés issues de l'Intelligence Artificielle et de la Linguistique. J'ai été recruté en tant que Maître de Conférences en Informatique à l'Université d'Avignon et des Pays de Vaucluse en septembre 1995. Mon poste était situé dans l'Institut Universitaire Professionnalisé (IUP) «Génie Mathématique et Informatique». Du point de vue de la recherche j'ai rejoint en 1995 l'équipe de recherche du Professeur Renato de Mori portant sur la modélisation du langage pour la reconnaissance automatique de la parole et le dialogue homme-machine. J'ai obtenu en 2001 un CRCT (Congés pour Recherches ou Conversions Thématiques) d'une durée d'un an que j'ai passé en tant que Professeur invité au laboratoire AT&amp;T Shannon Labs, dans le New Jersey (USA). J'ai travaillé à cette occasion avec l'équipe d'Allen Gorin sur les systèmes de dialogue Homme-Machine, ce travail ayant produit la publication de 2 articles de revues, plusieurs conférences ainsi que 2 brevets. J'ai passé mon habilitation à diriger des recherches en 2007 et j'ai obtenu un poste de Professeur en Informatique à l'Université de la Méditerranée en septembre 2009. J'ai rejoint en 2009 l'équipe TALEP (Traitement Automatique du Langage Ecrit et Oral) du LIF (Laboratoire d'Informatique Fondamentale – CNRS UMR 7279) de l'Université d'Aix-Marseille. Thématiques de recherche ------------------------ Mes premiers travaux de recherche, lors de ma thèse, portaient sur l’application de modèles analytiques, à base de connaissance, pour la Reconnaissance Automatique de la Parole. Ces travaux initié au sein du Groupe d'Intelligence Artificielle d'Alain Colmerauer à Marseille étaient très influencés par la programmation logique et les méthodes d’inférences provenant de l’Intelligence Artificielle. A la suite de mon doctorat, je me suis orienté vers l’utilisation de modèles numériques à base d’apprentissage sur corpus toujours pour le traitement de la langue orale. Depuis mon arrivée à Marseille, dans l’équipe TALEP du LIF, je m’attache à concilier à la fois des méthodes numériques robustes, utilisant des méthodes d’apprentissage supervisés et faiblement supervisés et des descriptions fines de connaissances linguistiques. Durant les 5 dernières années je me suis intéressé à envisager le langage dans un contexte multimodal, notamment dans le traitement de documents vidéos, afin de permettre des traitements joints à la fois sur l’image, l’audio et le texte présent dans un document. Activités --------- ### **Encadrement doctoral** - 10 thèses soutenues depuis 2002 (encadrement et co-encadrement) - 4 thèses en cours ### **Responsabilités administratives liées à la recherche** - Directeur de l'UMR 7020 LIS - ***Laboratoire d'Informatique et Systèmes*** depuis le 1er janvier 2020 - Directeur-adjoint de l'UMR 7020 LIS - ***Laboratoire d'Informatique et Systèmes*** du 01/01/2018 au 31/12/2019 - Directeur de la Structure Fédérative FRIIAM (Fédération de Recherche en Informatique et Interactions d'Aix-Marseille – FR3513) de 2015 à 2018 - Directeur-adjoint de la Structure Fédérative FRIIAM (Fédération de Recherche en Informatique et Interactions d'Aix-Marseille – FR3513) de 2012 à 2015 - Membre nommé du conseil de l'école doctorale ED184 "Mathématique et Informatique" depuis 2012 - Membre élu du conseil du Département Informatique et Interaction de l'Université d'Aix Marseille depuis 2012 - Responsable de l’équipe : Modèles de Langage et Dialogue du Laboratoire Informatique d’Avignon (LIA) de juin 2006 à Août 2009 (Université d’Avignon et des Pays de Vaucluse) - Représentant de l’informatique de l’Université d’Avignon à l’école doctorale I2S de Montpellier de 2007 à 2009 ### **Responsabilités administratives liées à l’enseignement** - Responsable de la spécialité "Recherche d’Information Multimédia" du Master Informatique M2 de l’AMU (Aix Marseille Université) depuis 2012 - Membre élu du conseil du Département Informatique et Interaction de l’Université d’Aix Marseille depuis 2012 - Responsable de la Maîtrise de l'Institut Universitaire Professionnalisé Génie Mathématique et Informatique (IUP GMI) de 1996 à 2001 - Membre du Comité de Perfectionnement et du Conseil d'Administration de ce même IUP sur la même période ### **Publications** - Publication de plus de 80 communications dans des conférences internationales et nationales avec comité de lecture depuis 1992 (IEEE ICASSP, ACL, EMNLP, HLT, Interspeech, etc.) - Publication de 12 articles dans des revues avec comité de lecture (IEEE Transactions, Computer Speech &amp; Language, Speech Communication, Traitement Automatique des Langues) ### **Contrats de recherche** - Participation à des programmes internationaux : 3 projets européens dont 1 en cours, 2 réseaux d’excellence, 1 projet DARPA - Participation à 8 projets ANR depuis 2007 (5 en tant que participants, 3 en tant que coordinateur) ; 3 projets en cours - Participation à des projets industriels via des contrats de recherche externalisée (France Télécom - Orange), des contrats de transferts industriels (A\*Midex - Kalizee) et CIFRE (Numericompta) ### **Jurys de thèse** - Participation à 32 jurys de thèse : 8 en tant qu’encadrant, 15 en tant que rapporteur, et 9 en tant qu’examinateur ### **Rayonnement scientifique** #### *Mobilité internationale* - Congé recherche d’une année (CRCT) : chercheur invité au Laboratoire de Recherche AT&amp;T Labs (AT&amp;T Shannon Lab, Florham Park, New Jersey, USA) de Septembre 2001 à Août 2002. - Contrat de recherche post-doctoral : chercheur à l’Institut de Linguistique Informatique (CIS – Center für Information und Sprachverarbeitung) de l’Université Ludwig Maximilians de Munich (Allemagne). De février 1993 à juin 1994. #### *Conférences invités et séminaires dans des laboratoires à l’étranger* - 2007 ICSI - International Computer Science Institute, Berkeley, Californie (2007) - 2007 SRI – Standford Research Institute, Menlo Park, California (2007) - 2008 ACL/IEEE Workshop on Spoken Language Technology, Goa, Inde. Conférence sur les méthodes robustes de compréhension de la parole (décembre 2008) - 2009 COST2102 International School - Dublin - Development of Multimodal Interfaces : Active Listening and Synchrony. Conférence sur les systèmes de dialogues oraux homme-machine (mars 2009) - 2011 UT – University of Trento, Italie (2011) - 2011 Microsoft Speech Lab, Mountain View, Californie (2011) - 2012 LMU – Ludwig Maximilian University – Munich, Allemagne – laboratoire CIS (2012) #### *Expertise* Participation à des panels d’experts - AERES : participation en tant qu’expert au comité d’évaluation AERES du laboratoire LIGM (Laboratoire d’Informatique Gaspard Monge) en décembre 2013 - INRIA : participation au panel d’expert « Inria Evaluation Committee » pour le thème «Vision, Perception, and Multimedia Interpretation » en octobre 2014. - ANR / EU : participation au panel d’expert CHIST-ERA ERA-NET pour l’appel : « Human Language Understanding », 2014. - ANR : expertise de projets *Activité de relectures* - Editeur associé pour la revue IEEE Signal Processing Letter depuis 2012 - Membre du Comité de Rédaction de la revue Traitement Automatique des Langues (TAL) de l’association ATALA - Relecteur pour les revues : Speech Communication, IEEE Signal Processing Letters, IEEE Transactions on Speech and Audio Processing - Membre du comité de relecture des conférences suivantes : ICASSP, Interspeech, Eusipco, IEEE ASRU, Human Language Technology, Empirical Method Natural Language Processing, ACL/IEEE SLT, AFCP JEP, ATALA TALN. - Coordinateur thématique ("Area Coordinator") de la conférence annuelle de l’International Speech and Communication Association, ISCA, INTERSPEECH 2012, Portland, USA - Coordinateur thématique ("Area Coordinator") du colloque IEEE/ACL « Spoken Language Technology - SLT » 2012, Miami #### *Participation à des sociétés savantes* - Membre élu (2008-2010) : IEEE Signal Processing Society Speech and Language Technical Committee - Membre élu (depuis 2008) du bureau de l’association ATALA (Association pour le Traitement Automatique des Langues), vice-président de l’association depuis 2012. **Valorisation** Titulaire de 2 brevets obtenus lors d’un séjour au laboratoire Shannon Labs d’AT&amp;T, New Jersey : - "Method and system for creating a named entity language model", United States Patent Application 20030191625, octobre 2003, Inventors : Gorin Allen (USA) ; Bechet Frederic (FR) ; Wright Jeremy (US) ; Hakkani-Tur Dilek (US) - "Method and system for detecting and extracting named entities from spontaneous communications" Numéro de publication : WO03088080, Date : octobre 2003, Inventor : Gorin Allen (USA) ; Bechet Frederic (FR) ; Wright Jeremy (US) ; Hakkani-Tur Dilek (US) *Développement de logiciels libres* - LIA\_PHON : logiciel de phonétisation de texte permettant le développement rapide de systèmes de synthèse vocale à partir du texte. Ce logiciel est très largement diffusé (90 citations de l’article présentant ce logiciel). - LIA\_TAGG : analyseur morphosyntaxique, chunker et réaccentueur de texte, pour les langues anglaises et françaises. - LIA\_SCT : logiciel d’apprentissage basé sur les arbres de classification sémantique. - LIA\_NE : détecteur d’entités-nommées statistique combinant des HMM et des CRF, système classé 1er durant la campagne d’évaluation ESTER sur la détection d’entités nommées à partir de transcriptions automatiques de parole.