Software service oriented framework for multilingual conversational agents

Abstract

This year marks the end of the three-year Language Technology Programme for Icelandic (Máltaekniáætlun), and various language technology tools for Icelandic have already emerged. For example, the language technology startup Tiro has created automatic speech recognition for Icelandic, and it has a development server running text-to-speech web services. RESTful APIs have become increasingly popular as a solution in software development, as modular application architectures usurp monolithic application architectures. Aside from the fact that the overall speed of the Internet is improving, the use of RESTful APIs is a realistic option even in the most demanding situations in terms of an application's responsiveness. An architecture for an Embodied Conversation Agent that relies on such services may be possible, but response times must be within a certain range in order to maintain a natural flow of conversation. The objective of this project is to investigate the possibilities in this context. Is it possible to create an Embodied Conversational Agent that uses web services for the full natural language technology pipeline including speech recognition, natural language understanding, natural language generation, and text-to-speech? The goal is to design a modular system that meets all the basic Embodied Conversational Agent (ECA) system requirements, but also extends those requirements by supporting the switching of languages on the fly. This is something that the modular service-based approach makes possible. The evaluation is carried out by timing turn-taking events and system events in order to identify system bottlenecks, and comparing the times to what humans can normally handle in conversations face-to-face. Implications of the findings for the development of multilingual conversational agents are discussed, especially with regard to how to make the most of the products and services coming out of the Icelandic Language Technology Programme.

Á þessu ári lýkur Máltækniáætlun og þegar hafa komið fram ýmis máltæknitól fyrir íslensku. Sem dæmi má nefna að máltækni sprotafyrirtækið Tiro hefur búið til sjálfvirka talgreiningu fyrir íslensku og er með tilraunavefþjón sem keyrir vefþjónustu fyrir talgervingu. Vefbundinna foritaskil (e. RESTful API) eru sífellt vinsælli sem lausn í hugbúnaðarþróun, þar sem einingastigsbundin (e. modular) hugbúnaðarhönnun ryður sér rúms fyrir einsleitinni (e. monolithic) hugbúnaðarhönnun. Einnig má nefna að heildarhraði Internetsins er að batna, og þá er notkun vefbundinna forritaskila raunhæfur valkostur, jafnvel í krefjandi aðstæðum hvað varðar viðbragðstíma forrits. Hönnun kerfis fyrir raungerða samræðu vitveru (RSV) (e. Embodied Conversational Agent) sem nýtir sér slíka þjónustu getur þannig verið möguleg, en viðbragðstíminn verður að vera innan ákveðinna marka til að viðhalda eðlilegu samtalsflæði. Markmið þessa verkefnis er að kanna möguleikana á þessari nálgun fyrir RSV. Er hægt að búa til RSV sem notar vefþjónustu fyrir allar málvinnslueiningar, þar á meðal talgreiningu, náttúrulegan málskilning, náttúrulegan málframleiðslu og talgervingu? Hannað verður einingastigsbundið tölvukerfi sem uppfyllir allar grunnkröfur RSA, en víkkar einnig út þær kröfur með því að styðja við að skipta um tungumál á meðan keyrslu stendur. Þetta er eitthvað sem einingastigsbundin nálgunin gerir mögulegt. Matið er framkvæmt með því að tímasetja samtals- og kerfisatburði til að bera kennsl á flöskuhálsa í kerfinu og bera svo tímana saman við það sem er talið eðlilegur biðtími í samtölum augliti til auglitis eftir að viðmælandi svarar. Fjallað er um áhrif niðurstaðna fyrir þróun fjöltyngdra samræðumiðla, sérstaklega með tilliti til þess hvernig nýta megi sem best þær vörur og þjónustu sem koma út úr Íslenskri máltækniáætlun.