Virtual humans making first contact : teaching socially appropriate approaching behavior using deep reinforcement learning

Abstract

Socially appropriate behavior of humans in public places is governed by various factors and rules. While these aspects have been previously well-explored for virtual humans engaged in focused interactions (e.g. conversations), the same is not true for unfocused interactions (e.g. merely being present in the same social situation), and for the shift from unfocused to focused interactions (e.g. approaching someone for a conversation). The goal of this thesis is to teach virtual humans a sense of appropriate social behavior when approaching a stranger for a conversation in a public place, using deep reinforcement learning. To that end, a model of a socially appropriate approaching behavior is devised, based on empirical studies and previous research. Using deep reinforcement learning in Unity and experimenting with different reward functions, virtual humans (agents) are trained to approach another virtual human (target), while adhering to this model as much as possible. The results are assessed numerically, as well as visually. Finally, a perceptual study compares the best-performing well-trained agent with a baseline agent. The results show that statistically, the well-trained agent causes significantly fewer social offenses (i.e. violates the rules of the model less often) than the baseline agent. The results of the perceptual study also show that participants find the behavior of the well-trained agent overall significantly more socially appropriate than the behavior of the baseline agent. In conclusion, using deep reinforcement learning to teach an agent appropriate social behavior could prove to be a valid alternative to crafting and implementing rule-based behaviors.

Félagslega viðeigandi hegðun fólks á opinberum stöðum er stjórnað af ýmsum þáttum og reglum. Þó að þessir þættir hafi áður verið vel kannaðar fyrir sýndarmenni sem taka þátt í markvissum samskiptum (t.d. samtölum), þá á það sama ekki við um ómarkviss samskipti (t.d. að vera bara til staðar í sömu félagslegu aðstæðum) og um breytinguna frá ómarkvissum til markvissra samskipta (t.d. nálgast einhvern til að hefja samræður). Markmið þessarar ritgerðar er að kenna sýndarmennum að bera skynbragð á viðeigandi félagslega hegðun þegar þau brydda upp á samræðum við ókunnuga á opinberum stað, með því að nota styrkjandi djúplærdóm. Í því skyni er mótað líkan af félagslega viðeigandi nálgunarhegðun, byggt á reynslurannsóknum og fyrri rannsóknum. Með því að nota styrkjandi djúplærdóm í Unity og prófa mismunandi umbunarföll, eru sýndarmenni þjálfuð í að nálgast aðra sýndarmanneskju á meðan þau fylgja þessu líkani eins mikið og mögulegt er. Niðurstöðurnar eru metnar tölulega, sem og sjónrænt. Að lokum er framkvæmd skynjunarrannsókn sem ber saman "besta" vel þjálfaða sýndarmennið við grunn-sýndarmenni. Niðurstöðurnar sýna að tölfræðilega gerir "besta" vel þjálfaða sýndarmennið marktækt færri félagsleg mistök (þ.e. brýtur sjaldnar reglur líkansins) en samanburðarmennið. Niðurstöður skynjunarrannsóknarinnar sýna einnig að þátttakendum finnst hegðun "best" vel þjálfaða umboðsmannsins á heildina litið mun betur viðeigandi félagslega en hegðun samanburðarmennisins. Niðurstaðan er sú, að það að nota styrkjandi djúplærdóm til að kenna sýndarmenni viðeigandi félagslega hegðun gæti reynst gildur valkostur við að búa til og innleiða reglubundna hegðun.