Learning the Txalaparta : intimate musical collaboration with a deep learning model

Abstract

Recent advancements in deep learning have created many opportunities in the field of music. This project explores training deep learning models to play a percussion instrument collaboratively with a human player. The aim is to create a system that convincingly responds to the human player's performance. Music generation is more commonly handled offline than in a performance environment, where the model's response must feel instantaneous, organic, and sensible in response to the user's input. Two deep learning models were trained on high-quality data abstracted from a collaborative percussion instrument, the txalaparta. The thesis explores the design and implementation of the system, including the choice of deep learning models, data collection, and training procedures. The research demonstrates the potential of deep learning in creating intelligent musical systems that can collaborate with human performers. The thesis concludes with reflections on the future of collaborative music-making with intelligent systems and what elements such a system must possess to be useful.

Tækniframfarir undanfarinna ára á sviði vélnáms hafa skapað ótal nýja möguleika í tónlistarsköpun. Þetta verkefni kannar möguleika þess að þjálfa djúptauganet til að spila á baskneskt ásláttarhljóðfæri í samvinnu við mennskan hljóðfæraleikara. Markmiðið er að þróa kerfi sem getur brugðist við leik manneskjurnar á sannfærandi hátt. Vélræn taktsköpun er sjaldan framkvæmd í lifandi flutning, þar sem kerfið þarf að bregðast við samstundis með sannfærandi og eðlilegu svari við flutning meðleikara. Tvö djúptauganet voru þjálfað á gagnasafni af sértækri lýsingu á spilun samvinnuhljóðfæris, að nafni txalaparta. Skýrslan fjallar um þróun kerfisins, þar á meðal val á djúptauganeti, söfnun gagna og þjálfunaraðferðir. Rannsóknin leggur sitt af mörkum til sviðs gagnvirkrar tónlistarsköpunar og sýnir fram á möguleika djúptauganeta við að skapa greind kerfi sem geta unnið með mennskum tónlistarflytjendum í nánu samstarfi. Skýrslan endar á hugleiðingum um áhrif rannsóknarinnar á svið skapandi tónlistartækni og framtíð samvinnu manna og greindra véla við tónlistarsköpun.