Automatic behavior classification of aquatic animals in underwater videos

Abstract

This thesis investigates the feasibility of automatic classification of fish behavior in the cluttered low-visibility environment that typically surrounds towed fishing gear. A deep learning dataset was created from a limited amount of raw underwater video footage that depicts a scene in front of a fishing trawl where the conventional herding mechanism has been replaced by directed laser light. The goal is to train a Two-Stream network that can detect the presence of a fish in the videos and classify whether or not the fish reacts to the lasers. To achieve this, multiple versions of the dataset were created on which the two streams of the network were trained end-to-end. The results of the experiments were used to improve the classification accuracy of the network on the dataset by optimizing the model and the dataset. The results revealed that the Two-Stream network’s spatial stream achieved an average accuracy of 90% when classifying between videos that contained a fish, and videos that did not. However, when the Two-Stream network was trained to classify the behavior of the fish depicted in the videos in a 3-class task, the accuracy achieved by the model was only 63.4%. With further inspection of the model’s performance, the reason for the relatively low accuracy is most likely linked to the dataset, leaving room for improvement.

Þessi ritgerð rannsakar hagkvæmni sjálfvirkrar flokkunar á hegðun fiska í neðansjávarmyndböndum með myndgreiningu. Gagnasafn af stuttum myndbrotum var búið til úr takmörkuðu magni af óklipptum myndböndum sem tekin voru neðansjávar af myndavél sem er fest á fiskitroll þar sem hefðbundið smölunarkerfi trollsins hefur verið skipt út fyrir stýrða ljósgeisla. Myndavélin snýr út frá trollinu svo að hún tekur upp myndbönd af því sem gerist fyrir framan trollið. Markmiðið er að þjálfa Tveggja-Strauma tauganet sem getur greint tilvist fisksins í myndbrotunum og flokkað þau eftir því hvort fiskurinn bregðist við ljósinu eða ekki. Til þess að ná markmiðinu, þá voru búnar til margar útgáfur af gagnasafninu sem straumarnir í tauganetinu voru þjálfaðir á frá enda til enda. Tauganetið var gert betra í því að flokka myndbrotin með því að nýta niðurstöður tilraunanna til að fínstilla bæði tauganetiðog gagnasafnið. Niðurstöðurnar leiddu í ljós að sá straumur Tveggja-Strauma tauganetsins sem nýtir sér sjálfstæða ramma í myndböndunum til að flokka myndböndin náði að meðaltali 90% nákvæmni þegar flokkað var á milli myndbrota sem innihéldu fisk og myndbrota sem innihéldu ekki fisk. Hins vegar, þá náði Tveggja-Strauma tauganetið bara 63.4% nákvæmniþegar það var notað til þess að flokka hegðun fisksins í einni af útgáfum gagnasafnsins sem innihélt þrjá flokka. Með frekari skoðun á frammistöðu tauganetsins, þá kom í ljós að ástæðan fyrir þessum ófullnægjandi niðurstöðum er líklegast tengt gagnasafninu, sem gefursvigrúm til bætinga.