Event-based shrimp detection and behavior analysis using spiking neural networks

Abstract

Knowing the behavior of shrimp being fished can aid the development of fishing gear, reducing both environmental impact and bycatch.It has proven difficult to use conventional cameras and neural networks in the harsh lighting conditions at the bottom of the ocean. Event cameras and spiking neural networks (SNNs) offer a promising alternative but lack research. This research evaluates SNNs for four tasks: detecting shrimp, detecting changes in their traveling direction, their micro-movements like swimming and jumping, and comparing those SNNs. A residual SNN generalized best across all difficulties of shrimp detection with 91.6% accuracy on the easiest dataset and 83.6% on all detection datasets. Tri pool SNN was competitive only on the easy data and a deep voting SNN performed better with more data, even if it was harder. The residual SNN was the only model to successfully detect changes in swimming direction and did that with 60.7% testing accuracy. Signs of shrimp swimming were not visible and there were not enough instances of them jumping to train a model.

Að þekkja hegðun rækja við veiðar getur stutt við þróun veiðarfæra og dregið úr umhverfisáhrifum og meðafla. Erfitt hefur reynst að notast við hefðbundnar myndavélar og tauganet við erfið birtuskilyrði á hafsbotni. Atburðamyndavélar og púlsanet bjóða upp á efnilegan kost sem skortir þó frekari rannsóknir. Í þessari rannsókn eru púlsanet metin á fjóra vegu: að greina rækjur, greina breytingar á sundstefnu þeirra, greina örhreyfingar eins og sund og stökk og samanburður á þeim. Tauganeti með leifaleiðum (e. residual neural network) tókst best að greina rækjur yfir öll erfiðleikastig með 91,6% nákvæmni á auðveldasta gagnasafninu og 83,6% á öllum þremur erfiðleikastigum. Grunnt þrí-pooling tauganet var aðeins samkeppnishæft á auðveldum gögnum en djúpt atkvæðatauganet skilaði betri árangri þegar þjálfað á meiri gögnum, jafnvel þótt þau væru erfiðari. Tauganet með leifaleiðum var eina líkanið sem greindi breytingar á sundstefnu og náði 60,7% nákvæmni á prófunargögnum.Merki um sund rækja komu ekki nægilega skýrt fram og tilvik af þeim stökkva voru of fá til að þjálfa líkan.