Using a robot to generate training data for previously unseen objects

Abstract

This thesis examines the use of a robot to generate training data for object detection. By examining certain aspects, whether it is possible to generate new arrangements of previously unseen objects using a robot manipulator, annotate the objects automatically by determining the extent of the objects in the images, and improve the performance of a convolutional neural network by adding automatically generated training data to the training set. Data was collected by having the robot pick up objects and move them repeatedly. Experiments show that the robot is capable of robustly translating and rotating objects inside a bin to create new arrangements. With some exceptions, the quality of annotation is comparable to manually annotated images. From the results of training a neural network using the automatically annotated data, it can be concluded that there is a possibility to train a competent object detector to detect novel objects using robot-generated training data, thus saving both time and labor.

Markmið verkefnisins var að nota róbot til að búa til þjálfunargögn fyrir áður óséða hluti. Með því að skoða ákveðna þætti, hvort mögulegt er að búa til nýjar uppstillingar á áður óséðum hlutum með því að nota róbot, merkja hluti sjálfkrafa með því að ákvarða stærð hlutanna á myndunum, og hvort hægt væri að bæta frammistöðu tauganets með því að þjálfa tauganetið með myndum sem hafa verið teknar og merktar sjálfvirkt. Gögnum var safnað saman með því að láta róbot arm taka upp hluti og færa þá ítrekað. Tilraunir sýna að róbot armurinn er fær um að hliðra og snúa hlutum, til að búa til nýjar uppstillingar. Með nokkrum undantekningum þá eru gæði sjálfvirkar merkingar sambærilegar þeim myndum sem hafa verið handmerktar. Af niðurstöðum þjálfaða tauganetsins með sjálfmerktum myndum má draga þá ályktun að það sé möguleiki á að þjálfa færan skynjara sem greinir nýja hluti með því að nota sjálfvirkar þjálfunarmyndir, sem myndi bæði spara tíma og vinnu.