Identifying User Interface Elements Involved in Sketches on a Software IDE

Abstract

For software engineers and even programmers, the need for sketching to express complex ideas can be found in multiple steps of software development and software maintenance. This thesis contributes to a larger research project where it is proposedthat sketching could also be used as means to interact with integrated software development environments (IDE’s) to manipulate source code by sketching on top of the IDE instead of using a mouse and keyboard solution.This thesis details the design and implementation of software components which provide the ability to perform recognition of which user interface elements were sketched over, inside the Visual Studio Code (VsCode) IDE based on the information that was provided from another master’s student application.This solution is able to take absolute coordinates on the user’s screen and identify if those coordinates overlap with the user’s source code. If they do, the software will return exactly in what file the sketch occurred, the line/column location within that file, and in the case of an overlap with textual information, syntactical tokensfor that textual information will be provided as well.

Fyrir hugbúnaðarverkfræðinga og jafnvel forritara er þörf fyrir skissur til að tjá flóknar hugmyndir sem má finna í mörgum skrefum hugbúnaðarþróunar og í viðhaldi hugbúnaðar. Þessi meistararitgerð er framlag til stærri rannsóknarverkefna þar sem lagt er til að einnig megi nota skissur til að tilgreina skipanir í textaritlum hugbúnaðartólaIDE, til að stýra frumkóða með skissum ofan á IDE í stað þess að notamús og lyklaborð.Þessi meistararitgerð setur fram nákvæma lýsingu á hönnun og innleiðingu hugbúnaðarhluta sem gera kleyft að framkvæma skilgreiningu hvað var skissað yfir í textaritli Visual Studio Code (VsCode) IDE, byggt á upplýsingum sem koma úrhugbúnaði frá öðrum meistaranema.Þessi lausn getur án vafa staðsett hnit með nákvæmum hætti á skjá notandans og sannreynt ef staðsetningar skarast við frumkóða notandans. Ef hnitin gera það, þá mun hugbúnaðurinn gefa til kynna nákvæmlega í hvaða skrá skissan er staðsett, íhvaða línu og dálki innan skráar, og í því tilfelli sem að skissan skarast við textaupplýsingar,munu setningarfræðileg tákn einnig koma fram fyrir þessar textaupplýsingar.