Improving Monitoring of IT Systems using Machine Learning

Abstract

High availability of server-bound business applications has become crucial in today's IT landscape. It is therefore important to monitor these systems for any deviations. Machine learning can be implemented to improve IT monitoring. In this project, an anomaly detection using neural networks was implemented on multidimensional real world server data. Having a proper anomaly detection enables: faster detection of deviations; better capacity for proactive maintenance; and more rapid root cause analysis. Using machine learning to improve IT monitoring or monitoring of data from other domains in a similar format is neither a new topic in the industry nor academia. Prior work in the industry is often a black box and difficult to evaluate, and previous attempts in the academia that use a similar approach as this project implements run their experiments on different kinds of data. The neural networks were assessed using different configurations. Additionally, the ideal configuration was then compared to an established anomaly detection algorithm. The results look promising, but more data and work is needed to evaluate and tune the approach systematically.

Nánast hvert einasta fyrirtæki er háð einhvers konar hugbúnaði við daglegan rekstur. Frávik í tölvukerfum geta auðveldlega leitt af sér alvarleg viðskiptaleg vandamál. Hægt er að nota vélrænt gagnanám til að bæta eftirlit með tölvukerfum. Góð frávikagreining stuðlar að hraðari uppgötvun frávika eftir að þau hafa átt sér stað í tölvukerfinu. Jafnframt auðveldar góð frávikagreining fyrirbyggjandi viðhald og hraðari undirrótargreiningu. Í þessu verkefni var útfærð frávikagreining með tauganeti á fjölvíðum raungögnum úr netþjónum. Tauganetið var prófað með mismunandi stillingum. Að auki var hluti niðurstaðna borinn saman við fyrirliggjandi frávikagreiningareiknirit. Notkun vélræns gagnanáms til að bæta eftirlit með upplýsingartækni í tölvukerfum eða eftirlit þar sem gögn eru á svipuðu formi er ekki ný af nálinni, hvorki í atvinnulífinu né í fræðasamfélaginu. Svipaðar eftirlitsútfærslur sem notfæra sér vélrænt gagnanám í atvinnulífinu eru oft ógegnsæjar gagnvart notandanum sem þýðir að ekki er auðvelt að leggja mat á virkni kerfisins. Fyrri rannsóknir í fræðasamfélaginu sem nota svipaða nálgun og þetta verkefni keyrðu tilraunir sínar á annars konar gögnum. Niðurstöðurnar úr þessu verkefni sýna jákvæða byrjun en þörf er á meiri gögnum og frekari vinnu til að hægt sé á kerfisbundinn hátt að leggja mat á hannaða frávikagreiningu og aðlögun hennar.