Refine
Document Type
- Master's Thesis (2) (remove)
Has Fulltext
- yes (2)
Keywords
- Data Mining (2) (remove)
Faculty
- Fakultät 10 / Institut für Informatik (2) (remove)
Die Analyse von Log-Dateien als Spezialfall des Text Mining dient in der Regel dazu Laufzeitfehler oder Angriffe auf ein Systems nachzuvollziehen. Gegen erkannte Fehlerzustände können Maßnahmen ergriffen werden, um diese zu vermeiden. Muster in semi-strukturierten Log-Dateien aus dynamischen Umgebungen zu erkennen ist komplex und erfordert einen mehrstufigen Prozess. Zur Analyse werden die Log-Dateien in einen strukturierten Event-Log (event log) überführt. Diese Arbeit bietet dem Anwender ein Werkzeug, um häufige (frequent) oder seltene (rare) Ereignisse (events), sowie temporale Muster (temporal patterns) in den Daten zu erkennen. Dazu werden verschiedene Techniken des Data-Minig miteinander verbunden. Zentrales Element ist dieser Arbeit das Clustering. Es wird untersucht, ob durch Neuronale Netze mittels unüberwachtem Lernen (Autoencoder) geeignete Repräsentationen (embeddings) von Ereignissen erstellt werden können, um syntaktisch und semantisch ähnliche Instanzen zusammenzufassen. Dies dient zur Klassifikation von Ereignissen, Erkennung von Ausreißern (outlier detection), sowie zur Inferenz einer nachvollziehbaren visuellen Repräsentation (Regular Expressions; Pattern Expressions). Um verborgene Muster in den Daten zu finden werden diese mittels sequenzieller Mustererkennung (Sequential Pattern Mining) und dem auffinden von Episoden (Episode Mining) in einem zweiten Analyseschritt untersucht. Durch das Pattern Mining können alle enthaltenen Muster im einem Event-Log gefunden werden. Der enorme Suchraum erfordert effiziente Algorithmen, um in angemessener Zeit Ergebnisse zu erzielen. Das Clustering dient daher ebenfalls zur Reduktion (pruning) des Suchraums für das Pattern Mining. Um die Menge der Ergebnisse einzuschränken werden verschiedene Strategien auf ihre praktische Tauglichkeit hin untersucht, um neue Erkenntnisse zu erlangen. Zum einen die Mustererkennung mittels verschiedener Kriterien (Constrained Pattern Mining) und zum anderen durch die Nützlichkeit (High Utility Pattern Mining) von Mustern. Interessante temporale Muster können auf anderen Log-Dateien angewendet werden, um diese auf das Vorkommen dieser Muster zu untersuchen.
The topic for the thesis originated from the CAP4ACCESS project run by the European Commission and its partners, which deals towards the sensiti-zation of people and development of tools for awareness about people with movement disabilities. The explorative analysis is never ending and to explore and find interest-ing patterns and the results is a tedious task. Therefore, a scientific approach was very important. To start with, familiarizing the domain and the data sources were done. Thereafter, selection of methodology for data analysis was done which resulted in the use of CRISP-DM methodology. The data sources are the source of blood to the analysis methodology, and as there were two sources of data that is MICROM and OSM Wheelchair History(OWH), it was important to integrate them together to extract relevant datasets. Therefore a functional and technically impure data warehouse was created, from which the datasets are extracted and analysed.The next task was to select appropriate tools for analysis. This task was very important as the data set although was not big data but con-tained a large number of rows. After careful analysis, Apache spark and its machine learning library were utilized for building and testing supervised models. DataFrame API for Python, Pandas, the machine learning library Sci-kit learn provided unsupervised algorithms for analysis, the association rule analysis was performed using WEKA. Tableau[21] and Matplotlib[24] provide attractive visualizations for representation and analysis.