Refine
Year of publication
Document Type
- Master's Thesis (22) (remove)
Has Fulltext
- yes (22)
Keywords
- Big Data (2)
- Cloud Computing (2)
- Data Mining (2)
- Data Ware House (2)
- Data-Warehouse-Konzept (2)
- Datenbank (2)
- FHIR (2)
- Hadoop (2)
- Health Care (2)
- Medizinische Informatik (2)
Faculty
Machbarkeitsanalyse über den Aufbau eines Enterprise Data Warehouse auf Basis von Apache Hadoop
(2016)
Die vorliegende Masterthesis liefert eine Einführung in die Themen Data Warehouse, Big Data und Apache Hadoop. Sie präsentiert grundlegende Data-Warehouse-Kon-zepte und überprüft, inwieweit diese mit dem Apache Hadoop Software Framework zu realisieren sind. Hierbei wird sowohl eine technische Überprüfung vorgenommen als auch verschiedene Szenarien veranschaulicht, wie Hadoop inhaltlich sinnvoll in bestehende Systeme integriert werden kann. Inhaltlich wird über das Thema Big Data an die Notwendigkeit einer solchen Überprüfung herangeführt.
Die Menge an Informationen steigt seit Jahren immer weiter an. Dies lässt sich auch leicht an der Entwicklung der Speichermedien feststellen. So bot die erste 5,25-Zoll Festplatte, eine Seagate ST- 506, lediglich 5 MB Speicherkapazität. Heutige 3,5-Zoll Festplatten verfügen hingegen über bis zu 8 TB Speicherkapazität und werden ebenso ausgenutzt wie ihre Vorgänger aus der Anfangszeit der Magnet-festplatten. Zusätzlich geht die Tendenz dorthin, alle Daten jederzeit zur Verfügung zu haben. Sei es daheim am Rechner, auf der Arbeit oder per Tablet oder Smartphone unterwegs, dank der immer mehr verbreiteten Cloud-Speicher stehen die Daten jederzeit zur Verfügung. Mit dem enormen Zuwachs an Dateien und auch an Dateiformaten wird es jedoch immer schwieriger, diese Masse zu überblicken und bestimmte Inhalte in annehmbarer Zeit wiederzufinden. Beispiels- weise hostet der Internetdienst Flikr die schier unüberschaubare Menge von über 6 Milliarden Bilder. Doch nicht nur die großen Servicedienstleister besitzen große Datenmengen, auch Einzelpersonen haben derweil große Musik- und Bildsammlungen, zumal jedes aktuelle Smartphone über eine Kamera verfügt. Jeder ist somit praktisch zu jeder Zeit in der Lage, ein Foto in hochauflösender Qualität zu schießen und direkt in seine Cloud hochzuladen. Diese Datenmengen manuell zu ordnen, erfordert einen sehr hohen Aufwand, den nicht alle Menschen gewillt sind zu leisten. Vor allem am Smartphone geht dieses Benennen und Einsortieren aufgrund der vorhandenen Technik nicht so leicht von der Hand. In der Praxis sammeln sich die Aufnahmen mit der Zeit immer weiter an und letztlich befinden sich mehrere hundert wenn nicht gar tausend Bilder in einem Ordner, welche sich namentlich meist nur durch eine fort- laufende Nummer unterscheiden. Diesen Umstand Rechnung tragend, treten Metainfor-mationen immer mehr in den Vordergrund. So speichern die zuvor genannten mobilen Alleskönner meist viele informative Daten mit in den Bilddateien ab. Beispielsweise kann dank der eingebauten GPS-Module der Ort der Aufnahme aus den Bildern ausgelesen werden. Die Dienstleister für Cloud-speicher nutzen diese Informationen jedoch nur marginal aus und bieten dem Endanwender kaum Unterstützung bei der Suche nach be- stimmten Inhalten, wie etwa beim OX Drive, der Cloudlösung der Firma Open-Xchange.
Die vorliegende Master Thesis zeigt, wie dieser Cloud-Speicher, welcher in die Hauseigene OX App Suite integriert ist, um sogenannte Smartfeatures erweitert werden kann. Diese Smartfeatures sollen dem Endan-wender helfen, die Daten einfacher – wenn nicht gar automatisch – zu ordnen und somit leichter bestimmte Inhalte wiederzufinden. Kernthema dieser Arbeit ist daher die auto- matische Extraktion von unterschiedlichen Metadaten aus diversen Dateiformaten. Des Weiteren wird gezeigt, wie diese Daten effizient gespeichert und abgefragt werden können. Die Thesis stellt hierzu den Document Store Elasticsearch vor und vergleicht diesen mit seinem Konkurrenten Apache Solr.
Das Ziel der vorliegenden Masterthesis ist es, einen Überblick der verschiedenen Datenbanktypen und Leistungsanalysen zu geben. Die vergleichende Literaturstudie beschäftigt sich mit einem jungen Forschungsfeld und betrachtet insbesondere nichtrelationale NoSQL-Datenbanken, welche in den letzten Jahren immer beliebter geworden sind und einige Vorteile gegenüber relationalen Datenbanken aufweisen. Doch was können die konkreten Datenbankimplementierungen bei unterschiedliche Datenmodellen leisten und welcher Testaufbau bietet sich bei welchen Einsatzanforderungen an? Zu Anfang definiert diese Arbeit Kriterien zur Bewertung von Leistung und untersucht experimentelle Vorgehensweise verschiedener Forscher. Ein wichtiger Fokus liegt darauf, die Vergleichbarkeit der Messmethoden und Ergebnisse einzuschätzen und zu gewährleisten. Neben dem methodischen Vorgehen wird mit dem YCSB-Framework ein wichtiges Werkzeug besprochen, mit dem Leistungsmessungen in NoSQL-Datenbanken implementiert werden können.
Cloud Computing ist der zentrale Faktor zur Beschleunigung der Digitalisierung in Deutschland und wird in den kommenden Jahren eine wichtige Rolle in jedem deutschen Unternehmen spielen. Für Unternehmen wird es dabei um die Umsetzung von
Cloud-Strategien und die praktische Einbindung in die täglichen Betriebsprozesse gehen. Zusätzlich müssen Unternehmen ihre bestehende Datenlandschaft in moderne Architekturen zum Datenmanagement in die Cloud migrieren. Dabei können Unternehmen auf eine Vielzahl an unterschiedlichen unternehmensweiten Datenarchitekturen
zurückgreifen. Die vorliegende Masterarbeit gibt eine Einführung in die aktuelle Entwicklung von Cloud Computing und erläutert, mit Data Fabric, Data Lakehouse und Data Mesh, drei unternehmensweite Datenarchitekturen für die Cloud. Data Fabric, Data Lakehouse und Data Mesh bilden dabei aktuell die modernsten Konzepte für unternehmensweite Datenarchitekturen. Zusätzlich werden ein Data Lakehouse und ein Data Mesh in einer ausgewählten Cloud-Umgebungen entworfen, prototypisch aufgebaut und praktisch analysiert. Ziel der Masterarbeit ist es, die unternehmensweiten Datenarchitekturen in der Cloud zu erläutern, konkrete technologische Architekturen zu entwerfen und entsprechende Hinweise zu Aufwandstreibern in Unternehmen zu identifizieren.
Ziel dieser Diplomarbeit ist es zu evaluieren, ob eine effiziente Implementierung von responsiven Webapplikationen zum Zeitpunkt der Erstellung der Arbeit möglich ist. Als technische Grundlage wird hierzu die HTML5-Spezifikation mit dem darin enthaltenen CSS3 und den JavaScript-Programmierschnittstellen herangezogen.
Es wird erläutert, dass unter responsivem Design die Reaktionsfähigkeit des Designs auf die Abrufumgebung, wie zum Beispiel die Größe der Anzeigefläche, zu verstehen ist und mit Hilfe welcher Techniken ein solches Design für Webapplikationen realisiert werden kann. Des Weiteren werden Möglichkeiten zur Performance-Optimierung aufgeführt, wobei festgestellt wird, dass für die Nutzung einer Webanwendung auf mobilen Geräten die Anzahl der Dateien das größte Potenzial zur Optimierung besitzt. Die Möglichkeiten der JavaScript-Programmierschnittstellen in HTML5 zur Umsetzung von Funktionalitäten für Webapplikationen, wie sie bei lokal installierten Anwendungen gebräuchlich sind, werden ebenso erläutert.
Das Fazit dieser Arbeit ist, dass ausreichend Techniken zur Erstellung von responsiven Webapplikationen in HTML5 definiert sind. Lediglich die zum Teil ausstehende Umsetzung dieser Techniken in den einzelnen Browsern verursacht Einschränkungen. Dies wirkt sich gegebenenfalls negativ auf die Effizienz des Umsetzungsprozesses aus. Ebenso kann die übermäßige Optimierung des Layouts und der Performance zu unverhältnismäßigem Aufwand führen.
Die Analyse von Log-Dateien als Spezialfall des Text Mining dient in der Regel dazu Laufzeitfehler oder Angriffe auf ein Systems nachzuvollziehen. Gegen erkannte Fehlerzustände können Maßnahmen ergriffen werden, um diese zu vermeiden. Muster in semi-strukturierten Log-Dateien aus dynamischen Umgebungen zu erkennen ist komplex und erfordert einen mehrstufigen Prozess. Zur Analyse werden die Log-Dateien in einen strukturierten Event-Log (event log) überführt. Diese Arbeit bietet dem Anwender ein Werkzeug, um häufige (frequent) oder seltene (rare) Ereignisse (events), sowie temporale Muster (temporal patterns) in den Daten zu erkennen. Dazu werden verschiedene Techniken des Data-Minig miteinander verbunden. Zentrales Element ist dieser Arbeit das Clustering. Es wird untersucht, ob durch Neuronale Netze mittels unüberwachtem Lernen (Autoencoder) geeignete Repräsentationen (embeddings) von Ereignissen erstellt werden können, um syntaktisch und semantisch ähnliche Instanzen zusammenzufassen. Dies dient zur Klassifikation von Ereignissen, Erkennung von Ausreißern (outlier detection), sowie zur Inferenz einer nachvollziehbaren visuellen Repräsentation (Regular Expressions; Pattern Expressions). Um verborgene Muster in den Daten zu finden werden diese mittels sequenzieller Mustererkennung (Sequential Pattern Mining) und dem auffinden von Episoden (Episode Mining) in einem zweiten Analyseschritt untersucht. Durch das Pattern Mining können alle enthaltenen Muster im einem Event-Log gefunden werden. Der enorme Suchraum erfordert effiziente Algorithmen, um in angemessener Zeit Ergebnisse zu erzielen. Das Clustering dient daher ebenfalls zur Reduktion (pruning) des Suchraums für das Pattern Mining. Um die Menge der Ergebnisse einzuschränken werden verschiedene Strategien auf ihre praktische Tauglichkeit hin untersucht, um neue Erkenntnisse zu erlangen. Zum einen die Mustererkennung mittels verschiedener Kriterien (Constrained Pattern Mining) und zum anderen durch die Nützlichkeit (High Utility Pattern Mining) von Mustern. Interessante temporale Muster können auf anderen Log-Dateien angewendet werden, um diese auf das Vorkommen dieser Muster zu untersuchen.
Objectives FHIR (Fast Healthcare Interoperability Resources) is an emerging Stan¬dard for improving interoperability in the domain of health care. Besides offering features for achieving syntactical, semantical and organizational interoperability, it also specifies a RESTful API for searching purposes. The main objective of the following thesis revolves around investigating open challenges and limitations of the so-called FHIR Search Framework.
Methods A variety of operations for searching in FHIR resources, including all search interactions, definitions of search parameters, search parameter types and advanced search concepts are described. Over the course of the thesis, a quality model based on ISO 25010 is established. It serves as the foundation for determining if the FHIR Search Framework is well-suited to cover the Information needs of its users. An analysis of completeness involving the measures defined in the quality model forms the main contribution. The primary discussion of the research questions is concluded by proposing a graph model for determining reachability between FHIR resources, essentially mirroring the chaining and reverse chaining functionality. Using well-known classes for expressiveness in graphs, the thesis assess to which degree a graph search can be formulated with the currently defined capabilities.
Results From a functional perspective the FHIR Search Framework can be considered well-suited. Practical limitations should be minimal, grounded on the fact that extensive coverage of the lowest expressiveness classes, RPQs and 2RPQs, can be achieved. Severe gaps where identified only in the support of C(2)RPQs and Data Path Queries. Additionally, ideas for improving non-functional aspects are introduced to support developers in learning the Standard and testing their implementations.
Conclusion The evaluation of the FHIR Search Framework showed promising re¬sults in terms of functional completeness. Yet, the Standard is still evolving, and certain parts of the Search API are neither well-known nor implemented widely. A discussion is to be held if the specification should cover more sophisticated aspects that result from the gaps which were identified.
Aufgrund ihrer aktuellen Bedeutung im Zusammenhang des Internet of Things werden in der vorliegenden Arbeit Time Series Databases und Event Stores miteinander vergli-chen. Ziel ist, die Gemeinsamkeiten und Unterschiede der beiden Arten von Datenbank Management Systemen herauszustellen.
Der erste, theoretische Teil des Vergleichs erfolgt anhand der funktionalen Kriterien Speichersystem, Performance und Funktionen sowie der nicht-funktionalen Kriterien Usability und Support. Im zweiten Teil des Vergleichs wird anhand eines konkreten An-wendungsfalls untersucht, ob sich Time Series Databases und Event Stores gleicher-maßen für die Speicherung und in einem zweiten Schritt für die Abfrage von Zeitreihen-daten eignen.
Zumal der theoretische Vergleich Unterschiede zwischen einzelnen Time Series Data-bases und Event Stores in Bezug auf die betrachteten Kriterien erkennen lässt, wird für den praktischen Vergleich unter Berücksichtigung der im konkreten Anwendungsfall gegebenen Anforderungen nur die am besten geeignetste Time Series Database (In-fluxDB) und der am besten geeignetste Event Store (Event Store) ausgewählt. Der prak-tische Vergleich zeigt, dass die Zeitreihendaten im konkreten Anwendungsfall zwar in beiden Arten von Datenbank Management Systemen gespeichert werden können, die Nutzung der auf Zeitreihendaten spezialisierten Time Series Database InfluxDB jedoch offensichtliche Vorteile gegenüber dem Event Store aufweist.
Das Internet of Things (IoT) ist aktuell eines der trendgebenden Themen der Infor-mationstechnik. Dem Thema werden dabei viele Versprechungen, aber auch Erwar-tungen auf staatlicher, wirtschaftlicher und alltäglicher Ebene zugeordnet. Dabei besteht die Frage, was ist Hype und was ist Realität? Motivation und Zielsetzung dieser Arbeit ist es, dieses Thema zu untersuchen und Aspekte daraus in einem Smart Home System umzusetzen. Klare Zielsetzung ist die lauffähige Ver-sion eines Prototyps zu produzieren. Dieser soll den technischen Durchstich ver-schiedener Werkzeuge, Technologien und Services, als integratives Ziel dieser Arbeit, durchführen. Eine Verknüpfung mit realen Anwendungsfällen ist zur besse-ren Veranschaulichung wünschenswert, aber für die Zielerreichung nicht zwangsläu-fig erforderlich. Gleichzeitig soll der Prototyp ein stabiles Fundament für weitere Entwicklungen auf dessen Basis bereitstellen. Der Einsatz von Technologien im Be-ta-Stadium ist dadurch aber nicht ausgeschlossen, wie der Einsatz des aktuell noch in der Entwicklervorschau befindlichen Android Things zeigt.