Refine
Document Type
- Working Paper (3)
- Article (1)
- Bachelor Thesis (1)
- Master's Thesis (1)
Has Fulltext
- yes (6)
Keywords
- Evaluation (6) (remove)
Faculty
- Fakultät 03 / Institut für Informationswissenschaft (6) (remove)
Academic search systems aid users in finding information covering specific topics of scientific interest and have evolved from early catalog-based library systems to modern web-scale systems. However, evaluating the performance of the underlying retrieval approaches remains a challenge. An increasing amount of requirements for producing accurate retrieval results have to be considered, e.g., close integration of the system’s users. Due to these requirements, small to mid-size academic search systems cannot evaluate their retrieval system in-house. Evaluation infrastructures for shared tasks alleviate this situation. They allow researchers to experiment with retrieval approaches in specific search and recommendation scenarios without building their own infrastructure. In this paper, we elaborate on the benefits and shortcomings of four state-of-the-art evaluation infrastructures on search and recommendation tasks concerning the following requirements: support for online and offline evaluations, domain specificity of shared tasks, and reproducibility of experiments and results. In addition, we introduce an evaluation infrastructure concept design aiming at reducing the shortcomings in shared tasks for search and recommender systems.
Der vorliegende Bericht ist das Ergebnis einer Projektarbeit von Studierenden am Institut für Informationswissenschaft der Fachhochschule Köln im Studiengang Bibliothekswesen. Im Rahmen dieser Arbeit untersuchten sieben Studierende während des Sommersemesters 2011 die bibliothekarische Auskunft anhand eines zu diesem Zwecke erstellten Kriterienkatalogs. Die sieben Studierenden testeten die Bibliotheken über vier verschiedene Auskunftskanäle (Chat, Persönliche Auskunft, Telefonische Auskunft und Webformular/E-Mail-Auskunft). Zuerst werden der Kriterienkatalog und dessen Anforderungen sowie der Bewertungsbogen für die Tests vorgestellt. Im folgenden Kapitel steht die Erarbeitung der Testfragen, die zur Bewertung des Auskunftsprozesses gestellt wurden, im Fokus. Es wird eine quantitative Übersicht aller Fragen pro Auskunftskanal und Bibliothekstyp gegeben. Anschließend werden die gestellten Testfragen aufgelistet und erläutert. Zudem werden die Erfahrungen des Pretests sowie die Testphase erläutert. Im nächsten Kapitel erfolgt die Auswertung der gesamten Untersuchung. Die Analysen und Ergebnisse werden jeweils durch Torten- oder Säulendiagramme visualisiert. Fazit und Ausblick runden die Ergebnispräsentation ab. Im Anhang befinden sich eine Auflistung der Auskunftstypen und Bibliothekstypen, das zu Grunde liegende Notenschema, die Auswertungsbögen sowie zwei Erfahrungsberichte der Auskunft jeder Studierenden.
Diese Bachelorarbeit befasst sich mit dem Portal http://www.informationskompetenz.de/, das als Gemeinschaftsprojekt bibliothekarischer Arbeitsgemeinschaften zur Vermittlung von Informationskompetenz der regionalen und überregionalen Kooperation von Bibliotheken in Deutschland dienen soll. Neben einem Glossar, Standards und Erklärungen sowie Präsenzen der beteiligten Bundesländer stellt es insbesondere eine Datenbank zur Sammlung und zum Austausch von Materialien zu diesem Thema bereit. Nach einem Überblick über die Entstehung des Begriffs der Informationskompetenz, seine Entwicklung und aktuelle Tendenzen folgen die Beschreibung des Gesamtportals sowie eine kurze Analyse desselben anhand eines definierten Katalogs inhaltlicher und formaler Kriterien. Daneben ist auch ein kurzer Überblick über die weiteren Komponenten des Portals Bestandteil der Arbeit. Der Schwerpunkt der Arbeit liegt auf der darauffolgenden Analyse und Evaluation der Materialiendatenbank, die ebenfalls unter Anwendung der definierten Kriterien erfolgt. Der Umfang, die Struktur und die Gestaltung der Datenbank stehen bei der Untersuchung im Vordergrund; die Begutachtung erfolgt anhand einer Stichprobe von 20% der zum Zeitpunkt der Bearbeitung in der Datenbank enthaltenen Dokumente. Zudem fließen zur Evaluation der Suchfunktionalitäten auch einzelne ausgewertete Suchanfragen in die Bewertung ein. Von den hier präsentierten Ergebnissen der Evaluation des Portals und der Materialiendatenbank ausgehend werden abschließend potenzielle Perspektiven der Plattform aufgezeigt. Es werden konkrete Entwicklungsmöglichkeiten dargestellt, im Anschluss daran wird die Plattform aber zudem in den bibliothekarischen Gesamtkontext eingeordnet und ihre mögliche zukünftige Rolle skizziert.
Studien belegen, dass das Internet bei der Informationsversorgung der Menschen immer mehr an Bedeutung gewinnt. Stimmen aus der Forschung fordern eine Präsenz der Bibliotheken am Point-of-Need ihrer Nutzer, also auch im Internet. Während im angloamerikanischen und skandinavischen Raum relativ frühzeitig auf diese Entwicklung reagiert und ein digitaler Auskunftsdienst additiv zur traditionellen Walk-in Auskunft angeboten wurde, ging man in Deutschland lange Zeit recht zögerlich mit diesen neuen Kommunikationswegen um. Mittlerweile lässt sich aber auch hier ein gesteigertes Interesse an der Digitalen Auskunft erkennen. Projekte wurden initiiert und befinden sich zum Teil bereits im Regelbetrieb. In dieser Arbeit soll der Entwicklungsstand der Digitalen Auskunft in Deutschland nachgezeichnet und anhand einer vergleichenden Evaluation in einem internationalen Kontext positioniert werden. Dazu werden die folgenden Verbünde in die Evaluation einbezogen: Die Deutsche Internetbibliothek (D), InfoPoint (D), Virtuelle Auskunft im SWB (D), Biblioteksvagten (DK), Enquire (GB), IPL (USA) und Ask a Librarian/ Florida (USA). Aus der Fachliteratur abgeleitete Standards dienen dabei als Grundlage für einen Kriterienkatalog, der Stärken und Schwächen der Auskunftsverbünde identifizieren soll.
Der Umfang und die Heterogenität des Informationsangebotes erfordert immer differenzierte Methoden und Hilfsmittel für das gezielte und möglichst ballastfreie Auffinden von Informationsquellen im Kontext eines bestimmten Fachgebietes oder einer wissenschaftlichen Disziplin. Um dieses Ziel zu erreichen, wurden in der letzten Zeit eine Reihe sog. Subject Gateways entwickelt. Bislang liegen weder viele Untersuchungen zur Qualität derartiger Hilfsmittel vor noch ist eine differenzierte Methodik für solche Bewertungen entwickelt worden. Das Projekt Evaluation von Subject Gateways des Internet (EJECT) verfolgte daher dieses Ziel.
In einer szientometrischen bzw. informetrischen Studie werden internationale wie deutschsprachige Zeitschriften der Informations-/Bibliothekswissenschaft und -praxis mittels Zitationsanalyse und Expertenbefragung analysiert. Die zitatenanalytischen Kennwerte umfassen den Impact Factor, die Halbwertszeit, die Zitierfreudigkeit, die relative Häufigkeit von Zeitschriftenselbstreferenzen sowie Soziogramme der einflussreichen Periodika. Der Fragebogen erhebt die Lesehäufigkeit, die Einsetzbarkeit der gelesenen Journale im Tätigkeitsbereich, die Publikationstätigkeit und die Publikationspräferenz sowohl für alle Respondenten als auch für abgrenzbare Gruppen (Praktiker vs. Wissenschaftler, Bibliothekare vs. Dokumentare vs. Informationswissenschaftler, öffentlicher Dienst vs. Informationswirtschaft vs. andere Wirtschaftsunternehmen). 50 informations- und bibliothekswissenschaftliche Periodika werden untersucht, darunter detailliert die deutschsprachigen Zeitschriften "ABI Technik", "Bibliothek. Forschung und Praxis", "Bibliotheksdienst", "BIT Online", "Buch und Bibliothek", "Internationales Symposium für Informationswissenschaft (ISI)", "NfD. Information: Wissenschaft und Praxis", "Password", "ProLibris" (früher: "Mitteilungsblatt der Bibliotheken in NRW"), "VÖB-Mitteilungen" sowie "Zeitschrift für Bibliothekswesen und Bibliographie".