Refine
Document Type
- Working Paper (3)
- Article (1)
- Conference Proceeding (1)
Has Fulltext
- yes (5)
Keywords
- Evaluation (5) (remove)
In einer szientometrischen bzw. informetrischen Studie werden internationale wie deutschsprachige Zeitschriften der Informations-/Bibliothekswissenschaft und -praxis mittels Zitationsanalyse und Expertenbefragung analysiert. Die zitatenanalytischen Kennwerte umfassen den Impact Factor, die Halbwertszeit, die Zitierfreudigkeit, die relative Häufigkeit von Zeitschriftenselbstreferenzen sowie Soziogramme der einflussreichen Periodika. Der Fragebogen erhebt die Lesehäufigkeit, die Einsetzbarkeit der gelesenen Journale im Tätigkeitsbereich, die Publikationstätigkeit und die Publikationspräferenz sowohl für alle Respondenten als auch für abgrenzbare Gruppen (Praktiker vs. Wissenschaftler, Bibliothekare vs. Dokumentare vs. Informationswissenschaftler, öffentlicher Dienst vs. Informationswirtschaft vs. andere Wirtschaftsunternehmen). 50 informations- und bibliothekswissenschaftliche Periodika werden untersucht, darunter detailliert die deutschsprachigen Zeitschriften "ABI Technik", "Bibliothek. Forschung und Praxis", "Bibliotheksdienst", "BIT Online", "Buch und Bibliothek", "Internationales Symposium für Informationswissenschaft (ISI)", "NfD. Information: Wissenschaft und Praxis", "Password", "ProLibris" (früher: "Mitteilungsblatt der Bibliotheken in NRW"), "VÖB-Mitteilungen" sowie "Zeitschrift für Bibliothekswesen und Bibliographie".
Der vorliegende Bericht ist das Ergebnis einer Projektarbeit von Studierenden am Institut für Informationswissenschaft der Fachhochschule Köln im Studiengang Bibliothekswesen. Im Rahmen dieser Arbeit untersuchten sieben Studierende während des Sommersemesters 2011 die bibliothekarische Auskunft anhand eines zu diesem Zwecke erstellten Kriterienkatalogs. Die sieben Studierenden testeten die Bibliotheken über vier verschiedene Auskunftskanäle (Chat, Persönliche Auskunft, Telefonische Auskunft und Webformular/E-Mail-Auskunft). Zuerst werden der Kriterienkatalog und dessen Anforderungen sowie der Bewertungsbogen für die Tests vorgestellt. Im folgenden Kapitel steht die Erarbeitung der Testfragen, die zur Bewertung des Auskunftsprozesses gestellt wurden, im Fokus. Es wird eine quantitative Übersicht aller Fragen pro Auskunftskanal und Bibliothekstyp gegeben. Anschließend werden die gestellten Testfragen aufgelistet und erläutert. Zudem werden die Erfahrungen des Pretests sowie die Testphase erläutert. Im nächsten Kapitel erfolgt die Auswertung der gesamten Untersuchung. Die Analysen und Ergebnisse werden jeweils durch Torten- oder Säulendiagramme visualisiert. Fazit und Ausblick runden die Ergebnispräsentation ab. Im Anhang befinden sich eine Auflistung der Auskunftstypen und Bibliothekstypen, das zu Grunde liegende Notenschema, die Auswertungsbögen sowie zwei Erfahrungsberichte der Auskunft jeder Studierenden.
Der Umfang und die Heterogenität des Informationsangebotes erfordert immer differenzierte Methoden und Hilfsmittel für das gezielte und möglichst ballastfreie Auffinden von Informationsquellen im Kontext eines bestimmten Fachgebietes oder einer wissenschaftlichen Disziplin. Um dieses Ziel zu erreichen, wurden in der letzten Zeit eine Reihe sog. Subject Gateways entwickelt. Bislang liegen weder viele Untersuchungen zur Qualität derartiger Hilfsmittel vor noch ist eine differenzierte Methodik für solche Bewertungen entwickelt worden. Das Projekt Evaluation von Subject Gateways des Internet (EJECT) verfolgte daher dieses Ziel.
Academic search systems aid users in finding information covering specific topics of scientific interest and have evolved from early catalog-based library systems to modern web-scale systems. However, evaluating the performance of the underlying retrieval approaches remains a challenge. An increasing amount of requirements for producing accurate retrieval results have to be considered, e.g., close integration of the system’s users. Due to these requirements, small to mid-size academic search systems cannot evaluate their retrieval system in-house. Evaluation infrastructures for shared tasks alleviate this situation. They allow researchers to experiment with retrieval approaches in specific search and recommendation scenarios without building their own infrastructure. In this paper, we elaborate on the benefits and shortcomings of four state-of-the-art evaluation infrastructures on search and recommendation tasks concerning the following requirements: support for online and offline evaluations, domain specificity of shared tasks, and reproducibility of experiments and results. In addition, we introduce an evaluation infrastructure concept design aiming at reducing the shortcomings in shared tasks for search and recommender systems.
Online services such as social networks, online shops, and search engines deliver different content to users depending on their location, browsing history, or client device. Since these services have a major influence on opinion forming, understanding their behavior from a social science perspective is of greatest importance. In addition, technical aspects of services such as security or privacy are becoming more and more relevant for users, providers, and researchers. Due to the lack of essential data sets, automatic black box testing of online services is currently the only way for researchers to investigate these services in a methodical and reproducible manner. However, automatic black box testing of online services is difficult since many of them try to detect and block automated requests to prevent bots from accessing them.
In this paper, we introduce a testing tool that allows researchers to create and automatically run experiments for exploratory studies of online services. The testing tool performs programmed user interactions in such a manner that it can hardly be distinguished from a human user. To evaluate our tool, we conducted - among other things - a large-scale research study on Risk-based Authentication (RBA), which required human-like behavior from the client. We were able to circumvent the bot detection of the investigated online services with the experiments. As this demonstrates the potential of the presented testing tool, it remains to the responsibility of its users to balance the conflicting interests between researchers and service providers as well as to check whether their research programs remain undetected.