::: Evaluation von Content Management Systemen

::: Evaluation von Content Management Systemen - Projektbeschreibung :::

Eine Initiative von bildung.at, dem eLearning Portal des bm:bwk

Projektziele:

Die Schaffung eines Überblicks aller am Markt befindlichen deutschsprachigen Content Management Systeme (CMS) unter besonderer Berücksichtigung von Open Source Produkten.
Die Evaluation dieser Systeme unter dem Blickwinkel der Eignung für den Einsatz in Schulen und Hochschulen als Alternative zu Learning-Management-Systemen.
Die Evaluation dieser Systeme unter dem Blickwinkel der Eignung für die Implementierung in das österreichische Bildungsportal www.bildung.at.

Ergebnisse des Projektes:

Marktübersicht aller deutschsprachigen Content Management Systeme.
Beschreibung und Operationalisierung der qualitativen Kriterien zur Evaluation.
Shortlist mit Ranking von 5 CMS.
Detaillierte Beschreibung der in der Shortlist vertretenen Kandidaten.
Dokumentation des Entscheidungsfindungsprozesses und der Ergebnisse im Expertenteam.

Projektdesign:
(durch einen Klick auf den jeweiligen Meilenstein gelangen sie zur entsprechenden detaillierten Beschreibung)

1. Sichtung und Dokumentation der am Markt befindlichen CMS:

Die Recherche erfolgt mittels Analyse der Internetauftritte der Herstellerfirmen, fachspezifischen Diskussionsforen und Printmedien. Es erfolgt eine erste Kontaktaufnahme mit den Herstellerfirmen sowie die Anforderung von Informationsmaterialien. Da CMS bereits wesentlich länger auf dem Markt sind als Learning Management Systeme, besteht eine große Angebotsvielfalt. Bisherige Recherchen ergaben, dass es sich um rund 220 Produkte weltweit handelt.

2. Erarbeiten der Evaluationskriterien

Das Erstellen der Evaluationskriterien erfolgt in einem Expertinnengremium. Das Gremium wird durch die Auftraggeberin und das Evaluationsteam besetzt.

Die Aufgaben des Expertinnenteams sind:

a) Erarbeiten der Kriterienliste der Mindestanforderungen
b) Erarbeiten des Kriterienkataloges für die Qualitative Gewichtung und Summierung
c) Gewichtung der Kriterien für die Qualitative Gewichtung und Summierung

Als bewährte Methode der Zusammenarbeit und Entscheidungsfindung von Experten bietet sich hierbei die Delphi-Methode an.

a) Kriterienliste der Mindestanforderungen

Diese dienen einer ersten Grobfilterung der auf dem Markt befindlichen Systeme.

Als erster Schritt wird eine Liste von Mindestanforderungen an das System erstellt. Diese Mindestanforderungen sind so genannte "k o." Kriterien, das heißt, dass Systeme, die nicht über die genannten Mindestanforderungen verfügen, bereits auf dieser Stufe ausgeschieden werden.

b) Kriterienkatalog für die Qualitative Gewichtung und Summierung

Dieser Kriterienkatalog, der ebenfalls im Expertinnengremium erarbeitet wird, stellt die Grundlage für die Qualitative Gewichtung und Summierung dar. Besonders ist darauf zu achten, dass es hier nicht zu einem zahlenmäßigen Übergewicht der technischen Kriterien kommt.

3. Anwendung der Kriterienliste der Mindestanforderungen:

Die definierten Mindestanforderungen (siehe Punkt 2) müssen von den Content Management Systemen erfüllt werden. Es handelt sich dabei um eine Grob-Filterung des Angebotes, das auf den Angaben der Hersteller basiert. Da es sich bei den Mindestanforderungen um sogenannte "k.o. - Kriterien" handelt, ist eine Gewichtung dieser Kriterien nicht notwendig.

Sollten die vorliegenden Produktinformationen (siehe Punkt 1) nicht über alle Mindestanforderungen Aufschluss geben, werden die Hersteller aufgefordert, detaillierte Informationen zu den in Frage kommenden Punkten zur Verfügung zu stellen. Das bloße Nicht-Vorliegen von Informationen ist zu diesem Zeitpunkt noch kein Ausschlusskriterium. Erst wenn die Hersteller auf eine angemessene Nachfristsetzung nicht reagieren, führt dies zum Ausschluss des betreffenden Produktes.

4. Qualitative Gewichtung und Summierung:

Die bereits erstellten endgültigen Evaluationskriterien (siehe Punkt 2) werden durch das Expertinnengremium gewichtet. Anschließend werden die Evaluanden anhand des gewichteten Kriterienkataloges bewertet.

5. Usability-Test:

Nach dem Anwenden des Kriterienkataloges der Mindestkriterien und dem Durchführen der Qualitativen Gewichtung und Summierung, engen wir die Anzahl der Evaluanden von anfänglich rund 220 auf 7 ein. Diese 7 Systeme werden vom Evaluationsteam einem Praxistest unterzogen.

6. Die Shortlist:

Aus den mehr als 200 auf dem Markt befindlichen Angeboten werden durch oben dargestellte Vorgehensweise maximal 5 Angebote (Shortlist) ausgewählt.

Diese fünf Content Management Systeme werden in der Shortlist aufgeführt und im Endbericht detailliert beschrieben.