::: Evaluation von Learning Management Systemen - Projektphase 1 :::


Eine Initiative von bildung.at, dem eLearning Portal des bm:bwk

 

Globales Projektziel:
Ein durch qualitative und quantitative Untersuchungsmethoden fundiertes Ranking von Learning-Management-Systemen (LMS), das den Aufbau eines Web-Portals mit allen Bildungsangeboten der österreichischen Bildungsanbieter (öffentliche & private) im Sinne von "learning on demand" ermöglicht. Das Ranking basiert sowohl auf den Anforderungen welche von Expertenseite formuliert werden, als auch auf den Bedürfnissen der Praxis.

 

Ergebnisse der Projektphase 1:
Aufzählung Shortlist mit Ranking von 15 LMS, deren Selektion in den Evaluationsschritten 1 - 5 genauer beschrieben wird.
Aufzählung Detaillierte Beschreibung der in der Shortlist vertretenen Kandidaten.
Aufzählung Beschreibung und Operationalisierung der qualitativen Kriterien zur Evaluation als Ausgangsbasis für die weitere Vorgehensweise im Evaluationsprozess.
Aufzählung Dokumentation des Entscheidungsfindungsprozesses und der Ergebnisse im Expertenteam.
Aufzählung Vollständige Dokumentation des Projektverlaufs mittels Projekttagebuch, wodurch eine kontinuierliche Information der Auftraggeber gewährleistet wird.

Sämtliche Ergebnisse werden in Form eines ausführlichen Zwischenberichtes zum Ende der Projektphase 1 aufbereitet. Der Zwischenbericht stellt die Basis für die weitere Vorgehensweise im Evaluationsprozess dar. Gleichzeitig haben die Ergebnisse Modellcharakter, d. h., sie können jederzeit auf Neuentwicklungen am Markt angewendet werden.

 

Projektdesign:
(durch einen Klick auf den jeweiligen Meilenstein gelangen sie zur entsprechenden detaillierten Beschreibung)

 

1. Sichtung und Dokumentation der am Markt befindlichen LMS:

Die Recherche erfolgt mittels Analyse der Internetauftritte der Herstellerfirmen, fachspezifischen Diskussionsforen und Printmedien. Es erfolgt eine erste Kontaktaufnahme mit den Herstellerfirmen sowie die Anforderung von Informationsmaterialien. Bisherige Recherchen ergaben, dass es sich um rund 90 Produkte weltweit handelt.zur Projektübersicht

2. Erarbeiten der Evaluationskriterien:

Das Erstellen der Evaluationskriterien stellt das Kernstück der Projektphase 1 dar. Diese werden in Zusammenarbeit mit einem vom Bundesministerium eingesetzten Expertengremium erarbeitet. Es handelt sich dabei um

a) Kriterienliste der Mindestanforderungen ("k. o." Kriterien)
b) Kriterienkatalog für die Qualitative Gewichtung und Summierung

Als bewährte Methode der Zusammenarbeit und Entscheidungsfindung von Experten bietet sich hierbei die Delphi-Methode an. (Vom Evaluationsteam moderierte Sitzung; Sammlung, Dokumentation und Rückmeldung der Sitzungsergebnisse an das Expertengremium; Begutachtung und Rückmeldung durch das Expertenteam). zur Projektübersicht

a) Kriterienliste der Mindestanforderungen:

Diese sollen einer ersten Grobfilterung der auf dem Markt befindlichen Systeme dienen (siehe Punkt 3).

Als erster Schritt wird eine Liste von Mindestanforderungen an das System in einer moderierten Sitzung erstellt. Diese Mindestanforderungen sind sogenannte "k. o." Kriterien, das heißt, dass Systeme, die nicht über die genannten Mindestanforderungen verfügen, bereits auf dieser Stufe ausgeschieden werden können. zur Projektübersicht

b) Kriterienkatalog für die Qualitative Gewichtung und Summierung:

Auch dieser Kriterienkatalog wird wie oben beschrieben in Zusammenarbeit mit dem Expertenteam des Bundesministeriums erarbeitet.

Dabei werden die Mindestanforderungen zum endgültigen Kriterienkatalog erweitert. Besonders wichtig erscheint hier auch das Kriterium "Didaktik". Insbesondere wird darauf geachtet, dass die Systeme alternative Lernmodelle unterstützen. (Vgl. Baumgartner 1993: 281 - 313; Baumgartner / Payr 1994: 77 - 99, 2001: 229 - 243; Schulmeister 2000). zur Projektübersicht

3. Anwendung der Kriterienliste von Mindestanforderungen:

Die definierten Mindestanforderungen (siehe Punkt 2) müssen von den LMS erfüllt werden. Es handelt sich dabei um eine Grob-Filterung des Angebotes, das auf den Angaben der Hersteller basiert. Da es sich bei den Mindestanforderungen um sogenannte "k.o. - Kriterien" handelt, ist eine Gewichtung dieser Kriterien nicht notwendig.

Sollten die vorliegenden Produktinformationen (siehe Punkt 1) nicht über alle Mindestanforderungen Aufschluss geben, werden die Hersteller aufgefordert, detaillierte Informationen zu den in Frage kommenden Punkten zur Verfügung zu stellen. Das bloße Nicht-Vorliegen von Informationen ist zu diesem Zeitpunkt noch kein Ausschlusskriterium. Erst wenn die Hersteller auf eine angemessene Nachfristsetzung nicht reagieren, führt dies zum Ausschluss des betreffenden Produktes. zur Projektübersicht

Jene Evaluanden, die alle Mindestanforderungen erfüllen, werden im nächsten Schritt einer

4. Qualitative(n) Gewichtung und Summierung (QGS)

unterzogen.

Die Evaluanden werden anhand des gewichteten Kriterienkataloges bewertet. Dieses Verfahren wurde schon mehrfach erfolgreich angewendet, unter anderem beim European Academic Software Award (EASA) 1996 und beim Mediendidaktischen Hochschulpreis (MeDiDa-Prix) 2000. (Vgl. Baumgartner / Frank 2000 in: Scheuermann (Hg) 2000: 63 - 81)

Die Vorteile der Methode der Qualitativen Gewichtung und Summierung liegen darin, dass die Ergebnisse "sinnvoll, nachvollziehbar und überprüfbar" (Baumgartner / Frank 2000) sind. Die QGS muss kein eindeutiges Ergebnis liefern, jedenfalls aber ein qualitatives Ranking der Evaluanden. zur Projektübersicht

5. Erstellen der Shortlist:

Aus den rund 90 auf dem Markt befindlichen Angeboten werden durch oben dargestellte Vorgehensweise maximal 15 Angebote (Shortlist) ausgewählt.zur Projektübersicht

 

Mit dem nächsten Evaluationsschritt beginnt die zweite (stark praxisorientierte) Projektphase, die an dieser Stelle lediglich kurz umrissen werden soll.

7. Usability-Test:

Die untersuchten Systeme werden einem Praxistest unterzogen. Auf dieser Stufe werden auch die Erfahrungen von Anwendern der 15 auf der Shortlist vertretenen Produkte in die Bewertung mit einbezogen.
Die nach dem umfangreichen Usability-Test maximal fünf besten Systeme (ranking), werden nun einer abschließenden Evaluation unterzogen. zur Projektübersicht

7. Anwenderbefragung:

Die Zielgruppe der eLearning Management Plattform sind laut dem oben angeführten Projektkurzbericht (Projektkurzbericht vom 11. Oktober 2000 des Projektteams eLearning Austria), Anwender der folgenden Bildungsträger:

▪ kommerzielle Bildungsinstitutionen
▪ primäre Bildungsebene
▪ sekundäre Bildungsebene
▪ tertiäre Bildungsebene

zur Projektübersicht

 

Internetadressen:

Bigelow, John: Elements of an Online Course.
URL: http://cobe.boisestate.edu/working/elements.htm

Berkeley University: Webbased instruction tools
URL: http://socrates.berkeley.edu:7521/wbi-tools/index.html

Blackboard: Bringing Education Online
URL: http://www.blackboard.com

Brigham Young University - Digital Learning Environments Research and Development Group: Classification of Interactivity and Amount Of Instruction Delivered Online: All Variables
URL: http://dle.byu.edu/research/matrix/

Britain, Sandy und Liber,Oleg: A Framework for Pedagogical Evaluation of Virtual Learning Environments. URL: http://www.jtap.ac.uk/reports/htm/jtap-041.html

BSCW: Basic Support for Cooperative Work
URL: http://bscw.gmd.de

Intranets.com: Get everyone on the same page
URL: http://www.intranets.com

 

nach oben ::: zur Startseite