Unter “Statistiken - Kompetenz” sehen Sie drei statistische Kennzahlen der Bewertungen, die für die gesamte Kompetenz abgegeben wurden:
Die Kennzahlen werden weiter unten in diesem Artikel ausführlich erklärt. Sie können aber auch jederzeit auf das “Info-i” neben den Statistiken klicken, um sich eine Erklärung anzeigen zu lassen.
Unter “Statistiken - Verhaltensanker” sehen Sie verschiedene statistische Kennzahlen der Bewertungen, die für die einzelnen Verhaltensanker einer Kompetenz abgegeben wurden:
Auf der linken Seite der Tabelle werden die “Verhaltensanker” einzeln aufgeführt, die in den Assessments in den Übungen und der ausgewählten Kompetenz beobachtet und bewertet wurden. In der Kopfzeile werden die dargestellten statistischen Kennzahlen einzeln aufgeführt, die in den Assessments durchgeführt und beobachtet wurden. In der Tabelle sehen Sie die Werte jedes einzelnen Verhaltensankers einer Kompetenz in einer Übung (kompetenz- und übungsspezifisch).
Im Folgenden werden die genannten Kennzahlen ausführlich erklärt.
Sie werden außerdem in den Insights farblich dargestellt, je nachdem wie gut die Werte sind. Damit wollen wir Ihnen einen groben Richtwert für die Interpretation der Ergebnisse geben.
In den Applysia-Insights wird automatisch die Beobachter*innen-Übereinstimmung berechnet (für alle Statistiker*innen: die Intraklassen-Korrelation) – sowohl für die Bewertungen aller Kompetenzen als auch für die Bewertungen der Verhaltensanker.
Die Übereinstimmung ist somit ein Maß dafür, inwieweit sich die Bewertungen verschiedener Beobachter*innen, z.B. bei einem Verhaltensanker, decken. Dabei werden die Unterschiede über Kandidat*innen hinweg gemittelt, um sicherzustellen, dass nur allgemeine Tendenzen und nicht individuelle Profile die Daten beeinflussen. Hat ein Anker also z.B. eine sehr geringe Übereinstimmung, könnte das ein Hinweis darauf sein, dass dieser nicht eindeutig genug formuliert ist und so bei den Beobachter*innen zu Missverständnissen führt, was genau bewertet werden soll. So kann es dann passieren, dass Beobachter*innen sehr verschiedene Bewertungen abgeben, obwohl sie die/den Kandidat*in gleichzeitig beobachtet haben. Hier ist eine möglichst hohe Ausprägung wünschenswert.
Die Beobachtbarkeit gibt Aufschluss darüber, ob eine Kompetenz oder ein Verhaltensanker in einer Übung überhaupt beobachtet werden kann. Wenn z.B. die Hälfte aller Beobachter*innen einen Verhaltensanker in einer Übung nicht bewertet, könnte das dafür sprechen, dass dieser Verhaltensanker in dieser Übung oft einfach nicht (eindeutig) beobachtet werden kann. Dies ist dann ein guter Ansatzpunkt, um die Gestaltung der Übungen gezielt zu evaluieren, bei Bedarf zu überarbeiten und so dann die gewünschten Kompetenzen (eindeutig) zu beurteilen. Hier sollte also eine möglichst 100%ige Ausprägung das Ziel sein.
Die interne Konsistenz (für alle Statistiker*innen: hier Cronbach’s Alpha) hilft dabei zu beurteilen, inwieweit die Verhaltensanker dazu geeignet sind, eine zusammenhängende Kompetenz einzuschätzen. Eine hoher Wert bedeutet, dass die Anker stark miteinander zusammenhängen und somit wahrscheinlich zur Einschätzung derselben Kompetenz geeignet sind. Ist der Wert niedrig, passt vermutlich mindestens einer der Anker nicht zu den anderen. Dies kann insbesondere bei recht breiten Kompetenz-Klassen und “kombinierten” Kompetenzen wie z.B. “Strategie- und Handlungskompetenz” der Fall sein. Grundsätzlich heißen hier niedrigere Werte nicht, dass die Verhaltensanker “schlecht” sind, sondern vielmehr sollte man hier dann genauer hinsehen, denn es könnte ja z.B. auch durchaus Sinn ergeben, die Kompetenz aufzuteilen.
Kurz gesagt: Passen die einzelnen Verhaltensanker zusammen und messen sie dieselbe Kompetenz?