Details
Relevant für: Organisationsadministrator*innen, Administrator*innen (siehe "Nutzer*innen-Rollen im Cockpit")
Statistiken - Kompetenz
Unter “Statistiken - Kompetenz” sehen Sie drei statistische Kennzahlen der Bewertungen, die für die gesamte Kompetenz abgegeben wurden:
- Übereinstimmung
- Beobachtbarkeit
- Interne Konsistenz
Die Kennzahlen werden weiter unten in diesem Artikel ausführlich erklärt. Sie können aber auch jederzeit auf das “Info-i” neben den Statistiken klicken, um sich eine Erklärung anzeigen zu lassen.
Statistiken - Verhaltensanker
Unter “Statistiken - Verhaltensanker” sehen Sie verschiedene statistische Kennzahlen der Bewertungen, die für die einzelnen Verhaltensanker einer Kompetenz abgegeben wurden:
- Mittelwert
- Standardabweichung
- Übereinstimmung
- Beobachtbarkeit
Auf der linken Seite der Tabelle werden die “Verhaltensanker” einzeln aufgeführt, die in den Assessments in den Übungen und der ausgewählten Kompetenz beobachtet und bewertet wurden. In der Kopfzeile werden die dargestellten statistischen Kennzahlen einzeln aufgeführt, die in den Assessments durchgeführt und beobachtet wurden. In der Tabelle sehen Sie die Werte jedes einzelnen Verhaltensankers einer Kompetenz in einer Übung (kompetenz- und übungsspezifisch).
Im Folgenden werden die genannten Kennzahlen ausführlich erklärt.
Sie werden außerdem in den Insights farblich dargestellt, je nachdem wie gut die Werte sind. Damit wollen wir Ihnen einen groben Richtwert für die Interpretation der Ergebnisse geben.
- Eine grüne Markierung steht dabei für eine gute Ausprägung,
- bei einer gelben Markierung gibt es ein deutliches Verbesserungspotential und
- bei einer orangen Markierung sollten die Kompetenzen bzw. Verhaltensanker überarbeitet werden.
Übereinstimmung
In den Applysia-Insights wird automatisch die Beobachter*innen-Übereinstimmung berechnet (für alle Statistiker*innen: die Intraklassen-Korrelation) – sowohl für die Bewertungen aller Kompetenzen als auch für die Bewertungen der Verhaltensanker.
Die Übereinstimmung ist somit ein Maß dafür, inwieweit sich die Bewertungen verschiedener Beobachter*innen, z.B. bei einem Verhaltensanker, decken. Dabei werden die Unterschiede über Kandidat*innen hinweg gemittelt, um sicherzustellen, dass nur allgemeine Tendenzen und nicht individuelle Profile die Daten beeinflussen. Hat ein Anker also z.B. eine sehr geringe Übereinstimmung, könnte das ein Hinweis darauf sein, dass dieser nicht eindeutig genug formuliert ist und so bei den Beobachter*innen zu Missverständnissen führt, was genau bewertet werden soll. So kann es dann passieren, dass Beobachter*innen sehr verschiedene Bewertungen abgeben, obwohl sie die/den Kandidat*in gleichzeitig beobachtet haben. Hier ist eine möglichst hohe Ausprägung wünschenswert.
Beobachtbarkeit
Die Beobachtbarkeit gibt Aufschluss darüber, ob eine Kompetenz oder ein Verhaltensanker in einer Übung überhaupt beobachtet werden kann. Wenn z.B. die Hälfte aller Beobachter*innen einen Verhaltensanker in einer Übung nicht bewertet, könnte das dafür sprechen, dass dieser Verhaltensanker in dieser Übung oft einfach nicht (eindeutig) beobachtet werden kann. Dies ist dann ein guter Ansatzpunkt, um die Gestaltung der Übungen gezielt zu evaluieren, bei Bedarf zu überarbeiten und so dann die gewünschten Kompetenzen (eindeutig) zu beurteilen. Hier sollte also eine möglichst 100%ige Ausprägung das Ziel sein.
Interne Konsistenz
Die interne Konsistenz (für alle Statistiker*innen: hier Cronbach’s Alpha) hilft dabei zu beurteilen, inwieweit die Verhaltensanker dazu geeignet sind, eine zusammenhängende Kompetenz einzuschätzen. Eine hoher Wert bedeutet, dass die Anker stark miteinander zusammenhängen und somit wahrscheinlich zur Einschätzung derselben Kompetenz geeignet sind. Ist der Wert niedrig, passt vermutlich mindestens einer der Anker nicht zu den anderen. Dies kann insbesondere bei recht breiten Kompetenz-Klassen und “kombinierten” Kompetenzen wie z.B. “Strategie- und Handlungskompetenz” der Fall sein. Grundsätzlich heißen hier niedrigere Werte nicht, dass die Verhaltensanker “schlecht” sind, sondern vielmehr sollte man hier dann genauer hinsehen, denn es könnte ja z.B. auch durchaus Sinn ergeben, die Kompetenz aufzuteilen.
Kurz gesagt: Passen die einzelnen Verhaltensanker zusammen und messen sie dieselbe Kompetenz?
Related Articles
Nutzer*innen-Rollen im Cockpit
Im browserbasierten Cockpit können Sie Ihre Assessments & Vorlagen, die Nutzer*innen der Software sowie Ihren Workspace verwalten. Nicht jede*r Applysia Nutzer*in hat Zugang zum Cockpit, dies hängt von der jeweiligen Nutzer*innen-Rolle ab, die Ihnen ...Konsolidierte Matrix
Relevant für: Normale Beobachter*innen, Lead Beobachter*innen, Moderator*innen (siehe "Beobachter*innen-Rollen in der App") In der “Konsolidierten Matrix” können Sie die Konsolidierungswerte der einzelnen Kandidat*innen in den Kompetenzen direkt ...Übersicht Insights
Relevant für: Organisationsadministrator*innen, Administrator*innen (siehe "Nutzer*innen-Rollen im Cockpit") Mit den Applysia Insights ermöglichen wir Einblicke in Ihre Assessment-Prozesse ohne langwieriges Sammeln und Auswerten von Daten. Dabei ...Übersicht Konferenz
Relevant für: Normale Beobachter*innen, Lead Beobachter*innen, Moderator*innen (siehe "Beobachter*innen-Rollen in der App") Klicken Sie in der Assessment Übersicht unten im Ablaufplan unter “Konferenz” auf “Konferenz starten” und es öffnet sich eine ...Benchmarks
Relevant für: Organisationsadministrator*innen, Administrator*innen (siehe "Nutzer*innen-Rollen im Cockpit") Sie haben in der Kopfzeile des Cockpits auf “Insights” geklickt und spezifische Filteroptionen ausgewählt. Die “Benchmarks” evaluieren anhand ...