Details
Relevant für: Workspace Administrator*innen, Administrator*innen (siehe "Nutzer*innen-Rollen")Sie haben in der Kopfzeile der Administrationsoberfläche auf “Insights” geklickt, Filteroptionen ausgewählt und unter “Benchmark - Cluster und Kompetenzen nach Übungen” auf “Details” geklickt.
Hier erhalten Sie für die jeweils ausgewählte Kompetenz eine übungs-spezifische Evaluation der Bewertungen, über alle Assessments, Kandidat*innen und Beobachter*innen hinweg. Dabei wird zwischen der Kompetenz-Ebene und der Verhaltensanker-Ebene differenziert. Die Insights stellen verschiedene Statistiken für jede einzelne Übung bereit, in der die ausgewählte Kompetenz und die Verhaltensanker bewertet wurden.
Oben sehen Sie zunächst die Kompetenz, die Sie ausgewählt haben, um sich die übungsspezifischen Details anzeigen zu lassen. Daneben wird Ihnen das Kompetenz Cluster, dem die ausgewählte Kompetenz zugeordnet ist, in grauer Schrift angezeigt.
Sofern Sie keine Kompetenz Cluster hinterlegt haben, sehen Sie hier nur den Namen der ausgewählten Kompetenz.
Darunter wird Ihnen die jeweilige Übung mit den Details auf Kompetenz-Ebene und auf Verhaltensanker-Ebene angezeigt. Dieser Aufbau wiederholt sich für alle Übungen, in denen die gewählte Kompetenz beobachtet und bewertet wurde.
Statistiken - Kompetenz
Unter “Statistiken - Kompetenz” sehen Sie drei statistische Kennzahlen der Bewertungen, die für die gesamte Kompetenz abgegeben wurden:
- Übereinstimmung
- Beobachtbarkeit
- Interne Konsistenz
Die Kennzahlen werden weiter unten in diesem Artikel ausführlich erklärt. Sie können aber auch jederzeit auf das “Info-i” neben den Statistiken klicken, um sich eine Erklärung anzeigen zu lassen.
Statistiken - Verhaltensanker
Unter “Statistiken - Verhaltensanker” sehen Sie verschiedene statistische Kennzahlen der Bewertungen, die für die einzelnen Verhaltensanker einer Kompetenz abgegeben wurden:
- Mittelwert
- Standardabweichung
- Übereinstimmung
- Beobachtbarkeit
Die interne Konsistenz wird hier nicht ausgerechnet, da sie in diesem Zusammenhang wenig aussagekräftig ist.
Auf der linken Seite der Tabelle werden die “Verhaltensanker” einzeln aufgeführt, die in den Assessments in den Übungen und der ausgewählten Kompetenz beobachtet und bewertet wurden. In der Kopfzeile werden die dargestellten statistischen Kennzahlen einzeln aufgeführt, die in den Assessments durchgeführt und beobachtet wurden. In der Tabelle sehen Sie die Werte jedes einzelnen Verhaltensankers einer Kompetenz in einer Übung (kompetenz- und übungsspezifisch).
Im Folgenden werden die genannten Kennzahlen ausführlich erklärt.
Sie werden außerdem in den Insights farblich dargestellt, je nachdem wie gut die Werte sind. Damit wollen wir Ihnen einen groben Richtwert für die Interpretation der Ergebnisse geben.
- Eine grüne Markierung steht dabei für eine gute Ausprägung,
- bei einer gelben Markierung gibt es ein deutliches Verbesserungspotential und
- bei einer orangen Markierung sollten die Kompetenzen bzw. Verhaltensanker überarbeitet werden.
Übereinstimmung
In den Applysia-Insights wird automatisch die Beobachter*innen-Übereinstimmung berechnet (für alle Statistiker*innen: die Intraklassen-Korrelation) – sowohl für die Bewertungen aller Kompetenzen als auch für die Bewertungen der Verhaltensanker.
Die Übereinstimmung ist somit ein Maß dafür, inwieweit sich die Bewertungen verschiedener Beobachter*innen, z.B. bei einem Verhaltensanker, decken. Dabei werden die Unterschiede über Kandidat*innen hinweg gemittelt, um sicherzustellen, dass nur allgemeine Tendenzen und nicht individuelle Profile die Daten beeinflussen. Hat ein Anker also z.B. eine sehr geringe Übereinstimmung, könnte das ein Hinweis darauf sein, dass dieser nicht eindeutig genug formuliert ist und so bei den Beobachter*innen zu Missverständnissen führt, was genau bewertet werden soll. So kann es dann passieren, dass Beobachter*innen sehr verschiedene Bewertungen abgeben, obwohl sie die/den Kandidat*in gleichzeitig beobachtet haben. Hier ist eine möglichst hohe Ausprägung wünschenswert.
Kurz gesagt: Wie hoch ist das Agreement (der Bewertungen) der verschiedenen Beobachter*innen?
Beobachtbarkeit
Die Beobachtbarkeit gibt Aufschluss darüber, ob eine Kompetenz oder ein Verhaltensanker in einer Übung überhaupt beobachtet werden kann. Wenn z.B. die Hälfte aller Beobachter*innen einen Verhaltensanker in einer Übung nicht bewertet, könnte das dafür sprechen, dass dieser Verhaltensanker in dieser Übung oft einfach nicht (eindeutig) beobachtet werden kann. Dies ist dann ein guter Ansatzpunkt, um die Gestaltung der Übungen gezielt zu evaluieren, bei Bedarf zu überarbeiten und so dann die gewünschten Kompetenzen (eindeutig) zu beurteilen. Hier sollte also eine möglichst 100%ige Ausprägung das Ziel sein.
Kurz gesagt: Wurden alle Kompetenzen und Verhaltensanker von allen Beobachter*innen bewertet?
Interne Konsistenz
Die interne Konsistenz (für alle Statistiker*innen: hier Cronbach’s Alpha) hilft dabei zu beurteilen, inwieweit die Verhaltensanker dazu geeignet sind, eine zusammenhängende Kompetenz einzuschätzen. Eine hoher Wert bedeutet, dass die Anker stark miteinander zusammenhängen und somit wahrscheinlich zur Einschätzung derselben Kompetenz geeignet sind. Ist der Wert niedrig, passt vermutlich mindestens einer der Anker nicht zu den anderen. Dies kann insbesondere bei recht breiten Kompetenz-Klassen und “kombinierten” Kompetenzen wie z.B. “Strategie- und Handlungskompetenz” der Fall sein. Grundsätzlich heißen hier niedrigere Werte nicht, dass die Verhaltensanker “schlecht” sind, sondern vielmehr sollte man hier dann genauer hinsehen, denn es könnte ja z.B. auch durchaus Sinn ergeben, die Kompetenz aufzuteilen.
Kurz gesagt: Passen die einzelnen Verhaltensanker zusammen und messen sie dieselbe Kompetenz?
Related Articles
Wie kann ich die Einzelergebnisse der Kandidat*innen einsehen?
In der Konferenz sehen Sie die konsolidierte Matrix. Um sich die Einzelergebnisse der Kandidat*innen anzusehen, klicken Sie unterhalb der konsolidierten Matrix (egal ob bei der Bewertung oder beim Ranking) auf den “Details Button” unter den Werten ...Nutzer*innen-Rollen in der Administrationsoberfläche
In der browserbasierten Administrationsoberfläche können Sie Ihre Assessments & Vorlagen, die Nutzer*innen der Software sowie Ihren Workspace verwalten. Nicht jede*r Applysia Nutzer*in hat Zugang zu der Administrationsoberfläche, dies hängt von der ...Konsolidierte Matrix
Relevant für: Normale Beobachter*innen, Lead Beobachter*innen, Moderator*innen (siehe "Nutzer*innen-Rollen") In der “Konsolidierten Matrix” können Sie die Konsolidierungswerte der einzelnen Kandidat*innen in den Kompetenzen direkt miteinander ...Konferenz: Übersicht
Relevant für: Normale Beobachter*innen, Lead Beobachter*innen, Moderator*innen (siehe "Nutzer*innen-Rollen") Klicken Sie in der Assessment Übersicht unten im Ablaufplan unter “Konferenz” auf “Konferenz starten” und es öffnet sich eine neue Seite. ...Überblick
Willkommen im Applysia Support Portal! Hier bekommen Sie Unterstützung bei der Nutzung unserer Services sowie Antworten auf Ihre Fragen rund um unsere Software. Dazu haben wir Artikel zu einer Vielzahl von Themen und Funktionen erstellt. Applysia ...