Details

Details

Relevant für: Organisationsadministrator*innen, Administrator*innen (siehe "Nutzer*innen-Rollen im Cockpit")
Sie haben in der Kopfzeile des Cockpits auf “Insights” geklickt, ein Kompetenzmodell/ eine Vorlage ausgewählt und unter “Benchmark - Kompetenzen nach Übungen” auf “Details” geklickt. 

Hier erhalten Sie für die jeweils ausgewählte Kompetenz eine übungs-spezifische Evaluation der Bewertungen, über alle Assessments, Kandidat*innen und Beobachter*innen hinweg. Dabei wird zwischen der Kompetenz-Ebene und der Verhaltensanker-Ebene differenziert. Die Insights stellen verschiedene Statistiken für jede einzelne Übung bereit, in der die ausgewählte Kompetenz und die Verhaltensanker bewertet wurden.



Statistiken - Kompetenz

Unter “Statistiken - Kompetenz” sehen Sie drei statistische Kennzahlen der Bewertungen, die für die gesamte Kompetenz abgegebenen wurden:

  1. Beobachter*innen-Übereinstimmung
  2. Beobachtbarkeit
  3. Interne Konsistenz

Die Kennzahlen werden weiter unten in diesem Artikel ausführlich erklärt. Sie können aber auch jederzeit auf das “Info-i” neben den Statistiken klicken, um sich eine Erklärung anzeigen zu lassen. 


Statistiken - Verhaltensanker

Unter “Statistiken - Verhaltensanker” sehen Sie verschiedene statistische Kennzahlen der Bewertungen, die für die einzelnen Verhaltensanker einer Kompetenz angegebenen wurden: 

  1. Mittelwert 
  2. Standardabweichung 
  3. Beobachter*innen-Übereinstimmung
  4. Beobachtbarkeit

Die interne Konsistenz wird hier nicht ausgerechnet, da sie in diesem Zusammenhang wenig aussagekräftig ist.  

Auf der linken Seite der Tabelle werden die “Verhaltensanker” einzeln aufgeführt, die mit dieser Vorlage in den Übungen und der ausgewählten Kompetenz beobachtet und bewertet wurden. In der Kopfzeile werden die dargestellten statistischen Kennzahlen einzeln aufgeführt, die mit dieser Vorlage durchgeführt und beobachtet wurden. In der Tabelle sehen Sie die Werte jedes einzelnen Verhaltensankers einer Kompetenz in einer Übung (kompetenz- und übungsspezifisch). 


Im Folgenden werden die genannten Kennzahlen ausführlich erklärt. 

Sie werden außerdem in den Insights farblich dargestellt, je nachdem wie gut die Werte sind. Damit wollen wir Ihnen einen groben Richtwert für die Interpretation der Ergebnisse geben.

  1. Eine grüne Markierung steht dabei für eine gute Ausprägung, 
  2. bei einer gelben Markierung gibt es ein deutliches Verbesserungspotential und 
  3. bei einer roten Markierung sollten die Kompetenzen bzw. Verhaltensanker überarbeitet werden. 

Beobachter*innen-Übereinstimmung  

In den Applysia-Insights wird automatisch die Beobachter*innen-Übereinstimmung berechnet (für alle Statistiker*innen: die Intraklassen-Korrelation) – sowohl für die Bewertungen aller Kompetenzen als auch die Verhaltensanker.

Die Übereinstimmung ist somit ein Maß dafür, inwieweit sich die Bewertungen verschiedener Beobachter*innen, z.B. bei einem Verhaltensanker, decken. Dabei werden die Unterschiede über Kandidat*innen hinweg gemittelt, um sicherzustellen, dass nur allgemeine Tendenzen und nicht individuelle Profile die Daten beeinflussen. Hat ein Anker also z.B. eine sehr geringe Übereinstimmung, könnte das ein Hinweis darauf sein, dass dieser nicht eindeutig genug formuliert ist und so bei den Beobachter*innen zu Missverständnissen führt, was genau bewertet werden soll. So kann es dann passieren, dass Beobachter*innen sehr verschiedene Bewertungen abgeben, obwohl sie die/den Kandidat*in gleichzeitig beobachtet haben. Hier ist eine möglichst hohe Ausprägung wünschenswert. 

Kurz gesagt: Wie hoch ist das Agreement (der Bewertungen) der verschiedenen Beobachter*innen?


Beobachtbarkeit 

Die Beobachtbarkeit gibt Aufschluss darüber, ob eine Kompetenz oder ein Verhaltensanker in einer Übung überhaupt beobachtet werden kann. Wenn z.B. die Hälfte aller Beobachter*innen einen Verhaltensanker in einer Übung nicht bewertet, könnte das dafür sprechen, dass dieser Verhaltensanker in dieser Übung oft einfach nicht (eindeutig) beobachtet werden kann. Dies ist dann ein guter Ansatzpunkt, um die Gestaltung der Übungen gezielt zu evaluieren, bei Bedarf zu überarbeiten und so dann die gewünschten Kompetenzen (eindeutig) zu beurteilen. Hier sollte also eine möglichst 100%ige Ausprägung das Ziel sein. 

Kurz gesagt: Wurden alle Kompetenzen und Verhaltensanker von allen Beobachter*innen bewertet? 


Interne Konsistenz 

Die interne Konsistenz (für alle Statistiker*innen: hier Cronbach’s Alpha) hilft dabei zu beurteilen, inwieweit die Verhaltensanker dazu geeignet sind, eine zusammenhängende Kompetenz einzuschätzen. Eine hoher Wert bedeutet, dass die Anker stark miteinander zusammenhängen und somit wahrscheinlich zur Einschätzung derselben Kompetenz geeignet sind. Ist der Wert niedrig, passt vermutlich mindestens einer der Anker nicht zu den anderen. Dies kann insbesondere bei recht breiten Kompetenz-Klassen und “kombinierten” Kompetenzen wie z.B. “Strategie- und Handlungskompetenz” der Fall sein. Grundsätzlich heißen hier niedrigere Werte nicht, dass die Verhaltensanker “schlecht” sind, sondern vielmehr sollte man hier dann genauer hinsehen, denn es könnte ja z.B. auch durchaus Sinn ergeben, die Kompetenz aufzuteilen.

Kurz gesagt: Passen die einzelnen Verhaltensanker zusammen und messen sie dieselbe Kompetenz? 





    • Related Articles

    • Konsolidierte Matrix

      Relevant für: Normale Beobachter*innen, Lead Beobachter*innen, Moderator*innen (siehe "Beobachter*innen-Rollen in der App") In der “Konsolidierten Matrix” können Sie die Konsolidierungswerte der einzelnen Kandidat*innen in den Kompetenzen direkt ...
    • Übersicht Insights

      Relevant für: Organisationsadministrator*innen, Administrator*innen (siehe "Nutzer*innen-Rollen im Cockpit") Mit den Applysia Insights ermöglichen wir Einblicke in Ihre Assessment-Prozesse ohne langwieriges Sammeln und Auswerten von Daten. Dabei ...
    • Nutzer*innen-Rollen im Cockpit

      Im browserbasierten Cockpit können Sie Ihre Assessments & Vorlagen, die Nutzer*innen der Software sowie Ihren Workspace verwalten.  Nicht jede*r Applysia Nutzer*in hat Zugang zum Cockpit, dies hängt von der jeweiligen Nutzer*innen-Rolle ab, die Ihnen ...
    • Übersicht Konferenz

      Relevant für: Normale Beobachter*innen, Lead Beobachter*innen, Moderator*innen (siehe "Beobachter*innen-Rollen in der App") Klicken Sie in der Assessment Übersicht unten im Ablaufplan unter “Konferenz” auf “Konferenz starten” und es öffnet sich eine ...
    • Benchmarks

      Relevant für: Organisationsadministrator*innen, Administrator*innen (siehe "Nutzer*innen-Rollen im Cockpit") Sie haben in der Kopfzeile des Cockpits auf “Insights” geklickt und ein Kompetenzmodell/ eine Vorlage ausgewählt. Die “Benchmarks” evaluieren ...