Brainstorming: Rankings über 2 oder 3 Ecken

[slneu87]

Hallo!

Ich bin auf der Suche nach Rankings, mit Feedbackranking.

Das Beispiel sollte alle Fragen klären:

Wir haben zwei Gruppen Lehrer und Schüler.

Lehrer bewerten ihre Schüler.
Und dank Evaluierungsbögen und Internetportalen gilt neuerdings auch Die Schüler bewerten ihre Lehrer

Ein weiteres Beispiel wäre:

Ebay-Käufer bewerten Ebay-Verkäufer, und andersherum.


Ich suche mehr solche Rankings mit Feedback! Es dürfen auch gerne sehr spezielle Dinge sein, kein Problem. Und den Begriff "ranken" kann man natürlich sehr weit auslegen.

Das ganze kann man sogar noch weiterführen und über 2 Ecken gehen lassen. Dafür kenne ich kein Beispiel, suche aber welche^^

Das ginge dann so:

A bewertet B
B bewertet C
C bewertet A.

Die Ranking müssen nur eine wichtige Bedingung erfüllen:

Die Gruppen müssen disjunkt sein, dass heisst: Ein Schüler bewertet niemals selbst einen Schüler. Und ein Lehrer ebenfalls nie einen Lehrer. Die Elemente aus einer Gruppe bewerten immer nur die Elemente aus der anderen Gruppe und andersherum.


Der Hintergrund des ganzen ist eine Bachelorarbeit. Wir nennen das Bipartites Ranking, und ich habe ein Rankingmethode entwickelt, um Bipartite Rankings zu erstellen. Die Idee dahinter ist, dass mit den normalen Rankingmethoden (was fast immer Durchschnitt ist) das Feedbackranking verloren geht. Es ist logisch, dass das Schüler->Lehrer Ranking auf dem Lehrer->Schüler ranking basiert, oder zumindest irgendetwas damit zu tun hat. Wenn man, so wie es heute üblich ist, einfach von beidem getrennt ein Durchschnittranking erstellt, dann gehen die zusätzlichen Informationen aus dem jeweils anderem Ranking verloren.

Okay, ich wäre unendlich dankbar, wenn mir jemand noch weitere Anwendungsfälle sagen könnte.

Vielen Dank udn viele Grüße.

 

[Willeswind]

Das Beispiel sollte alle Fragen klären: ...

Witzigerweise hat hier keiner eine Frage gestellt.

 

[slneu87]

Versteh ich nicht.
Nein, ich will es nicht verstehen

Wer ernsthaft auf den Thread antworten will versteht was ich meine. Wer nur provozieren will, der schreibt natürlich sowas.

 

[Naphaneal]

er will damit sagen, das weder er noch du eine frage gestellt haben. (ich übrigens auch nicht...)

d.h. wenn du eine frage beantwortet haben willst, mußt du sie auch stellen...bislang steht da nur ein beitrag, der irgendwas über rankings und bewertungen von/über dritte/n

btw hab ich überhaupt nicht verstanden, was du eigentlich willst.

was willst du wissen? (<---oh, sieh mal! eine frage...)

 

[slneu87]

Was soll das denn jetzt?

Okay, ich wäre unendlich dankbar, wenn mir jemand noch weitere Anwendungsfälle sagen könnte.

Vorletzte Zeile.

 

[Naphaneal]

das ist keine frage, sondern eine aussage...aber bevor wir hier noch weiter haare spalten...

bei deinem bipartiten ranking hast du möglicherweise einen denkfehler drin. was ist nun, wenn es schüler gibt, die keinen lehrer bewerten können, da der lehrer bereits von einem anderen schüler bewertet wird? und wie ist es im umgekehrten fall? (stichpunkt paarungsproblem.)

 

[Tazmania]

Es ist logisch, dass das Schüler->Lehrer Ranking auf dem Lehrer->Schüler ranking basiert, oder zumindest irgendetwas damit zu tun hat.

In wiefern?

 

[slneu87]

das ist keine frage, sondern eine aussage...aber bevor wir hier noch weiter haare spalten...

Sag mal, ihr wollt mich doch verarschen...

bei deinem bipartiten ranking hast du möglicherweise einen denkfehler drin. was ist nun, wenn es schüler gibt, die keinen lehrer bewerten können, da der lehrer bereits von einem anderen schüler bewertet wird? und wie ist es im umgekehrten fall? (stichpunkt paarungsproblem.)

Hm, es gibt keine Paarungen. Jeder Knoten in einem bipartiten Graph kann mehrere eingehende und mehrere ausgehende Kanten haben. Es geht nur darum, dass Kanten zwischen Knoten derselben Gruppe nicht erlaubt sind. Ich habe es so formuliert, weil ich davon ausgegangen bin, dass die meisten nicht wissen was ein bipartiter Graph ist.

In wiefern?

Da gibt es mehrere Dinge. Z.B. legen wir fest, dass die Note eines guten Lehrers stärker gewichtet wird als die eines schlechten. Unterm Strich machen wir ein paar Sachen mit der Bewertungsmatrix und berechnen dann den Eigenvektor und interpretieren das Ergebnis als Ergebnis des Rankings.

 

[Tazmania]

Z.B. legen wir fest, dass die Note eines guten Lehrers stärker gewichtet wird als die eines schlechten.

Wie wird denn eoin guter und schlechter Lehrer definiert? Ueber die Bewertung der Schueler?

 

[Tazmania]

doppel

 

[lundehundt]

Okay, ich wäre unendlich dankbar, wenn mir jemand noch weitere Anwendungsfälle sagen könnte.

jedes Mitarbeiterbewertungssystem das zum Ziel hat Mitarbeiter in Leistungsgruppen von Minderleister bis top performer einzuteilen, funktioniert so. Bei uns gibt die Firma sogar vor, wieviel Prozent der Mitarbeiter in welcher Gruppe landen muessen (erzwungene Verteilung). Die Vorgesetzten verteilen ihre Mitarbeiter in sogenannten calibration sessions auf die einzelnen Gruppen (4). Man wird nicht gegen seine Kollegen in der Abteilung gemessen sondern gegen alle Mitarbeiter die im gleichen Jobgrade sind (relative performance evaluation).

 

[Granny Schmitz]

Versteh ich nicht.
Nein, ich will es nicht verstehen

Wer ernsthaft auf den Thread antworten will versteht was ich meine. Wer nur provozieren will, der schreibt natürlich sowas.

Storniert.

 

[lundehundt]

man braucht kein Studium um zweifelsfrei zu erkennen dass hier kaum ernst gemeinten Beitraege kommen sondern nur das uebliche Geblubber

Okay, ich wäre unendlich dankbar, wenn mir jemand noch weitere Anwendungsfälle sagen könnte.

@Tazmania: das ist ueberigens weder eine Aussage noch eine Frage sondern eine Bitte um Hilfe. Ein Wesensmerkmal der meisten Threads in diesem Forum

 

[DeineMudda]

Eventuell meinst Du sowas wie http://de.wikipedia.org/wiki/Dun_&_Bradstreet ?

 

[slneu87]

Wie wird denn eoin guter und schlechter Lehrer definiert? Ueber die Bewertung der Schueler?

Genau.

jedes Mitarbeiterbewertungssystem das zum Ziel hat Mitarbeiter in Leistungsgruppen von Minderleister bis top performer einzuteilen, funktioniert so. Bei uns gibt die Firma sogar vor, wieviel Prozent der Mitarbeiter in welcher Gruppe landen muessen (erzwungene Verteilung). Die Vorgesetzten verteilen ihre Mitarbeiter in sogenannten calibration sessions auf die einzelnen Gruppen (4). Man wird nicht gegen seine Kollegen in der Abteilung gemessen sondern gegen alle Mitarbeiter die im gleichen Jobgrade sind (relative performance evaluation).

Das klingt schonmal sehr gut! Danke. Allerdings glaube ich dass ich das noch nicht ganz verstanden habe. Mitarbeiter werden in Gruppen eingeteilt, und diese Gruppen bewerten sich gegenseitig? Dann wäre es genau das was ich suche!

Eventuell meinst Du sowas wie http://de.wikipedia.org/wiki/Dun_&_Bradstreet ?

Danke für den Hinweis.
Aber fehlt hier nicht das Feedbackranking? Also diese Bewertungsfirma bewertet andere Firmen. Aber bewerten die anderen Firmen die Bewertungsfirma?

 

[lundehundt]

Das klingt schonmal sehr gut! Danke. Allerdings glaube ich dass ich das noch nicht ganz verstanden habe. Mitarbeiter werden in Gruppen eingeteilt, und diese Gruppen bewerten sich gegenseitig? Dann wäre es genau das was ich suche!

Zur Leistungsbewertung beurteilen ausschliesslich Vorgesetzte die untergebenen Mitarbeiter in dem sie sie in Gruppen aufteilen die mit unacceptable (5%), needs improvement (20%), solid perfomer (65%) und top performer (10%) ueberschrieben sind. Mitarbeiter geben Vorgesetzten feedback leider nur in Form von anonymen Mitarbeiterbefragungen

 

[DeineMudda]

Vielleicht wär ja auch die Galerie ein passendes Beispiel

Aktionen wie "Du hast mein Bild mies bewertet, also find ich deins auch sch****e!" soll es Gerüchten nach ja hin und wieder geben.

 

[GhoFi]

Ich weiß zwar nicht genau, wie die Rankings gestrickt sind, aber guck dir mal die Rankings von Wissenschaftsjournalen (Science, Nature, Developmental Psychobiology etc) an.

 

[tafkas]

Mitarbeiter geben Vorgesetzten feedback leider nur in Form von anonymen Mitarbeiterbefragungen

Diese können dann in die "Suggestion Box" eingeworfen werden:

 

[slneu87]

Zur Leistungsbewertung beurteilen ausschliesslich Vorgesetzte die untergebenen Mitarbeiter in dem sie sie in Gruppen aufteilen die mit unacceptable (5%), needs improvement (20%), solid perfomer (65%) und top performer (10%) ueberschrieben sind. Mitarbeiter geben Vorgesetzten feedback leider nur in Form von anonymen Mitarbeiterbefragungen

Klingt gut! Aber bewerten auch die Untergebenen ihre Vorgesetzten? Das wäre dann das Feedbackranking. Das wäre ein sehr gutes Anwendungsbeispiel.
Stellt euch mal vor ihr habt einen sehr guten Chef, der aber anspruchsvoll ist. Und ihr habt eine Gruppe von sehr schlechten Mitarbeitern, die aus Neid und Überforderung den guten absichtlich schlecht bewerten. Die top performer hingegen bewerten ihren Chef alle als sehr positiv, da sie aber in der Minderheit sind würde der Chef in einem Average Ranking dennoch schlecht wegkommen. Mit dem bipartiten Ranking wäre das anders. Das gleiche gilt für die Mitarbeiter! Wenn ein sehr guter Vorgesetzter mich gut bewertet, aber zwei Idiotenchefs mich schlecht, dann wäre mein Schnitt schlecht. Im Bipartiten Ranking aber nicht.
Noch ein weiterer Vorteil des Bipartiten Rankings wäre folgendes: Stellt euch vor, ihr habt zwei gleich gute Chefs. Der eine ist freundlich und bewertet alle Mitarbeiter mit gut (das ginge in dem Beispiel hier jetzt nicht, weil er Prozentzahlen einhalten muss, ich weiß). Der andere Chef hingegen ist anspruchsvoller, bewertet alle bis auf einen eher schlecht. Dieser eine Mitarbeiter würde dann im Mitarbeiterranking deutlich gewinnen. Er gewinnt im Bipartiten Ranking viel stärker dadurch, dass er als einziger positiv bewertet wurde als im average ranking.

Zum Hintergrund: Dadurch, dass wir den Eigenvalue der Bewertungsmatrix berechnen lässt sich der Prozess in dem die Bewertungen zustande kommen etwa so deuten: Der einfluss eines jeden Elements fließt quasi an die Elemente ab die er bewertet. Bewertet er X mit 2 und Y mit 1, dann fließt doppelt so viel Einfluss nach X wie nach Y. Wie hoch sein Einfluss selbst ist ergibt sich aus genau dem gleichen Prozess, nämlich wieviel von denen die ihn bewerten an ihn fließen. Die Berechnung ist also rekursiv definiert. In der Praxis rechnen wir das iterativ aus (mit der Powermethode), d.h. es wird so lange ausprobiert, bis sich die Änderung zum vorherigen Durchgang nur noch um delta (=0,0001) unterscheidet.

So viel noch mal zur Sache an sich, falls jemanden das interessiert.

ielleicht wär ja auch die Galerie ein passendes Beispiel

Aktionen wie "Du hast mein Bild mies bewertet, also find ich deins auch sch****e!" soll es Gerüchten nach ja hin und wieder

Also hier hat man das folgende Problem: Die Bewerter lassen sich nicht in disjunkte Teilmengen einteilen. Ich versuch nochmal die formelle Definition zu wiederholen, die meisten verstehen das besser:

Wir bilden den Bewertungsprozess auf einen gewichteten, gerichteten Graphen ab. Eine Kante von A nach B mit der Gewichtung 10 hieße: A bewertet B mit 10.
Der Graph der am herauskommt muss bipartit sein. Das heisst: Die Knoten lassen sich in zwei disjunkte Teilmengen aufteilen, so dass gilt: Es gibt nur Kanten zwischen Elementen beider Teilmengen, und keine Kanten zwischen Elementen aus derselben Teilmenge.

Und ich denke, dass es bei der Bilderbewertung nicht möglich wäre die Knoten in disjunkte Teilmengen aufzuteilen.

Man kann jetzt fragen: Warum müssen das disjunkte Teilmengen sein? Das ist halt das Thema der Arbeit. Ein Ranking aufzustellen in dem man den Eigenwert berechnet ist überhaupt nichts neues. Im Gegenteil, das kennt jeder von uns in und auswendig, das ist nämlich nichts anderes als der Google PageRank. Der Google Algorithmus basiert auf dem Paper The PageRank Citation web: Bringing Order to the web, und darin wird größtenteils die Technik beschrieben an ein Ranking mittels Eigenvektor Berechnung zu kommen.

Unser Unterschied ist jetzt: Wir schauen uns nur bipartite Ausgangslagen an. Eben wie das Schüler/Lehrer Beispiel. Wir modifizieren die Matrix und führen darauf dann PageRank aus. Deshalb suche ich nur nach Anwendungsfällen die bipartit sind.

Danke für die Hilfe.