[TI] Erste Klausur

[TI] Einführung in die Technische Informatik
[BuS] Betriebssysteme und Systemsoftware
[PSP] Praktikum Systemprogrammierung
[DakS] Datenkommunikation und Sicherheit

Erste Klausur

Beitragvon fosapleaks » 12.03.12 15:34

Viel Spaß damit :-)!

Link auf Bitte des Lehrstuhls entfernt.
fosapleaks
 
Beiträge: 2
Registriert: 07.08.11 03:07

Re: Erste Klausur

Beitragvon C-Otto » 12.03.12 16:51

fosapleaks schlägt wieder zu!
Dr. rer. nat. Carsten Otto
http://verify.rwth-aachen.de/otto/
Benutzeravatar
C-Otto
 
Beiträge: 568
Registriert: 10.08.06 00:20
Wohnort: Schwalbach am Taunus
Studiert seit: fertig
Anwendungsfach: BWL

Re: Erste Klausur

Beitragvon HE » 12.03.12 17:00

Eigentlich müssten die Admins den Account in tileaks umbenennen...
Benutzeravatar
HE
 
Beiträge: 453
Registriert: 09.03.07 12:20
Wohnort: Aachen
Studiert seit: WS 06/07
Anwendungsfach: Mathe

Re: Erste Klausur

Beitragvon Volker Kamin » 15.03.12 11:35

Danke auch. Toll gemacht.

Wir haben uns sehr lange, sehr viel Arbeit damit gemacht, besonders gut lösbare Klausuraufgabentypen zu erstellen. Durch die Veröffentlichung sind wir jetzt gezwungen bei Null wieder anzufangen. Die Erfahrung hat gezeigt, dass neue Aufgabentypen einige Iterationen brauchen, bis sie so verständlich und einfach zu lösen sind, wie wir das gerne hätten.

Zukünftige Generationen werden Dir sicherlich dankbar sein, dass ihre Aufgaben weniger ausgereift sind. Kannst stolz auf Dich sein.
Volker Kamin
 
Beiträge: 6
Registriert: 15.03.12 11:28
Studiengang: Informatik (Dipl.)
Studiert seit: fertig
Anwendungsfach: BWL

Re: Erste Klausur

Beitragvon C-Otto » 15.03.12 11:40

Volker, ich verstehe dein Problem nicht. Veröffentlicht wurde doch keine noch nicht geschriebene Klausur?
Dr. rer. nat. Carsten Otto
http://verify.rwth-aachen.de/otto/
Benutzeravatar
C-Otto
 
Beiträge: 568
Registriert: 10.08.06 00:20
Wohnort: Schwalbach am Taunus
Studiert seit: fertig
Anwendungsfach: BWL

Re: Erste Klausur

Beitragvon Volker Kamin » 15.03.12 12:02

Das Problem ist, dass wir uns für eine sehr faire Klausurstrategie entschieden haben, die aber nur funktioniert, wenn sich alle an die Regeln halten. Das hat bei anderen Veranstaltungen bisher sehr gut funktioniert.

Wir haben einen Aufgabenpool, den wir recyclen können: d.h. es werden Aufgaben teils nur wenig verändert und zusammen mit neuen Aufgaben zu weiteren Klausuren verarbeitet. Das ist nur möglich, weil höchstens ungenaue Gedächtnisprotokolle existieren, aber keine Kopien der Aufgaben. Dadurch haben wir die Möglichkeit diese Aufgabentypen auf ein sehr hohes Niveau zu bringen, was bedeutet, dass in der Klausur weniger Fragen aufkommen und weniger Missverständnisse zu Punkteabzügen führen. Es ist nunmal so, dass niemand in der Lage ist aus dem Stehgreif eine perfekte Aufgabe zu formulieren - gerade wenn es darum geht Verständnis bei praktischen Themen abzuprüfen. Das mag bei euch Theoretikern anders sein.

Wir glauben, dass eine gute Klausuraufgabe von jedem Studierenden ohne Nachfragen verstanden werden kann. Wir notieren uns sogar Verständnisfragen in der Klausur, um die Aufgabentypen für die nächste Iteration zu verbessern. Außerdem glauben wir, dass eine gute Klausuraufgabe einfach und eindeutig zu bewerten sein muss. Damit fallen Aufgaben wie "Erklären Sie in fünf Sätzen <Thema X>" raus, die zwar einfach zu stellen sind und auch das Wissen abtesten, aber in der Korrektur zwangsläufig nicht 100% fair zu bewerten sind, sobald mehr als ein Korrektor die Aufgabe bearbeitet, was bei einer Pflichtklausur und Textantworten nicht zu vermeiden ist. Bei jeder Klausurkorrektur bewerten wir auch unser Bewertungsschema und passen Aufgaben an, falls es schwierig ist fair und eindeutig Punkte zu vergeben.

Mein Problem ist, dass Teile der Klausur bereits auf diese Weise stark optimiert wurden, eben damit die Studierenden die beste und fairste Klausur kriegen, die wir ihnen Anbieten können. Dadurch, dass diese Aufgabentypen nun alle von uns aus dem Pool gelöscht werden, um zu verhindern, dass Aufgaben statt Inhalte gepaukt werden, wird die Qualität zukünftiger Klausuren zwangsläufig abnehmen, bis wir die neuen Aufgabentypen in mehreren Interationen optimiert haben.

Dieser "Leak" (schon etwas hochtrabend; hier wurde kein verdunkelter Rechtsbruch o.Ä. an die Öffentlichkeit gebracht) hilft niemandem: diese Aufgabentypen gibt es in Zukunft einfach nicht mehr, daher lohnt es sich auch nicht, sie zu lernen. Dieser "Leak" macht uns nur jede Menge arbeit und beschert künftigen Klausurteilnehmern weniger optimierte Aufgaben.

Dass wir die Einsicht in Zukunft anders gestalten und nur noch deutlich weniger Personen gleichzeitig im Raum zulassen, was notwendigerweise die Warteschlagen verlängert, sollte auch klar sein.

Ja, zukünftige Generationen können dem "Leaker" wirklich dankbar sein.
Volker Kamin
 
Beiträge: 6
Registriert: 15.03.12 11:28
Studiengang: Informatik (Dipl.)
Studiert seit: fertig
Anwendungsfach: BWL

Re: Erste Klausur

Beitragvon C-Otto » 15.03.12 12:07

OK, ich verstehe deinen Standpunkt.

Wir Theoretiker machen übrigens auch mal ganz gerne Aufgaben für die Grundstudiumsveranstaltungen Programmierung (und FoSAP und DSAL).

Eventuell würde es sich bei euch anbieten, Aufgabenbeschreibungen nicht in mehreren Iterationen auf ein hohes Niveau zu bringen, sondern direkt in der ersten Iteration. Damit würde jede Generation profitieren, ihr könntet wieder mehr Leute in die Einsicht lassen und euch auch weniger über "Leaks" aufregen. Verständliche Aufgaben zu schreiben ist nicht leicht, aber auch keine schwarze Magie. Unsere Aufgabenstellungen durchlaufen auch viele Iterationen, diese lassen wir allerdings nicht von den Studierenden in der Klausur bewerten.

Ciao,
Carsten
Dr. rer. nat. Carsten Otto
http://verify.rwth-aachen.de/otto/
Benutzeravatar
C-Otto
 
Beiträge: 568
Registriert: 10.08.06 00:20
Wohnort: Schwalbach am Taunus
Studiert seit: fertig
Anwendungsfach: BWL

Re: Erste Klausur

Beitragvon Volker Kamin » 15.03.12 12:17

Ja Carsten,

Du hast natürlich vollkommen recht. Wir sollten am besten von eurem Lehrstuhl lernen, wie man tolle Aufgaben stellt. Oder noch besser, Du machst das einfach direkt selber; schließlich scheinst Du ja so viel Ahnung davon zu haben, wie man abprüft, ob ein Studierender das Schaltverhalten analoger Bauteile verstanden hat.
Bei allem Respekt, aber TI ist keine Programmierung, und Du solltest nicht so tun, als ob Du die Weisheit mit Löffeln gefressen hättest. An dem Konzept hat ein ganzer Lehrstuhl mehrere Jahre gearbeitet und damit sehr gute Erfahrungen gemacht. Du musst uns wirklich nicht erklären, wie man Klausuren stellen muss.

Edit: Nur zur Klarstellung, selbstverständlich gehen alle Klausuraufgaben durch mehrere Iterationen und werden getestet bevor sie in eine Klausur kommen. Aber wir hören an der Stelle noch nicht auf.
Volker Kamin
 
Beiträge: 6
Registriert: 15.03.12 11:28
Studiengang: Informatik (Dipl.)
Studiert seit: fertig
Anwendungsfach: BWL

Re: Erste Klausur

Beitragvon HE » 15.03.12 15:36

Natürlich ist TI keine Programmierung - aber ich kann mir ehrlich nicht vorstellen, dass die Sachverhalte in TI wesentlich schwieriger abzuprüfen sind als in anderen Vorlesungen, die auch ihre Klausuren rausrücken. Sicherlich ist es mehr Aufwand eine neue Aufgabe zu stellen, aber dieser Aufwand ist nunmal Teil des Jobs.

Ganz abgesehen davon ist das ganze Konzept von security by obscurity ja eh vollkommen Banane, wenn man 450 Klausuren verteilt, die die Leute sich spätestens in der Einsicht nochmal in Ruhe anschauen können...
Benutzeravatar
HE
 
Beiträge: 453
Registriert: 09.03.07 12:20
Wohnort: Aachen
Studiert seit: WS 06/07
Anwendungsfach: Mathe

Re: Erste Klausur

Beitragvon odrade » 15.03.12 16:11

Ich bleibe in dieser Diskussion neutral, interessant finde ich aber jedenfalls, dass man in solchen Faellen auf die Art und Weise konzentriert, mit der diese "Leaks" geleistet wird. Ich finde es natuerlich unschoen, so etwas bei der Einsicht zu unternehmen, wo es untersagt wird.

Aber:

Volker Kamin hat geschrieben:Das ist nur möglich, weil höchstens ungenaue Gedächtnisprotokolle existieren, aber keine Kopien der Aufgaben.


Ich wollte nur erwaehnen, dass Sie nur annehmen koennen, dass hoechstens "ungenaue" Gedaechtnisprotokolle existieren.

Ich habe kein perfektes fotografisches Gedaechtnis, aber trotzdem gut genug, so dass ich fuer einige Klausure (nicht TI), exakte Gedächtnisprotokolle schreiben konnte. Ich finde es merkwuerdig, dass man nicht annimmt es _Informatikstudenten_ gibt, die das schaffen koennen. Es ist schon mal passiert, dass ich kurz nach der Klausur sogar exakte Zahlen bei mehreren Matrizen etc. reproduzieren konnte.

Ich habe solche exakte Gedaechtnisprotokolle nie oeffentlich verbreitet aus Respekt zu Lehrstuehlen, aber ich finde es immer noch unelegant, dass wegen dieser Informationsasymmetrie, Studenten, die keine solchen Ressourcen haben, benachteiligt werden.

Stichworte: "All information should be free", Hacker ethic, Open-source, etc.
odrade
 
Beiträge: 25
Registriert: 25.02.09 21:50
Wohnort: Aachen

Re: Erste Klausur

Beitragvon Volker Kamin » 15.03.12 18:43

HE hat geschrieben:Sicherlich ist es mehr Aufwand eine neue Aufgabe zu stellen, aber dieser Aufwand ist nunmal Teil des Jobs.


Es geht nicht darum unseren Aufwand so klein wie möglich zu halten; wir investieren in TI sehr viel Arbeitszeit. Ich wage zu behaupten mehr als andere Lehrstühle. Es geht darum, nicht nur gute, sondern sehr gute Aufgabentypen zu entwickeln.

odrade hat geschrieben:Ich habe kein perfektes fotografisches Gedaechtnis, aber trotzdem gut genug, so dass ich fuer einige Klausure (nicht TI), exakte Gedächtnisprotokolle schreiben konnte. Ich finde es merkwuerdig, dass man nicht annimmt es _Informatikstudenten_ gibt, die das schaffen koennen. Es ist schon mal passiert, dass ich kurz nach der Klausur sogar exakte Zahlen bei mehreren Matrizen etc. reproduzieren konnte.


Der wichtige Unterschied ist: auf ein Gedächtnisprotokoll eines anderen verlässt man sich nicht so schnell. Wir haben schon damit experimentiert, alte Klausuren als Lernmaterial zu veröffentlichen. Das führt dazu, dass ein erheblicher Anteil der Studierenden, nur das Lösunen der darin vorkommenden Aufgaben trainiert, aber nicht die Inhalte der Veranstaltung lernt. Es geht halt - wenn auch ungewollt und explizit verneint - die Botschaft aus: "Ihr müsst nur das hier pauken, dann besteht ihr." In der nächsten Klausur haben dann Aufgabentypen, die früher regelrechte Punktequellen waren, unglaublich schlecht abgeschnitten, weil sie in der veröffentlichten Klausur nicht enthalten waren. Dieses BWL-Style lernen, wollen wir nicht fördern.

odrade hat geschrieben:Stichworte: "All information should be free", Hacker ethic, Open-source, etc.

Really? Wo kommt denn "All information should be free" her? Ich kenne niemanden, der wirklich ALLE informationen frei zugänglich haben will.
Hacker-Ethik? Die verstehe ich so, dass man Missstände aufdeckt, damit diese abgeschafft werden. Welche Missstände müssen hier denn aufgedeckt werden?
Open-Source? Bei einer Klausur? RLY?

Fazit:
Es geht mir nicht darum, ein 100%ig sicheres System zu erstellen. Ich kann und will auch gar nicht verbieten, dass sich Studenten über den Inhalt unserer Klausuren austauschen. Aber, wenn wir als Lehrstuhl entscheiden, dass wir Klausuren nicht veröffentlichen, um die dadurch entstehenden negativen Folgen (die ja gerne übersehen werden) zu vermeiden, ist es einfach kein edles Hackertum, die Klausur heimlich abzufotografieren und ins Netz zu stellen. Es regt mich auch nicht auf, jetzt neue Aufgabentypen entwickeln zu müssen: das ist in der Tat mein Job und mir macht das sogar Spaß. Mich ärgert es, dass der nächsten Generation die optimierten Aufgabentypen vorenthalten werden, sei es aus übersteigertem Geltungsbedürfnis oder falsch verstandener Solidarität.
Volker Kamin
 
Beiträge: 6
Registriert: 15.03.12 11:28
Studiengang: Informatik (Dipl.)
Studiert seit: fertig
Anwendungsfach: BWL

Re: Erste Klausur

Beitragvon HE » 16.03.12 10:24

Volker Kamin hat geschrieben:
HE hat geschrieben:Sicherlich ist es mehr Aufwand eine neue Aufgabe zu stellen, aber dieser Aufwand ist nunmal Teil des Jobs.


Es geht nicht darum unseren Aufwand so klein wie möglich zu halten; wir investieren in TI sehr viel Arbeitszeit. Ich wage zu behaupten mehr als andere Lehrstühle. Es geht darum, nicht nur gute, sondern sehr gute Aufgabentypen zu entwickeln.


Ich wage zu behaupten, dass die ewige Kritik an den Durchfallquoten an TI ein ganz gutes Zeichen ist, dass "sehr gute Aufgabentypen" evtl. nicht von allen so verstanden wird.
Benutzeravatar
HE
 
Beiträge: 453
Registriert: 09.03.07 12:20
Wohnort: Aachen
Studiert seit: WS 06/07
Anwendungsfach: Mathe

Re: Erste Klausur

Beitragvon Volker Kamin » 16.03.12 12:40

Die Durchfallquote, über die sich letztens so furchtbar aufgeregt wurde, war so hoch, weil da alle Studierenden, die irgendwie (zwischendurch) zur Klausur angemeldet waren, als Grundgesamtheit genommen wurden. D.h. in der Quote waren sowohl Leute, die nicht erschienen sind als auch solche, die sich vorher abgemeldet hatten. Diese Zahl kam nicht von uns. Machst Du uns jetzt wirklich zum Vorwurf, dass wir Leute, die nicht erschienen sind oder sich abgemeldet haben, nicht bestehen lassen?
Volker Kamin
 
Beiträge: 6
Registriert: 15.03.12 11:28
Studiengang: Informatik (Dipl.)
Studiert seit: fertig
Anwendungsfach: BWL

Re: Erste Klausur

Beitragvon HE » 16.03.12 12:57

Nö, ich mach euch garkeinen Vorwurf - sowas müsst Ihr mit Prof. Krieg, der KfL und den Studierenden abklären. Ich will aber darauf hinweisen, dass das Selbstlob mit den sehr guten Aufgaben echt komisch wirkt, wenn die TI-Prüfungen relativ viel Kritik einstecken müssen.

Ganz abgesehen davon wurde ich anlässlich dieser Diskussion auch noch auf http://www.asta.rwth-aachen.de/lehre/pr ... gseinsicht hingewiesen - ich vermute mal, dass Eure Regelungen da an einigen Stellen nicht dem entsprechen, was nach Asta Rechtslage ist.
Benutzeravatar
HE
 
Beiträge: 453
Registriert: 09.03.07 12:20
Wohnort: Aachen
Studiert seit: WS 06/07
Anwendungsfach: Mathe

Re: Erste Klausur

Beitragvon Volker Kamin » 16.03.12 15:24

Danke für den Hinweis; ich habe das intern weitergeleitet.

Was die Kritik angeht: wir sind sogar von Studierendenvertretern und Hochschule gelobt worden, weil wir keine Zugangsbeschränkungen zur Klausur (Pflichtübungen, Zulassungsklausur) haben. Dass, wenn alle mitschreiben dürfen, die Durchfallquote höher liegt, als wenn man bereits vorher aussiebt, sollte auch klar sein. Aktuell liegt diese - soweit ich weiß - bei 35%. Trotzdem nehmen wir uns jeder konstruktiven Kritik gerne an.

Ansonsten verabschiede ich mich erst mal aus dieser Diskussion, da ich die nächsten zwei Wochen endlich Urlaub habe.
Volker Kamin
 
Beiträge: 6
Registriert: 15.03.12 11:28
Studiengang: Informatik (Dipl.)
Studiert seit: fertig
Anwendungsfach: BWL

Nächste

Zurück zu Technische Informatik