[Mustererkennung und NN] Übung 5

Vorlesungen, Seminare und Praktika aus dem Bereich Angewandte Informatik
Lectures, seminars and labs from the area Applied Computer Science

[Mustererkennung und NN] Übung 5

Beitragvon partisan » 21.11.08 15:43

Hallo,

hat sich schon jemand an der Aufgabe 2a probiert? Ich habe irgendwie das Gefühl, dass sie schwerer ist als vom Lehrstuhl gedacht, oder ich sehe den einfachen Weg nicht.
Also die log-Liklihood-funktion aufzustellen ist kein Problem. Doch beim Versuch das zu maximieren wird es haarig. Ich komme auf eine Summe über alle ln(thetas) multipliziert mit der jeweiligen Gesamtanzahl des Vorkommens des zugehörigen Wortes, die dann maximiert werden soll.
Doch das Problem stellt sich als ziemlich schwierig heraus. Gibt es vielleicht irgendwelche Erkenntnisse, die wir verwenden sollen? Weil so wäre es komisch, für diese Aufgabe 6 Punkte zu verteilen, während die viel viel einfachere 1(b) ähnlich viele Punkte gibt.
Benutzeravatar
partisan
 
Beiträge: 88
Registriert: 05.09.06 17:48
Wohnort: Aachen
Studiengang: Informatik (Dipl.)
Studiert seit: SS 07
Anwendungsfach: Chemie

Beitragvon partisan » 23.11.08 15:21

Okay, hab jetzt die Lösung. Lagrange-Multiplikator heißt das Zauberwort.
Benutzeravatar
partisan
 
Beiträge: 88
Registriert: 05.09.06 17:48
Wohnort: Aachen
Studiengang: Informatik (Dipl.)
Studiert seit: SS 07
Anwendungsfach: Chemie

Beitragvon ibogi » 23.11.08 19:43

Danke für den Tipp, der war sehr hilfreich
ibogi
 
Beiträge: 54
Registriert: 29.12.07 00:53

Beitragvon Jens F » 24.11.08 12:22

Was generelles zu den Übungen und den Trainingsverfahren.

Wenn es gilt was zu maximieren oder zu minimieren verwendet immer Lagrange. Das macht euch das Leben deutlich einfacher.
Jens F
 
Beiträge: 125
Registriert: 08.03.07 14:32
Wohnort: Aachen

Beitragvon ibogi » 30.11.08 17:06

I have one question regarding the task 2(b). If for some word in the document theta=0, what value should I put in the formula for multinomial distribution. If I put 1, then I get completely wrong result, because the highest discriminant has a class where the words from the document doesn't appear at all.
ibogi
 
Beiträge: 54
Registriert: 29.12.07 00:53

Beitragvon partisan » 01.12.08 20:47

Hallo,

i put 0 for this theta into the formular. For determining the classification I use the log of the probability and for the log(theta) values with theta=0, I use log(0) = -big_Float_Value.
I don't fell comfortable with this, because with this assumption you get inifinity*0 = 0, but I don't see another solution.
Benutzeravatar
partisan
 
Beiträge: 88
Registriert: 05.09.06 17:48
Wohnort: Aachen
Studiengang: Informatik (Dipl.)
Studiert seit: SS 07
Anwendungsfach: Chemie


Zurück zu Angewandte Informatik / Applied Computer Science