Statistik: EM Algorithmus für Mixture Model

[BigBadWolf]

Hey, ich denke, das ist ne simple Aufgabe für die hiesigen Statistik-Checker. Ich wollt aber nochmal jemanden drübergucken lassen und habe keine Freunde...

Es ist folgendes Mixture Model gegeben (zwei Verteilungen, univariat, gleiche Varianz):

Schreibt man die Log-Likelihood so? Ich bin nicht so der Held, wenn es darum geht, wie man Dinge genau schreibt. Also passt das so?

Dafür soll der EM Algorithmus dargestellt werden.

Hier kommt es mir vor allem auf Schritt 3 an, insbesondere die Varianz.

Ein "jo, passt" würde mir theoretisch ausreichen. Ich weiß auch nicht, was ich anderes erwarte. Evtl findet ja der ein oder andere kurz Zeit, drüber zu gucken.

 

[xornado]

Ad 1.

f(x,theta) wird generell als kombination der beiden dichtefunktionen f(mu1,sigma1) und f(mu2,sigma2) dargestellt. nicht jedoch als kombination der kumulativen.

Dementsprechend sieht die likelihood auch so aus:

L(x,theta)=Produkt(f(x,theta)).
die log-likelihood dann dementsprechend die summe der logarithmen.

Somit sind Deine Notationen auch in den nachfolgenden Schritten messy.

Schau einfach mal hier ab Seite 30 nach.

http://www.statistik.tu-dortmund.de/fileadmin/user_upload/Lehrstuehle/Genetik/BI09/Voigt_Vortrag.pdf

Gruß,
X

 

[BigBadWolf]

Hm, ich versteh nicht so recht, was du meinst. Was ich geschrieben habe, ist ja die log-likelihood - und das ist ja die Summe der Logarithmen. Das Problem ist ja - und deswegen wird der EM Algorithmus auch angewendet - dass man die log-likelihood ohne die Gammas (oder wie auch immer man sie nennen will) nicht einfach maximieren kann, eben weil es nen Logarithmus von ner Summe ist. Daher kann man den Logarithmus nicht einfach "reinmultiplizieren" und es ist nicht die Summe der Logarithmen.

Ansonsten thx für die Folien - so viel anders als bei mir sieht das ja auch nicht aus. Bin zwar nicht so ganz dahintergestiegen, was auf S.31 das ^T soll (oder ist das transponiert?), aber ansonsten sieht das doch ziemlich genau so aus wie bei mir mit paar anderen schönen Zeichen.

 

[xornado]

Andersherum formuliert: Du solltest halt darauf achten wann du f(.) schreibst und wann du N(µ,v) schreibst. Ich will nicht oberlehrerhaft klingen, aber das ist halt schon relevant. ansonsten sah dass, was du geschrieben hast halt wirklich aus wie im script, nur wurde dort vektorwertig gearbeitet (zur zügigeren mathematischen darstellung, ist ja alles mit normalverteilungen und so).

gruß,
x

 

[FORYOUITERRA]

schlägst du kurz eines der besten bücher der letzten jahre auf:
http://www-stat.stanford.edu/~hastie/local.ftp/Springer/ESLII_print3.pdf
seite 275. (s. 293 im pdf)