ML schätzungen + SFA analyse

[Benrath]

Jemand davon ahnung?

also zu ersterem würde ich nen gutes buch suche, was regressionsanalysen mit ML erklärt, weil das hab ich noch nicht verstanden, wie man einzelne Parameter einer ZV mittels einer ML schätzung macht weiss ich, aber irgendwie hilft mir das bisher nicht weiter wenn ich lese dass ganze regressionen mittels ML gemacht werden.

Die bücher sollten bitte eher für Wiwis oder soziologen sein als für wahre mathematiker, weil ich bin auch nur VWLer


Sonst wenn jemand ahnung von SFA (stochastic frontier analysis) hätte, würde ich mich über Kontakt freuen, da ich dazu ne Seminararbeit schreiben muss/darf.

 

[BigBadWolf]

Afaik rechnen alle Programme ML-Schätzungen auch für Regressionen nach der Sigma=Sigma(theta) Gleichung. Also implizierte Kovarianzmatrix gleich beobachtete Kovarianzmatrix. So wie bei Strukturgleichungsmodellen geschätzt wird, wobei da iterative Verfahren genutzt werden, bei der (multiplen) Regression aber analytische Lösungen möglich sind, da man hier ja vollständig identifizierte Modelle hat (quasi wie bei Pfadanalysen, was ja auch nix anderes sind als viele Regressionen). Quasi viel Matrizenalgebra.

Nen Buch wüsst ich eher nur für die SEMs, wobei Regressionen eben der einfachere Spezialfall sind.
Bollen, K. A. (1989). Structural equations with latent variables.

 

[FORYOUITERRA]

kannst du kurz deine abkürzungen definieren?
ML = maximum likelihood?
ZV = Zufallsvariable?

du scheinst zwar ML zu kennen wie du sagst, jedoch anscheinend nicht verstanden zu haben. denn würdest du es verstanden haben, würdest du in der regressionsanalyse einfach nur eine weitere anwendung des verfahrens sehen:
hierzu solltest du dir klarwerden, wie das klassische lineare modell definiert ist:

es wird dabei angenommen, daß epsilon multivariat normalverteilt ist mit gleichen (bedingten) varianzen, kovarianz zweier störterme von null (woraus unter der normalverteilungsannahme folgt, daß die störterme unabhängig sind)

Insgesamt also:

bzw. falls dir das leichter fällt: komponentenweise gilt:

wobei y_1,..., y_n unabhängig sind.


von der schule sollte dir nun die maximum likelihood schätzung des mittelwertes und der varianz von sowas hier bekannt sein:

das einfache regressionsproblem reduziert sich (für gegebene daten X) fast auf diesen fall, nur daß dein \mu nun eine lineare funktion in deinen unbekannten parametern ist.

du erhälst also folgende likelihood, die du nun nur noch nach den unbekannten betas ableiten mußt (oder eben nach der varianz):

edit: es fehlt natürlich ein quadrat hinten in der formel.


die lösung der ML-betas entspricht der kleinsten quadrate-lösung.

diesen fall kannst du verallgemeinern indem du z.b. eine andere verteilungsannahme triffst (deine ML-Schätzer bleiben dennoch asymptotisch normalverteilt).
allerdings ist ML immer rechenintensiv und wird deshalb per computer vollzogen und teils eben mit iterativen verfahren gemixt mit simulated annealing und ähnlichem.

in komplexeren situationen, d.h. mixed models/random effect models (insbesondere paneldaten), kommst du mit dem standardansatz jedoch auch nicht weiter und du gehst über zu verfahren wie z.B. den EM-Algorithmus, die deine likelihood über einen umweg maximieren.


stochastic frontier analysis sagt mir persönlich nichts, sieht jedoch dem englischen wikipedia eintrag folgend zumindest im falle der douglasschen produktionsfunktion wie das einfachst mögliche mixed effect model aus.

http://en.wikipedia.org/wiki/Stochastic_Frontier_Analysis

 

[Amad3us]

Ein gutes Buch für (lineare klassische) Regression ist z.B.

Draper: Applied Regression Analysis
(Sehr ausführlich, allerdings wird wenig an Resultaten "bewiesen")

Eine kurze Einführung erhältst du auch mit den Schlusskapiteln von

Casella/Berger : Statistical Inference
(Nur die letzten 2 Kapitel behandeln Regression)

Wenn du dich gut mit Matrixalgebra auskennst kann ich dir noch empfehlen:

Searle/Casella: Variance Components
(Enthält komplexere Modelle (mixed Models,hierarchische Modelle etc.), das übliche klassisch/lineare ist ein Spezialfall)

 

[Benrath]

Original geschrieben von MuchO_[SpeeD]
kannst du kurz deine abkürzungen definieren?
ML = maximum likelihood?
ZV = Zufallsvariable?


das einfache regressionsproblem reduziert sich (für gegebene daten X) fast auf diesen fall, nur daß dein \mu nun eine lineare funktion in deinen unbekannten parametern ist.

Danke schon mal

ja die Abküzungen stehen dafür.

Mein problem ist aber X ist nun nicht gegeben sondern auch ne ZV und bei SFA hab ich auch 2 störterme einen normale Störtemr fürs Rausch N(0, sigma²) und nen andere normalverteilten Störterm für die Ineffiziens der nur positiv ist , je nachdem wie man die Gleichung schreibt.

y= a+ßx+u-v

muss später noch mal nachlesen.

mein Problem ist aber echt dass ich das mit der ML schätzung bisher nur für einzelne Parameter besprochen habe. und ich nicht wirklich die einzelnen dichtefunktionen drauf habe. DIe Gleichungen sehen von WIkipedia übernommen aus oder?

 

[Amad3us]

Das Problem was du beschreibst schaut aus wie ein Mixed-Model.
(Wie bereits oben erwähnt sind die in "Variance Components"
beschrieben. Wenn es dir nur um die Schätzung geht, dann reicht
Kapitel 6)

Du brauchst zur ML-Schätzung die Wahrscheinlichkeitsfunktion/Dichte
deiner Daten. Du brauchst also eine Verteilungsannahme für
y. Diese kannst du aus den Annahmen über die einzelnen Terme in deiner Gleichung auf der rechten Seite ableiten.
In den meisten Fällen wirst du dann bei einer mehrdimensionalen
Normalverteilung für y landen.

Wenn du mehr Infos über Verteilungen brauchst empfehle ich dir
für eindimensionale Verteilungen (wie z.B. t,F,chi) einen Blick in
Casella: Statistical Inference. Für die mehrdimensionale Normalverteilung erfährt man einiges z.B. in

Mardia: Multivariate Analysis (Kapitel 3)


PS: Ich habe mir das Thema mal angesehen. Ich glaub ich könnte dir
konkret für SFA grob den Ablauf der Schätzung erklären.
Bei Bedarf: amad3us@gmx.de

 

[FORYOUITERRA]

Original geschrieben von Benrath



Danke schon mal

ja die Abküzungen stehen dafür.

Mein problem ist aber X ist nun nicht gegeben sondern auch ne ZV und bei SFA hab ich auch 2 störterme einen normale Störtemr fürs Rausch N(0, sigma²) und nen andere normalverteilten Störterm für die Ineffiziens der nur positiv ist , je nachdem wie man die Gleichung schreibt.

y= a+ßx+u-v

muss später noch mal nachlesen.

mein Problem ist aber echt dass ich das mit der ML schätzung bisher nur für einzelne Parameter besprochen habe. und ich nicht wirklich die einzelnen dichtefunktionen drauf habe. DIe Gleichungen sehen von WIkipedia übernommen aus oder?

die daten X sind außer in controlled studien i.A. immer eine zufallsvariable, deshalb ist regressionsanalyse immer auch eine (auf die daten) bedingte analyse.
deshalb ist die wichtigste annahme der regressionsanalyse überhaupt die exogenität der regressoren:

E(\epsilon|X) = 0

durch diese annahme ist erst der schätzer unverzerrt. es gilt jedoch mit der annahme (sowie homoskedastie und keiner autokorrelation):

E(\hat{\beta}) = E(E(\hat{\beta}|X) = E(\beta) = \beta

und

Var(\hat{\beta}|X) = \sigma^2 (X'X)^{-1}
und insgesamt damit:
Var(\hat{\beta}) = E( Var(\hat{\beta}|X)) - 0 = \sigma^2 E((X'X)^{-1})

und in der letzten zeile kommt das problem mit stochastischen regressoren: du hast im allgemeinen keinerlei informationen über den statistischen zusammenhang deiner daten, kannst E((X'X)^{-1}), falls überhaupt existent, also nicht bestimmen.

Regressionsanalyse ist eine bedingte analyse, deshalb darfst du auch deine ergebnisse i.A. nicht verallgemeinern, sondern brauchst immer mindestens einen kontrolldatensatz.
---------------------------------


du wirst für ein modell der form (i=1,...,k firmen, j=1,...n beobachtungen pro firma, v_i individueller firmen zufallseffekt/fortschritt, epsilon_{ij} der störterm)

y_{ij} = \alpha + \beta x_{ij} - v_i + \epsilon{ij}

annahmen brauchen, die der exogenitätsannahme oben entsprechen:
x_{11},...,x_{kn},v_1,...v_k,\epsilon_{11},...,\epsilon_{kn} unabhängig
v_i iid F
\epsilon_{ij} iid F

falls dem so ist, lässt sich das modell unter diesen annahmen (F als normalverteilung) per gls schätzen.
dennoch ist ml via em algorithmus der große schlüssel (jedoch wird dein seminartypen kaum die methodik dahinter erwarten, wohl eher interpretation des modelles und der parameter.)

 

[Benrath]

Danke noch mal für die Hilfe.. hab bisher noch bischen mehr eingelesen..

und an sich auch die Erklärung für die ML schätzung mit gegebenen Daten verstanden. Also an sich muss ich nur noch verstehen wie man auf die gemeinsam verteilung der Y kommt, aber bisher hab ich noch andere probleme bei den Erklärungen für die Prodfunktionen,Isoquanten und Effiziensdef in den einzelnen Büchern, weil ich irgendwie zu doof bin die Mathematischen Zeichen/Gleichungen alle richtig zu deuten z.b im SFA buch von Kumbhakar.. da werde ich wohl noch mal bischen nacharbeiten müssen. WObei ich an sich schon dachte dass ich wüsste was die oben genannten dinge sind. Wie leicht man sich von anderen definitionen oder fremder sprachen aus der Bahn werfen lösst.

Ganz klar ist mir auch nicht wie man später an den Residuen unterscheiden will, welcher teil zum Rauschen und welcher Teil zur Ineffizienz gehört, aber ok auch noch mal lesen.

Eventuell komme ich noch auf das Hilfe angebot zurück

 

[Benrath]

Nur mal geradea als kurze Frage, weil ich mich sonst irgendwie blöd fühle

bei dieser Formel handelt es sich doch um eine druckfehler..

Geht um einer Productions technology GR x um y herzustellen
Als definintion für Effiziens wird nun gesagt

ein vektor (y,x) element aus GR is dann effizient, un nur dann,

wenn (y´,x´) kein element aus GR for (y´,-x´) >= (y,-x)

wieso das MINUS x ?

Dachte das bedeutet, dass (y,X) dann effizient ist, wenns nur nen vektor (y´,x´) gibt der nicht aus GR ist, dass der dann größer sein kann als (y,x)..



Andere Frage die mich auch irgendwie frustiert.



es gibt e=v+u

e = zusammengesetzter Störterm aus v und u

Dann steht im paper

The combined error term e can also be written as
σ_v (λ*u^*+v^*), where λ=σ_u/σ_v
is the ratio of the underlying standard deviation of the inefficiency term to the random error term, and u* and u* are standard normal and half-normal random variables.

wieso kann ich das so umformen?

quelle : http://www.sciencedirect.com/scienc...784de242dba5807e90e6806e0e8&ie=/sdarticle.pdf

 

[Amad3us]

Dann steht im paper The combined error term e can also be written as σ_v (λ*u^*+v^*), where λ=σ_u/σ_v is the ratio of the underlying standard deviation of the inefficiency term to the random error term, and u* and u* are standard normal and half-normal random variables.

Wenn du dir in der Umformung den Koeffizienten von u* anschaust
so ist es die Standardabweichung von u.
Allgemein gilt: Ist X ~ Normal(0,1) --> Y=a*X ~ Normal(0,a^2)

Wenn du das ganze anwendest mit X=u* (Standardnormal heisst Normal(0,1)) und a=sigma_u dann erhälst du u=Y ~ Normal(0,a^2)
also die ursprüngliche Annahme.
Das gleiche gilt für den "half-normal"-Term. Du ziehst nur die entsprechende Standardabweichung heraus. Das ganze nennt sich umskalieren und ist im Prinzip mit jeder Verteilung machbar.

ein vektor (y,x) element aus GR is dann effizient, un nur dann, wenn (y´,x´) kein element aus GR for (y´,-x´) >= (y,-x)

Ich kenn mich inhaltlich nicht mit Effizienz aus aber vielleicht hilft dir
eine Umformung/Äquivalenz weiter:
Vektor (y,x) ist nicht effizient genau dann wenn es einen Vektor
(a,b) gibt mit a>=y und b<=x. Ich kenne mich inhaltlich wie gesagt nicht aus, aber könnte es sein, dass es sich bei x und y um
eine Art gegenläufige Größen handelt was die Beurteilung der Effizienz betrifft. Also das es gut ist wenn y möglichst hoch und x dafür niedrig ausfällt?

 

[Benrath]

zum punkt mit dem druckfehler bin ich wohl mittlerweile auch auf den trichter gekommen, dass y der output ist und x der input und daher quasi die notation so nötig ist weil der Vektor mit >= verlgichen wird, daher muss x wohl mit dem negativen vorzeichen geschrieben werden sein.



andere punkt auch geklärt, hatte die umformung falsch gemacht.

 

[Benrath]

Ich würde gerne den Erwartungswert von einem einseitigen normalverteilten Störterm berechnen.

ich häng da irgendwie fest, mit partieller integration hab ich immer noch jeweils ne mulitplikative verknüpfung im Exp teil.

 

[Amad3us]

Ohne konkrete Form fällt es mir momentan schwer vorzustellen an welcher Stelle du hängst. Wenn es dir weiterhilft kann ich dir meine Rechnung später schicken?

 

[Amad3us]

Hab mir das jetzt mal genauer angeguckt:
Du brauchst hier keine partielle Integration. Der "Trick" ist folgender:
Du suchst bei jeder Integration letztendlich eine Stammfunktion, d.h. eine Funktion die abgeleitet deinen Integranden ergibt. Wenn du die gefunden hast bist du fertig. Nun kannst du sehen, indem du

- exp(-0.5*x^2) differenzierst

dass dieses eine Stammfuntkion zu x*exp(-0.5*x^2) ist.


Edit: Hab dir noch ne Mail geschickt

 

[Benrath]

Amdeus for mod hier

stimmt klingt gut. das müsste gut passen.

die mail guck ich mir jetzt an

Danke

 

[Benrath]

Noch mal ich

ich hab immer noch probleme etwas zu zeichnen mit Matlab oder R..

es sieht leider nicht so aus wie im Paper. Die Dichtefunktionen gehen zu hoch, wobei die struktur des verlaufes an sich richtig ist. Im paper ist das maximum der Dichte bei 0.4.


Hier befindet sich die Gleichung. Die ist etwas ungenau seh ich gerade fehl die klammer nach dem kleinen phi für die dichte der normalverteilung und das minus nach dem großen Phi muss in die klammer

die Kombos von Sigma_u und Sigma_v sind: 1 und 0,5 ; 1 und 1, und 2 und 0,2


mein R code sieht z.b so aus :

sigma_u<-1
sigma_v<-0.5
sigma<-(sigma_u^2+_ sigma_v^2)^0.5
lamda<-(sigma_u/sigma_v)
e<-(seq(-3,3, by=0.0001))
y1<-dnorm(e/sigma)
y2<-pnorm(-e*lamda/sigma)
y<-2/sigma*y1*y2
plot(e,y)

ich weiß nur leider nicht wie man danach den quasi selben code in das selbe fenster zeichnet, mit lines(x,y) klappt irgenwie nicht

bie Matlab sieht das ganze an sich so aus

clear;
sigmav=0.2;
sigmau=2;
sigma=(sigmav^2+sigmau^2)^0.5;
lamda=(sigmau/sigmav);
epsilon=[-3:0.001:3];
a=normpdf(epsilon/sigma, 0 , 1);
b=normcdf((-epsilon*lamda/sigma),0,1);
Y=2/sigma.*a.*b;
plot(epsilon,Y, 'b');
hold on
grid on
sigmav=0.5;
sigmau=1;
sigma=(sigmav^2+sigmau^2)^0.5;
lamda=(sigmau/sigmav);
epsilon=[-3:0.001:3];
a=normpdf(epsilon/sigma, 0 , 1);
b=normcdf((-epsilon*lamda/sigma),0,1);
Y=2/sigma.*a.*b;
plot(epsilon,Y, 'r');
hold on
sigmav=1;
sigmau=1;
sigma=(sigmav^2+sigmau^2)^0.5;
lamda=(sigmau/sigmav);
epsilon=[-3:0.001:3];
a=normpdf(epsilon/sigma, 0 , 1);
b=normcdf((-epsilon*lamda/sigma),0,1);
Y=2/sigma.*a.*b;
plot(epsilon,Y, 'g');

 

[Amad3us]

ich weiß nur leider nicht wie man danach den quasi selben code in das selbe fenster zeichnet, mit lines(x,y) klappt irgenwie nicht

Schreib den ersten Code. Dann eine Zeile mit:

par(new=TRUE)

danach den zweiten Code

Das landet dann im selben Fenster.

Was du auch probieren kannst (für seperate aber gleichzeitig einsehbare Grafiken) ist vor dem ganzen Code
par(mfrow=c(2,1))
und dann den ersten als auch den zweiten Code hintereinander (ohne den par(new=TRUE) Befehl)


Was den Rcode betrifft so sehe ich nur die Möglichkeit, dass du Standardabweichung und Varianz an manchen Stellen vertauscht. Ansonsten schaut mir das korrekt aus.



Also man kann sich die Dichte ja auch simulieren. Und wenn ich das mit den Werten von dir simuliere komm ich ebenfalls in der Dichte auf einen Wert größer als 0.5.
Der Code ist:

simulate_trunc <- function(n,sigma_u)
{y <- NULL
count <- 1
while(count<=n)
{x <- rnorm(1,mean=0,sd=sigma_u)
if(x<0)
{y <- c(y,x)
count <- count+1}
}
y
}

a <- rnorm(10000,sd=0.5)
b <- simulate_trunc(10000,1)

z <- a+b

plot(density(z))

 

[Benrath]

jo er meinte auch dass es scheinbar ein druckfehler im buch ist

 

[Benrath]

es hat nicht zufällig jemand nen fertig geschriebenen Code in R oder Matlab für ne ML schätzung mit Selbstdefinierter Dichtefunktion zur Hand ??

weil ich köme jetzt doch in echte Zeitnöte dass so genau zu lernen bis nächsten Donnerstag.

 

[Amad3us]

du kannst z.B. mit der Funktion "optim" Nullstellen berechnen/ Funktionen maximieren. Mit ?optim kannst du dir die Hilfeseite der Funktion ansehen. Davon abgesehen glaube ich gibt es in R ein eigenes Paket für ML-Schätzungen. Ich werd mal suchen...

 

[Amad3us]

Prozedur für die ML-Schätzung:

library(stats4)
?mle

Die Funktion mle() führt die ML-Schätzung durch.

Wenn du nur KQ-Schätzung brauchst kannst du z.B.

lm()

verwenden.