Theoretische Resultate in der Nichtparametrischen Regressionsschätzung zeigen, dass unter geeigneten Annahmen an die Regressionsfunktion neuronale Netze Schätzer gute Konvergenzraten erreichen. Jedoch werden die dort untersuchten neuronalen Netze durch ein nicht praktikables Minimierungsproblem des empirischen L_2 Risikos über einer Klasse von neuronalen Netzen definiert. Folglich können diese theoretisch untersuchten neuronalen Netze nicht so implementiert werden, wie sie definiert werden. Also unterscheiden sich die in der Praxis verwendeten neuronalen Netze von den in der Theorie behandelten.

In dieser Thesis verringern wir diese Kluft zwischen praktisch angewandten und theoretisch untersuchten neuronalen Netzen. Wir befassen uns mit neuronale Netze Schätzern für (p,C)-glatte Regressionsfunktionen m, die das Projection Pursuit Modell erfüllen. Wir konstruieren drei implementierbare neuronale Netze Schätzer und zeigen, dass diese bis auf einen logarithmischen Faktor die optimale univariate Konvergenzrate erreichen.

Zuerst konstruieren wir für univariate Regressionsfunktionen mit p in [-1/2,1] einen neuronalen Netze Schätzer mit einer verdeckten Schicht, in dem die Gewichte durch das Gradientenabstiegsverfahren gelernt werden. Die Startgewichte werden zufällig aus einem Intervall gewählt, das groß genug ist, um zu garantieren, dass unser Schätzer nahe an einer stückweisen konstanten Approximation ist.

Danach konstruieren wir für multivariate Regressionsfunktionen mit p in (0,1] einen neuronalen Netze Schätzer mit einer verdeckten Schicht, in dem die Gewichte durch das Gradientenabstiegsverfahren gelernt werden. Die Startgewichte werden aus speziellen Intervallen, abhängig von den Daten und der Projektionsrichtungen gewählt. Diese Wahl garantiert, dass unser Schätzer nahe an einer stückweisen konstanten Approximation ist. Die Projektionrichtungen werden wiederholt zufällig gewählt.

Zuletzt konstruieren wir für multivariate Regressionsfunktionen mit p>0 einen neuronalen Netze Schätzer mit vielen verdeckten Schichten. Die inneren Gewichte werden durch ein neues Approximationsresultat für das Projection Pursuit Modell durch stückweise Polynome vorgegeben. Die äußeren Gewichte werden durch Lösen eines linearen Gleichungssystems bestimmt. Die Projektionrichtungen werden wiederholt zufällig gewählt.

Da wir eine von der Dimension der Daten unabhängige Konvergenzrate zeigen, können unser zweiter und unser dritter Schätzer den Fluch der Dimensionalität umgehen.