Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Identification of Stochastic Nonlinear Dynamical Models Using Estimating Functions
KTH, School of Electrical Engineering and Computer Science (EECS), Automatic Control. KTH Royal Institute of Technology. (System Identification)ORCID iD: 0000-0001-5474-7060
2019 (English)Doctoral thesis, monograph (Other academic)
Abstract [en]

Data-driven modeling of stochastic nonlinear systems is recognized as a very challenging problem, even when reduced to a parameter estimation problem. A main difficulty is the intractability of the likelihood function, which renders favored estimation methods, such as the maximum likelihood method, analytically intractable. During the last decade, several numerical methods have been developed to approximately solve the maximum likelihood problem. A class of algorithms that attracted considerable attention is based on sequential Monte Carlo algorithms (also known as particle filters/smoothers) and particle Markov chain Monte Carlo algorithms. These algorithms were able to obtain impressive results on several challenging benchmark problems; however, their application is so far limited to cases where fundamental limitations, such as the sample impoverishment and path degeneracy problems, can be avoided.

This thesis introduces relatively simple alternative parameter estimation methods that may be used for fairly general stochastic nonlinear dynamical models. They are based on one-step-ahead predictors that are linear in the observed outputs and do not require the computations of the likelihood function. Therefore, the resulting estimators are relatively easy to compute and may be highly competitive in this regard: they are in fact defined by analytically tractable objective functions in several relevant cases. In cases where the predictors are analytically intractable due to the complexity of the model, it is possible to resort to {plain} Monte Carlo approximations. Under certain assumptions on the data and some conditions on the model, the convergence and consistency of the estimators can be established. Several numerical simulation examples and a recent real-data benchmark problem demonstrate a good performance of the proposed method, in several cases that are considered challenging, with a considerable reduction in computational time in comparison with state-of-the-art sequential Monte Carlo implementations of the ML estimator.

Moreover, we provide some insight into the asymptotic properties of the proposed methods. We show that the accuracy of the estimators depends on the model parameterization and the shape of the unknown distribution of the outputs (via the third and fourth moments). In particular, it is shown that when the model is non-Gaussian, a prediction error method based on the Gaussian assumption is not necessarily more accurate than one based on an optimally weighted parameter-independent quadratic norm. Therefore, it is generally not obvious which method should be used. This result comes in contrast to a current belief in some of the literature on the subject. 

Furthermore, we introduce the estimating functions approach, which was mainly developed in the statistics literature, as a generalization of the maximum likelihood and prediction error methods. We show how it may be used to systematically define optimal estimators, within a predefined class, using only a partial specification of the probabilistic model. Unless the model is Gaussian, this leads to estimators that are asymptotically uniformly more accurate than linear prediction error methods when quadratic criteria are used. Convergence and consistency are established under standard regularity and identifiability assumptions akin to those of prediction error methods.

Finally, we consider the problem of closed-loop identification when the system is stochastic and nonlinear. A couple of scenarios given by the assumptions on the disturbances, the measurement noise and the knowledge of the feedback mechanism are considered. They include a challenging case where the feedback mechanism is completely unknown to the user. Our methods can be regarded as generalizations of some classical closed-loop identification approaches for the linear time-invariant case. We provide an asymptotic analysis of the methods, and demonstrate their properties in a simulation example.

Abstract [sv]

Det är välkänt att datadriven modellering av icke-linjära stokastiska system är ett utmanande problem, även i fallen där det kan reduceras till ren parameterskattning. Den huvudsakliga svårigheten är att likelihoodfunktionen inte är analytiskt hanterbar, vilket medför problem vid tillämpning av standardmetoder såsom maximum likelihood. Under det senaste decenniet har numeriska algoritmer baserade på sekventiell Monte Carlo (partikelfilter) rönt stort intresse. Dessa algoritmer har imponerande prestanda på en rad benchmarkproblem; dock så är deras praktiska tillämpning än så länge begränsad till specialfall där fundamentala begränsningar kan undvikas.

Den här avhandlingen introducerar nya metoder som kan användas för parameterestimering i en stor klass av icke-linjära stokastiska system. Metoderna baseras på enstegsprediktorer som är linjära i systemets observerade utsignal. Våra nya metoder kräver inte att likelihoodfunktionen beräknas; istället använder de, i en rad relevanta fall, analytiskt hanterbara uttryck som gör dem högst attraktiva. I fallen där prediktorerna är analytiskt ohanterbara (på grund av modellens komplexitet) kan man använda vanliga Monte Carlo-approximationer. Vi visar att klassiska resultat från asymptotisk teori kan användas under rimliga antaganden, och via dessa, att våra föreslagna skattare är konsistenta samt asymptotiskt normalfördelade. Skattarnas prestanda utvärderas i numeriska simulationer, samt nyligen föreslagna benchmarkproblem baserade på verklig data, med bra resultat.

Vidare diskuterar vi de föreslagna metodernas asymptotiska egenskaper: deras nogrannhet beror inte enbart på hur modellen har parametriserats, utan även på datans sannolikhetsdistribution (via dess tredje och fjärde ordningens moment). Speciellt visar vi att när modellen inte uppfyller antaganden om normalfördelning, så är en prediktionsfelsmetod baserad på ett normalfördelningsantagande inte nödvändigtvis bättre än en prediktionsfelsmetod baserad på en viktad parameteroberonde kvadratisk norm. Vår slutsats är att det därför inte är uppenbart vilken prediktionsfelsmetod som bör användas. Detta resultat står i kontrast mot den vedertagna uppfattningen som finns i delar av litteraturen.

Avhandlingen introducerar även den så kallade skattningsfunktionsmetoden (främst utvecklad inom statistiklitteraturen) som en generalisering av maximum likelihood- och prediktionsfelsmetoderna. Vi visar hur denna metod kan användas för att systematiskt konstruera optimala skattare, inom en specifierad modellklass, från enbart partiella specifikationer på den underliggande probabilistiska modellen. Detta ger skattare som asymptotiskt är likformigt mer noggrannare än linjära prediktionsfelsmetoder baserade på kvadratiska optimeringsobjektiv. Vi härleder konvergensresultat, såsom konsistens, för dessa skattare under standardantaganden.

Slutligen behandlar vi identifieringsproblemet för återkopplade system som är stokastiska och icke-linjära. Vi behandlar ett par varianter på antaganden om mät- samt processbrus, och på kunskap om hur systemets återkoppling sker. Ett speciellt utmanande fall är när återkopplingsmekanismen är helt okänd. Metoderna vi föreslår kan ses som generaliseringar av klassiska metoder för identifiering av återkopplade system med linjärt tidsvarierande parametrar. Vi utför en asymptotisk analys av metoderna, och demonstrerar deras prestanda i numeriska experiment.

Place, publisher, year, edition, pages
KTH Royal Institute of Technology, 2019. , p. 234
Series
TRITA-EECS-AVL ; 2019:63
Keywords [en]
Prediction Error Method, Maximum Likelihood, Data-driven, Learning, Stochastic, Nonlinear, Dynamical Models, Non-stationary Linear Predictors, Intractable Likelihood, Latent Variable Models, Estimation, Process Disturbance
National Category
Engineering and Technology
Research subject
Electrical Engineering
Identifiers
URN: urn:nbn:se:kth:diva-256020ISBN: 978-91-7873-267-8 (print)OAI: oai:DiVA.org:kth-256020DiVA, id: diva2:1343172
Public defence
2019-09-06, F3, Lindstedtvägen 26, Stockholm, 10:00 (English)
Opponent
Supervisors
Note

QC 20190816

Available from: 2019-08-16 Created: 2019-08-15 Last updated: 2019-08-16Bibliographically approved

Open Access in DiVA

fulltext(4725 kB)127 downloads
File information
File name FULLTEXT01.pdfFile size 4725 kBChecksum SHA-512
52036e92f8b422b703a2f928085a7e119f0b95d8e816777a957511caedac1bd8caace05bc7705308d6d801be7a37ed2eb321c3d66560bda21cf7ab767a096fbc
Type fulltextMimetype application/pdf
Errata(93 kB)27 downloads
File information
File name FULLTEXT02.pdfFile size 93 kBChecksum SHA-512
a114dd981fca9c10564860e7ee017cdb3520ad4fd37752c2e6646b5fef9e8534e851496f15f82e384efa890f6c8cab786b1003a2540e09c17238c2e5730f4621
Type fulltextMimetype application/pdf

Search in DiVA

By author/editor
Abdalmoaty, Mohamed
By organisation
Automatic Control
Engineering and Technology

Search outside of DiVA

GoogleGoogle Scholar
Total: 154 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

isbn
urn-nbn

Altmetric score

isbn
urn-nbn
Total: 1272 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf