The continuous-time Markov decision problems with binary states will be analyzed in detail. It will be shown how the HJB equation associated with the problem is not sufficient to solve such problems. Therefore, a method for extracting information from it will be presented. Subsequently, mean field games will be introduced, and a system consisting of a pair of respectively backward and forward ODEs will be formulated. Then, the resolution of these equations will be addressed through a simulation structured in Python, with particular attention given to analyzing the commands used in the code.

In questo lavoro verranno analizzati nel dettaglio alcuni problemi decisionali di Markov a tempo continuo e stati binari. Si vedrà come l’equazione di HJB associata al problema non risulterà sufficiente al fine di risolvere tali problemi. Quindi si vedrà un metodo per ricavare informazioni da essa. Successivamente, verranno introdotti i mean field games e si formulerà un sistema composto da una coppia di ODEs rispettivamente backward e forward. Successivamente si procede nella risoluzione di tali equazioni attraverso una simulazione strutturata attraverso Python dedicando particolare attenzione ad analizzare i comandi utilizzati nel codice.

Un esempio di non unicità dell'equilibrio in un mean field game: alcune simulazioni con Python.

STOPPA, FEDERICO EOLO OTTO
2023/2024

Abstract

The continuous-time Markov decision problems with binary states will be analyzed in detail. It will be shown how the HJB equation associated with the problem is not sufficient to solve such problems. Therefore, a method for extracting information from it will be presented. Subsequently, mean field games will be introduced, and a system consisting of a pair of respectively backward and forward ODEs will be formulated. Then, the resolution of these equations will be addressed through a simulation structured in Python, with particular attention given to analyzing the commands used in the code.
2023
An example of non uniqueness of the equilibrium in a mean field game: some simulations on Python.
In questo lavoro verranno analizzati nel dettaglio alcuni problemi decisionali di Markov a tempo continuo e stati binari. Si vedrà come l’equazione di HJB associata al problema non risulterà sufficiente al fine di risolvere tali problemi. Quindi si vedrà un metodo per ricavare informazioni da essa. Successivamente, verranno introdotti i mean field games e si formulerà un sistema composto da una coppia di ODEs rispettivamente backward e forward. Successivamente si procede nella risoluzione di tali equazioni attraverso una simulazione strutturata attraverso Python dedicando particolare attenzione ad analizzare i comandi utilizzati nel codice.
Catene di Markov
Equazione HJB
Mean field game
Python
File in questo prodotto:
File Dimensione Formato  
Stoppa_FedericoEoloOtto.pdf

accesso aperto

Dimensione 457.05 kB
Formato Adobe PDF
457.05 kB Adobe PDF Visualizza/Apri

The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12608/81006