PRINCIPIO DEL MASSIMO CON SWITCHING TIME, IMPATTO DELLA FUNZIONE HAZARD RATE SULLA SOLUZIONE OTTIMA

When planning an optimal policy, an agent should take into consideration the possibility that a disruptive event could change the dynamics of the system. In the context of dynamic systems, a stochastic switching time is a stochastic moment, modeled as a positive random variable, that leads to a regime shift. By regime shift, we mean a sudden and irreversible change in the system, dividing the planning time horizon into two phases. We first consider a maximization problem without a stochastic switching time and solve it using the Pontryagin's Maximum Principle. Then, we introduce the disruptive event, which can occur with a probability described by the hazard rate function, and we examine its impact on the optimal strategy of the agent.

Quando si pianifica una policy ottimale, un agente dovrebbe prendere in considerazione la possibilità che un evento dirompente possa cambiare le dinamiche del sistema. Nel contesto dei sistemi dinamici, uno stochastic switching time è un istante stocastico, modellato come una variabile casuale positiva, che porta un cambio di regime. Per cambio di regime si intende un cambio improvviso e irreversibile del sistema, che divide l'orizzonte temporale di pianificazione in due fasi. Andiamo quindi a considerare un problema di massimizzazione, prima senza stochastic switching time, risolvendolo con il Principio del Massimo di Pontryagin. Poi introduciamo l'evento dirompente, che può realizzarsi con probabilità descritta dalla funzione hazard rate, e andiamo a considerare l'impatto sulla strategia ottimale dell'agente.