Fonction et calcul de bornes d'une chaîne de Markov

Il est bien connu que la conservation de la proriété markovienne pour une fonction d'une chaîne de Markov dépend fortement de la condition initiale. Tous les résultats connus jusqu'ici avaient pour dénominateur commun d'être fondés sur divers théorèmes de type "ergodique". La mise en évidence d'un cone invariant par la matrice de transition, a permis de caractériser en quoi, une distribution initiale permettant de conserver la propriété de Markov, diffère des caractéristiques stationnaires pour un modèle irréductible [36]. En utilisant une approche de type "méthodes géométriques" en contrÙle de systèmes dynamiques linéaires, L. Gurvits et J. LEDOUX proposent une solution pratiquement complète de ce problème d'agrégation exacte [37]. En particulier, nous obtenons un algorithme polynomial en le nombre d'états pour déterminer le caractère markovien d'une fonction (déterministe) d'une chaîne de Markov pour une configuration initiale donnée. Les précédents algorithmes étaient de complexité exponentielle. De plus, le caractère markovien est décliné sous les deux formes suivantes : non-homogène et homogène d'ordre supérieur ou égale à $1$. Ils montrent également que l'ensemble des matrices agrégeables est dense-nul part dans l'ensemble de matrices stochastiques. Ceci "explique" pourquoi l'agrégation exacte est "rare" en pratique. Enfin, ils étudient le cas d'une fonction aléatoire d'une chaîne de Markov, c'est à dire l'opportunité, pour le processus observé associé à un modèle markovien caché, d'être markovien.

En collaboration avec L. Truffet, J. LEDOUX montre dans [38], comment déterminer une borne, au sens de l'ordre stochastique fort, d'une fonction d'une chaîne de Markov. Un des intérêts de la méthode est de fournir une "borne" markovienne grâce à l'utilisation de deux critères de conservation de la propriété de Markov pour une fonction d'une chaîne de Markov. Cette méthode a pour but de dériver des bornes sur les caractéristiques transitoires d'une fonction d'une chaîne de Markov. Ce travail a conduit, indirectement, à étudier le même genre de problématique dans le contexte des systèmes dynamiques linéaires dans l'algèbre $(\max,+)$ [39]. Le domaine d'application privilégié est l'évaluation de performances de système à événements discrets.