Skip to main content

REINFORCEMENT LEARNING ADAPTADO AL MANTENIMIENTO RESILIENTE DE CARRETERAS FRENTE AL CAMBIO CLIMATICO

PID2022-141875OA-I00

•
Funding agency name Agencia Estatal de Investigación
Funding agency acronym AEI
Program Programa Estatal para Impulsar la Investigación Científico-Técnica y su Transferencia
Subprogram Subprograma Estatal de Generación de Conocimiento
Call Proyectos de I+D+i (Generación de Conocimiento y Retos Investigación)
Call year 2022
State Plan 2021-2023 Plan Estatal de Investigación Científica y Técnica y de Innovación
Beneficiary centre UNIVERSITAT POLITÈCNICA DE VALÈNCIA

Resultados relacionados

Resultados totales (Incluyendo duplicados): 5
Encontrada(s) 1 página(s)

RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Publication Artículo científico (JournalArticle)

A Machine Learning Framework for Pavement Performance Prediction Under Extreme Climate Conditions

  • Molinero-Pérez, Noelia|||0000-0001-8279-4585
  • García-Segura, Tatiana|||0000-0002-7059-0566
  • Heras, Stella|||0000-0001-6212-9377
  • Sanz-Benlloch, Amalia|||0000-0001-8051-0649
  • Ortiz-Garrido, Pedro
[EN] Accurate pavement performance prediction is critical for effective pavement management systems (PMS), enabling optimal maintenance and rehabilitation decisions. The Pavement Condition Index (PCI) is the most widely used performance indicator, yet reliable prediction requires models that capture full spectrum of deterioration drivers, including structural characteristics, traffic loads, and the increasingly impactful extreme climate events. While machine learning (ML) approaches have improved PCI prediction, most existing models overlook climate extremes. This study proposes a comprehensive ML-based PCI model that integrates extreme climate variables from the Expert Team on Climate Change Detection and Indices (ETCCDI). Eleven algorithms were evaluated on a dataset combining pavement age, structural characteristics, traffic loads, and extreme climate variables. Among the evaluated models, categorical boosting model achieved the lowest error values and the highest R2 (0.81). Explainability analyses using feature importance and SHapley Additive exPlanations (SHAP) identified the number of icing days (ID), daily temperature range in December (DTR_Dec) and consecutive dry days (CDD) as the extreme climate indicators with the greatest negative predictive influence on PCI. Incorporating ETCCDI indices provided additional explanatory power beyond traditional annual average climatic variables, significantly improving both predictive accuracy and model interpretability. These findings highlight the importance of integrating standardized extreme climate indicators into PMS frameworks to support more resilient and sustainable pavement management under evolving climate conditions., This research is part of the grant PID2022-141875OA-I00, funded by MCIN/AEI/10.13039/501100011033 and by ERDF/EU.
RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Publication Artículo científico (JournalArticle)

Reinforcement learning for sustainable pavement maintenance planning under increasingly extreme climate conditions

  • Molinero-Pérez, Noelia|||0000-0001-8279-4585
  • Sanz-Benlloch, Amalia|||0000-0001-8051-0649
  • Montalbán-Domingo, Laura|||0000-0002-9506-0350
  • García-Segura, Tatiana|||0000-0002-7059-0566
[EN] Extreme climatic events are increasingly recognized as key drivers of pavement deterioration, yet their implications for long-term maintenance planning remain insufficiently understood. This article proposes a framework for evaluating optimal maintenance strategies under the influence of climate extremes. The framework combines a machine learning model that predicts Pavement Condition Index evolution using extreme climate indicators with a multi-objective reinforcement learning (RL) approach to maintenance planning. A regional pairedscenario analysis, based on data from the Long-Term Pavement Performance (LTPP) program, demonstrates the model's ability to capture differences in deterioration between scenarios with similar mean climate conditions but contrasting extreme event profiles. Results show that climate extremes substantially accelerate deterioration, leading to earlier and more frequent interventions. The RL-based framework identifies climate-aware policies that balance pavement performance, user benefits, costs, and environmental impacts. These findings underscore the need for climate-sensitive, multi-objective pavement management approaches to support sustainable and resilient infrastructure systems., This research is part of the grant PID2022-141875OA-I00, funded by MCIN/AEI/10.13039/501100011033 and by ERDF/EU.
RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Publication Artículo científico (JournalArticle)

Sustainable pavement maintenance using reinforcement learning with systematic reward design

  • Molinero-Pérez, Noelia|||0000-0001-8279-4585
  • Sanz-Benlloch, Amalia|||0000-0001-8051-0649
  • Montalbán-Domingo, Laura|||0000-0002-9506-0350
  • García-Segura, Tatiana|||0000-0002-7059-0566
[EN] Efficient and sustainable pavement maintenance planning remains a challenge for infrastructure managers. This study introduces a reinforcement learning methodology, based on the Q-Learning algorithm, to optimize long-term pavement maintenance policies under multiple objectives. The contribution is a systematic framework for designing tailored reward functions aligned with planning goals, including economic cost, environmental impact, user savings, and maintenance effectiveness. This alignment enables the model to adapt and learn optimal strategies according to different priorities. The approach is validated through fifteen real-world case studies from the Spanish road network, incorporating traffic, structural, and climatic data. For each case, Q-Learning is trained with alternative reward formulations and evaluated over a 20-year horizon, followed by robustness analysis to assess policy stability. Results show that reward functions lead to differentiated intervention strategies, influenced by the planning objective. Cost- and emissions-oriented rewards generate reactive policies, recommending intervention only when inaction would significantly increase maintenance and rehabilitation costs. In contrast, rewards focused on user savings or technical effectiveness promote proactive continuous maintenance to preserve surface conditions and reduce indirect user costs. The proposed approach underscores the critical role of reward definition in reinforcement learning and provides a practical tool to support adaptive, sustainable, and long-term pavement management., This research is part of the grant PID2022-141875OA-I00, funded by MCIN/AEI/10.13039/501100011033 and by ERDF/EU.
RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Publication Artículo científico (JournalArticle)

Dual Model for International Roughness Index Classification and Prediction

  • Molinero-Pérez, Noelia|||0000-0001-8279-4585
  • Montalbán-Domingo, Laura|||0000-0002-9506-0350
  • Sanz-Benlloch, Amalia|||0000-0001-8051-0649
  • García-Segura, Tatiana|||0000-0002-7059-0566
[EN] Existing models for predicting the international roughness index (IRI) of a road surface often lack adaptability, struggling to accurately reflect variations in climate, traffic, and pavement distresses¿factors critical for effective and sustainable maintenance. This study presents a novel dual-model approach that integrates pavement condition index (PCI), pavement distress types, climatic, and traffic data to improve IRI prediction. Using data from the Long-Term Pavement Performance database, a dual-model approach was developed: pavements were classified into groups based on key factors, and tailored regression models were subsequently applied within each group. The model exhibits good predictive accuracy, with R2 values of 0.62, 0.72, and 0.82 for the individual groups. Furthermore, the validation results (R2 = 0.89) confirm that the combination of logistic regression and linear regression enhances the precision of IRI value predictions. This approach enhances adaptability and practicality, offering a versatile tool for estimating IRI under diverse conditions. The proposed methodology has the potential to support more effective, data-driven decisions in pavement maintenance, fostering sustainability and cost efficiency., This research is part of the grant PID2022-141875OA-I00, funded by MCIN/AEI/10.13039/501100011033 and by ERDF/EU.
RiuNet. Repositorio Institucional de la Universitat Politécnica de Valéncia
Publication Tesis doctoral (DoctoralThesis)

Sustainable Management of Flexible Pavements Maintenance under Extreme Climate Scenarios

  • Molinero-Pérez, Noelia|||0000-0001-8279-4585
[ES] El mantenimiento adecuado de los pavimentos es un elemento fundamental para garantizar la funcionalidad, la seguridad y la sostenibilidad de las infraestructuras viarias, con un impacto directo en el desarrollo económico y social de un país o región. En un contexto marcado por el envejecimiento de las redes de carreteras y por el aumento de la variabilidad climática, los sistemas de gestión de pavimentos (PMS, por sus siglas en inglés) tradicionales presentan limitaciones significativas para anticipar el deterioro del pavimento y planificar estrategias de mantenimiento eficientes y resilientes. En particular, la mayoría de los enfoques existentes se basan en modelos de deterioro simplificados, formulados bajo condiciones climáticas medias, y en esquemas de planificación estáticos que no capturan adecuadamente la influencia de los eventos climáticos extremos. Esta tesis doctoral aborda estas limitaciones mediante el desarrollo de un marco metodológico integrado para la planificación sostenible del mantenimiento de pavimentos, apoyado en técnicas de inteligencia artificial. El objetivo principal de la investigación es desarrollar un marco basado en aprendizaje por refuerzo (RL, por sus siglas en inglés) que permita planificar de forma sostenible el mantenimiento de pavimentos flexibles, garantizando su adaptación a condiciones climáticas extremas. En primer lugar, se desarrolla un modelo predictivo generalizable para estimar el International Roughness Index (IRI) a partir del Pavement Condition Index (PCI), incorporando información sobre los daños del pavimento, el tráfico y el clima. Este enfoque permite asegurar la coherencia entre los indicadores empleados en las distintas fases de los PMS y facilita la incorporación de criterios relacionados con los usuarios en la planificación del mantenimiento, incluso en contextos donde la medición directa de la rugosidad no es viable. Asimismo, se propone un modelo de predicción del deterioro del pavimento que integra de forma holística variables estructurales, de tráfico e indicadores asociados a eventos climáticos extremos. La inclusión de estos indicadores permite representar trayectorias de deterioro más realistas, especialmente en tramos sometidos a elevados niveles de estrés climático, superando las limitaciones de los modelos basados exclusivamente en condiciones climáticas medias. Estas predicciones se integran en un marco de planificación adaptativa basado en RL, en el que las decisiones de mantenimiento se definen como políticas dependientes del estado del pavimento, superando las limitaciones de los enfoques tradicionales de planificación estática basados en calendarios fijos de mantenimiento. Además, el marco de planificación incorpora de forma explícita objetivos económicos, ambientales, técnicos y sociales, lo que permite abordar el mantenimiento del pavimento desde una perspectiva verdaderamente sostenible, en la que se consideran de manera conjunta la efectividad del mantenimiento, los costes, las emisiones y los beneficios para los usuarios. Los resultados obtenidos demuestran que la consideración explícita de los eventos climáticos extremos modifica de forma significativa los planes óptimos de mantenimiento, dando lugar a intervenciones más tempranas, frecuentes o diferenciadas en comparación con los enfoques tradicionales. En conjunto, la tesis proporciona un marco robusto y adaptable que contribuye a mejorar la eficiencia, la resiliencia y la sostenibilidad de los sistemas de gestión de pavimentos frente a escenarios de creciente incertidumbre climática., [EN] Proper pavement maintenance is a fundamental element in ensuring the functionality, safety, and sustainability of road infrastructure, with a direct impact on the economic and social development of a country or region. In a context characterized by aging road networks and increasing climate variability, traditional pavement management systems (PMS) exhibit significant limitations in anticipating pavement deterioration and planning efficient and resilient maintenance strategies. In particular, most existing approaches rely on simplified deterioration models developed under average climatic conditions, as well as on static planning schemes that fail to adequately capture the influence of extreme climatic events. This doctoral thesis addresses these limitations through the development of an integrated methodological framework for sustainable pavement maintenance planning, supported by artificial intelligence techniques. The main objective of the research is to develop a framework based on reinforcement learning (RL) that enables sustainable maintenance planning for flexible pavements while ensuring adaptation to extreme climatic conditions. First, a generalizable predictive model is developed to estimate the International Roughness Index (IRI) from the Pavement Condition Index (PCI), incorporating information related to pavement distress, traffic, and climate. This approach ensures consistency among the indicators used across different phases of PMS and facilitates the inclusion of user-related criteria in maintenance planning, even in contexts where direct roughness measurements are not feasible. In addition, a pavement deterioration prediction model is proposed that holistically integrates structural variables, traffic characteristics, and indicators associated with extreme climatic events. The inclusion of these indicators allows for the representation of more realistic deterioration trajectories, particularly for pavement sections exposed to high levels of climatic stress, overcoming the limitations of models based solely on average climatic conditions. These predictions are subsequently integrated into an adaptive RL-based planning framework, in which maintenance decisions are defined as state-dependent policies rather than fixed maintenance schedules, thereby overcoming the limitations of traditional static planning approaches. Moreover, the planning framework explicitly incorporates economic, environmental, technical, and social objectives, enabling pavement maintenance to be addressed from a truly sustainable perspective that jointly considers maintenance effectiveness, costs, emissions, and user benefits. The results demonstrate that explicitly accounting for extreme climatic events significantly alters optimal maintenance plans, leading to earlier, more frequent, or differentiated interventions compared to traditional approaches. Overall, the thesis provides a robust and adaptable framework that contributes to improving the efficiency, resilience, and sustainability of pavement management systems under scenarios of increasing climatic uncertainty., [CA] El manteniment adequat dels paviments és un element fonamental per a garantir la funcionalitat, la seguretat i la sostenibilitat de les infraestructures viàries, amb un impacte directe en el desenvolupament econòmic i social d'un país o d'una regió. En un context marcat per l'envelliment de les xarxes de carreteres i per l'augment de la variabilitat climàtica, els sistemes tradicionals de gestió de paviments (PMS, per les seues sigles en anglés) presenten limitacions significatives per a anticipar l'evolució del paviment i planificar estratègies de manteniment eficients i resilients. En particular, la majoria dels enfocaments existents es basen en models de deteriorament simplificats, formulats sota condicions climàtiques mitjanes, així com en esquemes de planificació estàtics que no capten adequadament la influència dels esdeveniments climàtics extrems. Aquesta tesi doctoral aborda aquestes limitacions mitjançant el desenvolupament d'un marc metodològic integrat per a la planificació sostenible del manteniment de paviments, basat en tècniques d'intel·ligència artificial. L'objectiu principal de la investigació és desenvolupar un marc fonamentat en l'aprenentatge per reforç (RL, per les seues sigles en anglés) que permeta planificar de manera sostenible el manteniment de paviments flexibles, garantint la seua adaptació a condicions climàtiques extremes. En primer lloc, es desenvolupa un model predictiu generalitzable per a estimar l'International Roughness Index (IRI) a partir del Pavement Condition Index (PCI), incorporant informació sobre els danys del paviment, el trànsit i el clima. Aquest enfocament permet assegurar la coherència entre els indicadors emprats en les diferents fases dels PMS i facilita la incorporació de criteris relacionats amb els usuaris en la planificació del manteniment, fins i tot en contextos on la mesura directa de la rugositat no és viable. Així mateix, es proposa un model de predicció de l'evolució del paviment que integra de manera holística variables estructurals, de trànsit i indicadors associats a esdeveniments climàtics extrems. La inclusió d'aquests indicadors permet representar trajectòries de deteriorament més realistes, especialment en trams sotmesos a elevats nivells d'estrés climàtic, superant les limitacions dels models basats exclusivament en condicions climàtiques mitjanes. Aquestes prediccions s'integren en un marc de planificació adaptativa basat en RL, en el qual les decisions de manteniment es defineixen com a polítiques dependents de l'estat del paviment, superant les limitacions dels enfocaments tradicionals de planificació estàtica basats en calendaris fixos de manteniment. A més, el marc de planificació incorpora de manera explícita objectius econòmics, ambientals, tècnics i socials, permetent abordar el manteniment del paviment des d'una perspectiva veritablement sostenible, en la qual es consideren conjuntament l'efectivitat del manteniment, els costos, les emissions i els beneficis per als usuaris. Els resultats obtinguts demostren que la consideració explícita dels esdeveniments climàtics extrems modifica de manera significativa els plans òptims de manteniment, donant lloc a intervencions més primerenques, més freqüents o diferenciades en comparació amb els enfocaments tradicionals. En conjunt, la tesi proporciona un marc robust i adaptable que contribueix a millorar l'eficiència, la resiliència i la sostenibilitat dels sistemes de gestió de paviments davant escenaris de creixent incertesa climàtica., Gracias al Ministerio de Ciencia e Innovación y al Fondo Europeo de Desarrollo Regional (FEDER) por la financiación recibida para el desarrollo de esta investigación a través del proyecto “Reinforcement Learning adaptado al mantenimiento resiliente de carreteras frente al cambio climático (Re-Sil-Roads)”, así como a la Generalitat Valenciana y al FEDER mediante el proyecto “Monitorización y gestión del mantenimiento predictivo de vías interurbanas mediante técnicas de inteligencia artificial (NEUROVIAS)”.