Arquitetura para Otimização Multiobjetivo Baseada em Múltiplos Agentes e Aprendizagem por Reforço
Aprendizado por reforço multiobjetivo; sistemas multiagentes; otimização multiobjetivo; fronteira de Pareto; políticas de compromisso
A otimização multiobjetivo baseada em aprendizagem por reforço tem como objetivo obter políticas capazes de lidar com objetivos conflitantes em problemas de decisão sequencial. Embora avanços recentes tenham ampliado sua aplicabilidade, permanecem desafios relacionados à obtenção de múltiplas políticas de compromisso sem o conhecimento prévio das preferências do tomador de decisão e ao elevado custo computacional da exploração do ambiente. Esta tese propõe uma Arquitetura para Otimização Multiobjetivo Baseada em Múltiplos Agentes e Aprendizagem por Reforço, cuja principal característica consiste na separação do processo de aprendizagem em dois estágios cooperativos e complementares. No primeiro estágio, agentes exploradores cooperam para identificar estados terminais e construir uma representação compartilhada do ambiente por meio de mecanismos de sincronização e agregação de conhecimento. No segundo estágio, agentes explotadores reutilizam esse conhecimento para aprender simultaneamente múltiplas políticas de compromisso associadas a diferentes preferências sobre os objetivos. Essa organização desacopla a descoberta do ambiente da aproximação da fronteira de Pareto, reduzindo redundâncias no processo de aprendizagem e favorecendo o reaproveitamento do conhecimento adquirido. A arquitetura foi implementada utilizando aprendizagem por reforço baseada em Q-Learning e avaliada no ambiente Deep Sea Treasure, por meio de uma análise experimental da influência dos principais hiperparâmetros das etapas de exploração e explotação sobre métricas como taxa de sucesso, tempo de convergência e conhecimento produzido. Os resultados demonstram que a cooperação entre agentes aumenta a capacidade de descoberta dos estados terminais e que a separação entre exploração e explotação permite obter múltiplas políticas de compromisso a partir de uma única fase exploratória. Como principal contribuição, esta pesquisa apresenta uma arquitetura cooperativa para otimização multiobjetivo que utiliza o paralelismo não apenas para acelerar o treinamento, mas como mecanismo para construção compartilhada de conhecimento e obtenção simultânea de múltiplas políticas de compromisso.