Banca de DEFESA: WALLINSON DE LIMA SILVA

Uma banca de DEFESA de MESTRADO foi cadastrada pelo programa.
DISCENTE : WALLINSON DE LIMA SILVA
DATA : 26/07/2022
HORA: 13:00
LOCAL: Remoto e Online - Google Meet
TÍTULO:

Uso de Testes Metamórficos para Verificação de Aplicação Chatbot

PALAVRAS-CHAVES:

Testes Metamórficos; Teste de Software em Chatbots; Geração de Casos de Teste .

PÁGINAS: 73
RESUMO:

Chatbots são softwares que fazem uso de Inteligência Artificial (IA) para proporcionar a interação entre humanos e máquinas por meio de Linguagem Natural (LN), assemelhandose a uma conversação entre duas pessoas. É um tema atual e que tem recebido bastante atenção nos últimos anos. Entretanto, esse tipo de aplicação apresenta um comportamento que por vezes é imprevisível, pois diferentes usuários podem solicitar um mesmo conjunto de ações de diferentes maneiras e a aplicação pode retornar algo diferente para cada um dos usuários. Isso torna a atividade de teste de software algo complexa, visto que não é simples definir o oráculo de testes. O oráculo de teste é o processo que verifica o resultado do teste, julgando a resposta da aplicação, programa ou função como correta ou incorreta mediante especificação e planejamento. Neste cenário, uma técnica de teste apropriada para lidar com o problema do oráculo é o Teste Metamórfico (TM). Essa técnica foi proposta como uma solução para minimizar o problema de definição de oráculo, pois o processo de verificação da resposta da aplicação é feito pela definição de Relações Metamórficas (RMs), elementos que assumem o papel do oráculo. As relações metamórficas são propriedades da aplicação objeto de teste que definem o comportamento que a aplicação deve manter quando submetida a um determinado caso de teste. Todavia, apesar de Testes Metamórficos ser uma técnica bem estabelecida para lidar com o problema da falta de um oráculo de testes, ela ainda é pouco explorada no contexto de chatbots. Dessa forma, o objetivo desse trabalho consistiu em averiguar a aplicabilidade e efetividade da técnica de TM em uma aplicação chatbot desenvolvido por uma empresa pública. Para tanto, foi necessário o desenvolvimento de uma ferramenta para automação do processo de teste aplicando os conceitos do TM. Para a avaliação da técnica nós selecionamos 22 Casos de Teste de Origem (CTOs) divididos em 3 Intenções e imputamos essa informação na ferramenta de automação para execução dos testes das 20 Relações Metamórficas. Por meio da execução da ferramenta, foi possível gerar mais de 4100 Casos de Teste Acompanhamento (CTAs), derivados dos CTOS. A verificação ocorreu em duas baterias de teste utilizando duas versões da mesma aplicação com 3 meses de diferença de desenvolvimento. Com a aplicação da técnica de TM foi observado que 25% dos CTAs revelaram defeitos, representando mais de 900 CTAs reprovados, por versão testada.

MEMBROS DA BANCA:
Presidente - 2274774 - EIJI ADACHI MEDEIROS BARBOSA
Externa ao Programa - 1709820 - ROBERTA DE SOUZA COELHO - UFRNExterno à Instituição - FABIANO CUTIGI FERRARI - UFSCAR