Os modelos baseados em arquitetura trasformer vêm apresentando resultados promissores em áreas de estudo como processamento de linguagem natural (NLP). Nessa mesma área de estudo, chatbots são ferramentas amplamente utilizadas em tarefas de atendimento ao cliente. Esse trabalho utilizará RASA e seu classificador DIET para realizar um estudo comparativo do impacto de modelos trasformers pré-treinados no desenvolvimento de um chatbot. Como cenário para esse estudo, foi analisado o caso do Tribunal de Contas do Rio Grande do Norte (TCE/RN) e a sua necessidade de implantar um chatbot visando a melhoria na eficiência do seu setor de atendimento ao público.