Combining TSL and LLM to Automate REST API: Approach RestTSLLM        

Será defendida no dia 10 de julho de 2026, às 14:00 horas, na sala 310 do Instituto de Computação e por videoconferência, a Dissertação de Mestrado intitulada “Combining TSL and LLM to Automate REST API: Approach RestTSLLM”, do candidato ao título de Mestre em Computação – Thiago da Silva Barradas.

Link para defesa: https://meet.google.com/ebb-xabk-paj   

Combining TSL and LLM to Automate REST API: Approach RestTSLLM        

Resumo:

A execução eficaz de testes para REST APIs continua sendo um desafio considerável para as equipes de desenvolvimento, impulsionado pela complexidade inerente dos sistemas distribuídos, pela multiplicidade de cenários possíveis e pelo tempo limitado disponível para o design dos testes. A testagem exaustiva de todas as combinações de entrada é impraticável, resultando frequentemente em falhas não detectadas, elevado esforço manual e cobertura de testes limitada. Para enfrentar esses problemas, apresentamos a RestTSLLM, uma abordagem que utiliza a Test Specification Language (TSL) em conjunto com Large Language Models (LLMs) para automatizar a geração de casos de teste para REST APIs. A abordagem define dois desafios centrais: a criação de cenários de teste e a definição de dados de entrada apropriados. A solução proposta integra técnicas de prompt engineering a um fluxo automatizado para avaliar diversos LLMs em sua capacidade de gerar testes a partir de especificações OpenAPI (OAS). A avaliação concentrou-se em métricas como taxa de sucesso, cobertura de testes e pontuação de mutação, possibilitando uma comparação sistemática do desempenho dos modelos. Os resultados indicam que os LLMs com melhor desempenho — Claude 3.5 Sonnet (Anthropic), Deepseek R1 (Deepseek), Qwen 2.5 32b (Alibaba), and Sabiá 3 (Maritaca) — produziram de forma consistente testes  robustos e contextualmente coerentes para REST APIs. Entre eles, o Claude 3.5 Sonnet superou todos os outros modelos em todas as métricas, destacando-se neste estudo como o modelo mais adequado para essa tarefa. Esses achados ressaltam o potencial dos LLMs para automatizar a geração de testes com base em especificações de APIs. Para complementar essa avaliação técnica, conduzimos um survey de aceitação com 96 profissionais envolvidos no ciclo de desenvolvimento de REST APIs. Os resultados revelaram um alto nível de aceitação da abordagem (média geral de concordância de 4,28 em uma escala de 1 a 5), com os profissionais valorizando especialmente sua utilidade percebida e a representação intermediária em TSL, ao mesmo tempo em que apontaram a confiança nos testes gerados e a revisão humana como as principais considerações para adoção.

Abstract:

The effective execution of tests for REST APIs remains a considerable challenge for development teams, driven by the inherent complexity of distributed systems, the multitude of possible scenarios, and the limited time available for test design. Exhaustive testing of all input combinations is impractical, often resulting in undetected failures, high manual effort, and limited test coverage. To address these issues, we introduce RestTSLLM, an approach that uses Test Specification Language (TSL) in conjunction with Large Language Models (LLMs) to automate the generation of test cases for REST APIs. The approach targets two core challenges: the creation of test scenarios and the definition of appropriate input data. The proposed solution integrates prompt engineering techniques with an automated pipeline to evaluate various LLMs on their ability to generate tests from OpenAPI Specification (OAS). The evaluation focused on metrics such as success rate, test coverage, and mutation score, enabling a systematic comparison of model performance. The results indicate that the best-performing LLMs — Claude 3.5 Sonnet (Anthropic), Deepseek R1 (Deepseek), Qwen 2.5 32b (Alibaba), and Sabiá 3 (Maritaca) —  consistently produced robust and contextually coherent REST API tests. Among them, Claude 3.5 Sonnet outperformed all other models across every metric, emerging in this study as the most suitable model for this task. These findings highlight the potential of LLMs to automate the generation of tests based on API specifications. To complement this technical evaluation, we conducted an acceptance survey with 96 practitioners involved in the REST API development lifecycle. The results revealed a high level of acceptance of the approach (overall agreement mean of 4.28 on a 1-5 scale), with practitioners particularly valuing its perceived usefulness and the intermediate TSL representation, while pointing to trust in the generated tests and human review as the main considerations for adoption.

Banca  examinadora:

Profa. Vânia de Oliveira Neves, UFF

Profa. Aline Marins Paes Carvalho, UFF

Prof. André Takeshi Endo, UFSCar