Avaliar clinicamente um software médico com os métodos concebidos para um dispositivo físico não funciona. Os dados clínicos relevantes para um SaMD têm uma natureza diferente, as fontes são específicas, e os critérios de avaliação da qualidade dos dados diferem daqueles de um estudo clínico sobre um implante ou um dispositivo terapêutico.
O que torna a avaliação clínica de um SaMD diferente
Um dispositivo físico produz um efeito mensurável sobre o corpo: ele comprime, administra um medicamento, transmite energia. Seu desempenho pode ser avaliado com base em critérios físicos (durabilidade, precisão de dosagem, resistência mecânica) além dos critérios clínicos.
Um SaMD produz uma informação: um diagnóstico sugerido, uma recomendação de tratamento, um indicador de risco. Sua avaliação clínica incide sobre a qualidade dessa informação — sua precisão diagnóstica, seu impacto sobre as decisões clínicas e seus efeitos sobre os resultados dos pacientes.
As fontes de dados clínicos aceitáveis para os SaMD
Estudos de desempenho diagnóstico. Para os softwares de apoio ao diagnóstico, estudos avaliam a sensibilidade, a especificidade, o valor preditivo positivo e negativo do algoritmo em coortes representativas, com comparação a um padrão de referência (gold standard clínico ou especialista humano). Esses estudos são frequentemente retrospectivos sobre bases de dados de imagens ou de sinais já existentes.
Estudos clínicos prospectivos. Estudos avaliam o impacto do software sobre as decisões clínicas e os resultados dos pacientes em condições de uso reais. Mais exigentes de implementar, eles fornecem dados com um nível de evidência mais elevado.
Dados de vida real. Os dados provenientes do uso real do software em estabelecimentos de saúde (registros, bases de dados hospitalares, dados de telemedicina) podem constituir dados clínicos pós-comercialização válidos, desde que sua coleta seja sistemática e sua análise rigorosa.
Dados da literatura sobre algoritmos comparáveis. A revisão da literatura sobre SaMD que tenham funções semelhantes em indicações próximas continua sendo uma fonte válida, sob reserva de uma demonstração de equivalência ou de uma justificativa da comparabilidade.
O que a MDCG 2020-1 esclarece
A guidance MDCG 2020-1 sobre os dados clínicos para os SaMD esclarece os critérios de avaliação da qualidade dos dados: representatividade da população de teste, adequação do padrão de referência, ausência de viés de seleção, nível de evidência do estudo. Ela lembra que os estudos de desempenho algorítmico isolados (desempenho sobre dados de teste) são insuficientes se não forem complementados por dados sobre o impacto clínico real do software.