Teste champion challenger com desafiante de 5%: 19,6 meses
O teste
Você compara um modelo ou uma estratégia de decisão que já está em uso com uma nova opção antes de decidir se troca a abordagem atual. O modelo campeão avalia a maioria dos casos em um grupo de controle, enquanto o desafiante avalia uma amostra, geralmente aleatória. Se o desafiante tiver um desempenho melhor, você pode substituir o campeão de forma gradual ou de uma só vez. Caso contrário, pode aprimorá-lo ou descartá-lo.
Para comparar os resultados, também é preciso identificar qual abordagem avaliou cada caso. Na maioria das implementações, um número aleatório acompanha os dados usados na decisão. Um número basta quando o teste abrange uma parte da decisão. Para vários testes, números separados evitam que um interfira no outro. Os resultados ficam associados ao número usado, permitindo identificar os dois grupos na comparação de desempenho.
Você pode testar a segmentação de uma tabela de decisão, uma linha, uma regra, um conjunto de regras inteiro ou uma fonte de dados de terceiros contra outra. Cada comparação é independente e precisa do próprio número.
O tempo de espera
Inclua a janela de observação no plano do teste. O desempenho do crédito ao consumidor pode levar seis meses para aparecer. Comparar as safras dos dois grupos lado a lado ajuda a separar diferenças entre os modelos das mudanças nas condições do período. Sem essa comparação, fica difícil explicar a diferença entre safras.
Com uma taxa de maus pagadores de 4%, detectar uma diferença de um ponto leva 19,6 meses com um desafiante de 5% e uma janela de observação de seis meses. Com um desafiante de 50% e a mesma janela, o teste leva 8,7 meses.
| Fatia do challenger | Meses para completar | Janela (seis meses) | Janela (doze meses) |
|---|---|---|---|
| 5% | 13.6 | 19.6 | 25.6 |
| 10% | 7.2 | 13.2 | 19.2 |
| 20% | 4.1 | 10.1 | 16.1 |
| 50% | 2.7 | 8.7 | 14.7 |
A quantidade de empréstimos no grupo desafiante muda menos do que o tempo de calendário sugere, porque o grupo campeão serve de comparação. Para detectar uma diferença de um ponto, o grupo desafiante precisa de 3.407 empréstimos com participação de 5% e 6.745 com participação de 50%. O que mais muda é o tempo para reunir essa quantidade com uma participação menor. Buscar uma diferença de meio ponto aumenta ainda mais a espera: com uma janela de observação de seis meses, o desafiante de 5% precisa de 58,7 meses, contra 16,2 meses para o desafiante de 50%.
A divisão do tráfego
Uma divisão com limites definidos encaminha cada solicitação para um destino claro. Se o desafiante recebe valores de divisão de 1 a 30 e o campeão recebe todos os demais, exatamente 30 de cada 100 solicitações vão para o desafiante e 70 para o campeão. Todas recebem uma decisão. Se você adicionar um segundo desafiante para os valores de 21 a 40, os mesmos limites dividem 100 solicitações em 20, 20 e 60 entre os três ramos. A divisão é simples porque os intervalos são explícitos: cada solicitação entra em um ramo, sem deixar lacunas.
Os limites também determinam o que acontece quando a solicitação não tem valor de divisão. Uma configuração segura limita o desafiante aos valores de 1 a 30 e direciona o restante ao campeão. Assim, valores ausentes vão para o campeão. Valores fora do intervalo esperado também são encaminhados para ele: uma solicitação com valor de divisão 0 ou 101 ainda recebe uma decisão. O teste é o que está sendo avaliado, não a alternativa usada quando falta um valor.
Esse par de regras, que parece seguro à primeira vista, produz o efeito contrário. Uma regra challenger que abrange valores de até 30 e uma regra champion para valores acima de 30 parecem cobrir todos os casos, mas um valor ausente é considerado menor que qualquer número e, por isso, corresponde à regra challenger. Para essas solicitações, um teste champion-challenger de 70/30 passa a 0/100. Incluir uma regra champion para qualquer valor não corrige o resultado se a regra challenger for avaliada primeiro: com a regra challenger definida como “até 30” e a regra champion como “qualquer valor”, o valor ausente ainda segue para a challenger. Só limitar o intervalo testado mantém os valores ausentes no modelo em produção.
A divisão também pode usar um campo como o canal. Um ramo para «corretor» e o campeão para os demais direciona as solicitações de corretores ao desafiante. Todos os outros canais, inclusive um não previsto e um valor ausente, vão para o campeão. Se você listar três canais específicos sem uma regra para os demais, um quarto valor fica sem decisão. Vale a mesma regra da divisão numérica: limite o ramo em teste e direcione o restante ao campeão.
A verificação antes de entrar em produção
Antes de colocar a tabela, o scorecard ou o conjunto de regras alterado em produção, teste-o com decisões anteriores ou com um arquivo. O analisador de impacto informa quantas decisões mudariam, por exemplo, «30 de 1.001 decisões mudariam», e mostra os resultados anteriores e novos. Quando os resultados reais são associados às decisões, você pode ver a taxa de maus pagadores de cada grupo, em vez de avaliar a revisão apenas pelas decisões que mudaram.
Essa verificação não cria a divisão em produção para você. No tráfego real, uma ramificação do fluxo de decisão usa o valor de divisão enviado pelo sistema da instituição financeira. O sistema não tem uma divisão aleatória integrada. A IA pode adicionar a ramificação, com o champion como ramo catch-all, e cada alteração precisa ser aprovada antes de ser usada. Por isso, o número que identifica o braço precisa chegar nos dados recebidos pela decisão.
O mesmo número precisa continuar associado à decisão depois que ela é tomada. Quando um arquivo de decisões está conectado, cada decisão é registrada no banco de dados da própria instituição, junto com o documento da solicitação e o valor de divisão. Assim, você pode comparar os dois grupos com os resultados da instituição e manter associado a cada decisão o valor usado para direcioná-la. A comparação fica ligada aos casos que a instituição realmente recebeu.
O modelo desafiante passa a ser o campeão quando você publica a release dele no endpoint. Você também pode comparar duas releases antes de fazer isso.
O próximo teste
Informe a taxa de maus pagadores esperada, a participação do desafiante e a janela de observação na calculadora champion challenger. Ela faz as contas com os seus números e avalia a comparação concluída usando a diferença, o intervalo de 95% e o valor-p.
Antes de direcionar o tráfego, confira se o teste, pelo tempo planejado, consegue detectar a diferença esperada. Com participação de 20%, um teste que receba empréstimos por 1 mês detecta uma diferença de 2,11 pontos percentuais ou mais. Em 3 meses, detecta 1,18. Em 6 meses, 0,82. Em 12 meses, 0,57.
Perguntas frequentes
Devo testar uma regra ou a política de decisão inteira?
Teste uma área de decisão por vez quando precisar saber o que causou uma mudança de desempenho. Você pode isolar uma linha de uma tabela de decisão, uma regra ou um conjunto de regras inteiro. Combinar várias alterações dificulta a interpretação dos resultados. Use um valor de divisão próprio para cada comparação independente, para que a distribuição de tráfego de um teste não afete outro.