Démonstration d’un moteur de décision : acheter ou construire

Lors de la réunion où les démonstrations sont planifiées, un ingénieur estime que les règles de crédit se résument à quelques conditions « if » et que l’équipe informatique peut construire le moteur en un sprint. Le mois prochain, les fournisseurs présenteront leurs outils, tandis que l’ingénieur attend une réponse à une proposition qui semble bien plus limitée. Avant la première présentation d’écran, il faut savoir quels points examiner.

Vérifier qui peut modifier les règles et déployer une version

Commencez la démonstration du moteur de décision par une modification de seuil. Dans l'exemple Decisimo, l'équipe risque modifie les règles, effectue des tests et une analyse d'impact, puis déploie la modification. Une version peut inclure une séquence d'approbation. Le déploiement vers un point d'accès n'a lieu qu'après cette signature.

Demandez si un analyste risque peut modifier un seuil et déployer une version sans passer par un développeur ni créer de ticket. Demandez quelle approbation est nécessaire. Il s’agit de vérifier qui peut modifier les règles et comment le prêteur encadre le déploiement.

Examiner les changements avant leur enregistrement

Demandez à voir le diff avant l’enregistrement, puis à comparer deux versions. Dans l’exemple de crédit-bail Decisimo, le diff montre les lignes ajoutées ou modifiées, notamment la modification du montant du dépôt.

Le moteur doit certes rendre une décision, mais les changements doivent aussi pouvoir être examinés par un collègue du crédit. Lorsqu’une modification de seuil passe par un développeur et génère du code de crédit, personne côté crédit ne relit le code produit. Le diff permet au relecteur de voir ce qui a changé.

Rejouer les décisions passées avec les règles proposées

Demandez à chaque fournisseur de rejouer les décisions du trimestre dernier avec les règles proposées et de lister celles qui changent. La démonstration champion-challenger de Decisimo présente les résultats de son analyseur d’impact.

MesureValeur démo
Décisions rejouées1,001
« approve » vers « decline »30

Après rapprochement avec les résultats observés, la démonstration a également présenté le taux de mauvais payeurs pour chaque cellule de résultat. L’équipe peut ainsi évaluer les décisions modifiées au regard des résultats constatés, au lieu de s’en tenir au nombre de décisions rejouées.

Retrouver la version à l’origine d’une décision

Choisissez une décision prise huit mois plus tôt. Demandez quelle version des règles a été exécutée, quelles données elle a utilisées et quelle règle s’est appliquée. L’historique des commits enregistre les modifications du code. Pour comprendre une décision donnée, le prêteur doit aussi connaître la version, les données utilisées et la règle appliquée.

Dans l’exemple Decisimo, chaque décision enregistre les révisions exécutées et l’origine des données utilisées, y compris lorsqu’une valeur est introuvable. Une version enregistrée sous forme d’instantané conserve les règles qui ont servi à une ancienne décision, même si elles sont modifiées par la suite.

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.

Vérifier où sont stockés les résultats et où le moteur s’exécute

Demandez où sont stockés les résultats, sous quelle forme la logique peut être exportée et où l’exécution peut avoir lieu. Dans l’exemple Decisimo, les résultats peuvent être écrits dans une table du Postgres ou de Supabase du prêteur, et la logique exportée dans un fichier Markdown. L’exécution peut avoir lieu sur des points d’accès régionaux en temps réel ou en traitement par lots via FTP, S3 et GCS.

Si le prêteur quitte le fournisseur, ses résultats restent dans son propre Postgres ou Supabase. Il peut aussi exporter ses règles de décision au format Markdown.

Comparer les prix pour un même volume de décisions

Vérifiez quelles décisions sont comptabilisées, puis comparez le prix au volume actuel et à trois fois ce volume. Les tarifs de Decisimo sont calculés selon le nombre de décisions exécutées en production. Chaque enregistrement traité par lots compte pour une décision. Le nombre de règles, de sources ou de modèles utilisés pour une décision ne change pas le décompte.

OffreVolumePrix
Offre mensuelle standard50,000 inclusesÀ partir de 500 €
Décisions supplémentairesChaque décision au-delà du volume inclus0.01 € l’unité
Offre standard pour 50,000 décisions par mois50,000 décisions500 €
Offre standard pour 150,000 décisions par mois150,000 décisions1,500 €

La comparaison des prix n’a de sens que si les deux offres donnent la même définition d’une décision. Vérifiez le mode de comptage autant que le montant total.

Évaluer le développement interne avec les mêmes critères

Construire le moteur de règles est la partie la moins coûteuse. Demandez à l’équipe informatique de décrire le parcours d’une modification de seuil, de la demande au déploiement. Faites-lui montrer comment un relecteur crédit examine le diff et comment les décisions passées sont rejouées avec la modification proposée. Demandez ensuite comment retrouver une ancienne décision à partir de la version exécutée et des données utilisées. Le travail continue après l’exécution de la première règle : une API de bureau peut changer et un modèle peut devoir être remplacé. Il faut donc savoir comment ces modifications sont examinées et rejouées. Le moteur qui évalue les règles ne représente qu’une partie du projet.

Appliquer les mêmes critères à chaque démonstration

Utilisez ces points pour comparer les fournisseurs et la proposition de développement interne.

  1. Demandez au fournisseur de faire modifier et déployer un seuil par un analyste risque, sans développeur ni ticket. Demandez quelle approbation est nécessaire.
  2. Demandez à voir le diff avant son enregistrement, puis à comparer deux versions.
  3. Demandez à rejouer les décisions du trimestre dernier avec les règles proposées et à lister celles qui changent.
  4. Choisissez une décision prise huit mois plus tôt et demandez quelle version l’a déterminée, à partir de quelles données et de quelle règle.
  5. Demandez où sont stockés les résultats, sous quelle forme les règles peuvent être exportées et où le moteur peut s’exécuter.
  6. Vérifiez ce que le tarif comptabilise, puis comparez le volume actuel à trois fois ce volume.
  7. Demandez à l’équipe interne de présenter le même parcours de modification, de revue, de rejeu et d’enregistrement des décisions. Demandez aussi ce qui se passe lorsqu’une API de bureau change ou qu’un modèle est remplacé.

Questions fréquentes sur les démonstrations de moteurs de décision

Que faut-il vérifier lors d’une démonstration de moteur de décision ?

Vérifiez qui peut modifier un seuil et déployer une version, si un relecteur peut examiner le diff avant son enregistrement, si les règles proposées peuvent être rejouées et si une ancienne décision peut être expliquée à partir de la version exécutée. Demandez aussi où sont stockés les résultats et les règles, et comment le prix évolue avec le volume. Demandez au fournisseur de présenter chacun de ces points.

Un prêteur doit-il acheter un moteur de décision ou le développer en interne ?

Construire le moteur de règles est la partie la moins coûteuse. Personne côté crédit ne relit le code généré, et quelqu’un doit toujours assurer la maintenance lorsqu’une API de bureau change ou qu’un modèle doit être remplacé. Demandez à l’équipe interne et aux fournisseurs de présenter les mêmes fonctionnalités.

Pourquoi l’historique Git ne suffit-il pas à expliquer une décision de crédit ?

L’historique Git enregistre les modifications du code. Pour expliquer une décision donnée, le prêteur doit aussi connaître la version des règles, les données utilisées et la règle exécutée. Demandez comment le système enregistre ces éléments pour chaque décision.

Comment comparer les prix d’un moteur de décision lorsque le volume augmente ?

Demandez ce que le tarif comptabilise, puis comparez le prix proposé au volume actuel avec celui calculé pour trois fois ce volume. Les deux offres doivent utiliser la même définition d’une décision. Vérifiez aussi comment sont comptés les enregistrements traités par lots.

Intégrez ces contrôles à un flux de décision

Créez des règles de crédit, de fraude ou de recouvrement, puis appliquez-les aux décisions réelles.