Ce qui détermine la qualité des réponses
Ce n’est pas le modèle de langage, c’est la source. Un agent branché sur un modèle sémantique bien nommé, avec des mesures documentées, répond juste. Le même agent branché sur des tables brutes aux colonnes cryptiques produit des réponses plausibles et fausses — le pire des deux mondes.
Lakehouse ou modèle sémantique comme source
- Modèle sémantique : les mesures sont déjà définies et cohérentes. L’agent hérite d’une logique métier validée. À privilégier dès qu’un modèle existe.
- Lakehouse ou entrepôt : couverture plus large, mais l’agent doit inventer l’agrégation. Le risque d’erreur métier — mauvaise jointure, double comptage — augmente nettement.
Comment l’évaluer sérieusement
Constituez un jeu de questions dont vous connaissez la réponse exacte, incluant des cas ambigus, et mesurez le taux de réponses justes. Un agent qui a raison huit fois sur dix sur des chiffres financiers n’est pas déployable : c’est la nature des deux erreurs, pas leur nombre, qui décide de l’usage.
Exigez systématiquement l’affichage de la requête générée. Une réponse non vérifiable n’a pas sa place dans une décision.
