Data engineer, Paris · Airflow · ClickHouse · dbt · Kubernetes · Snowflake · Databricks · Spark · AWS · GCPData engineer, Paris · Airflow · ClickHouse · dbt · Kubernetes · Snowflake · Databricks · Spark · AWS · GCP
DATA ENGINEERING2026-09-03

76,6% à 52 dollars ou 65,7% à 1 dollar : ce que révèle le benchmark ClickHouse sur les agents IA

Tahirintsoa Mamitiana·7 min de lecture

ClickHouse vient de publier un benchmark sur les "agents data" : des IA censées répondre à des questions analytiques en langage naturel, directement sur un entrepôt de données. J'ai commenté ça sur LinkedIn en résumant les chiffres qui m'avaient marqué. En vérifiant la source complète pour cet article, mon résumé tenait la route, mais le benchmark contient beaucoup plus de nuances utiles que ce que j'avais retenu en le survolant.

Le chiffre qui m'a arrêté : sur les mêmes 201 questions, le modèle le plus précis (Claude Fable 5.1, 76,6% de bonnes réponses) coûte 52 dollars à faire tourner sur l'ensemble du benchmark. Une alternative, DeepSeek V4 Flash, obtient 65,7%, soit 11 points de moins, pour 1 dollar. Cinquante-deux fois moins cher pour onze points de précision en moins.

Est-ce qu'on doit choisir le modèle le plus performant du classement général, ou celui qui correspond le mieux à nos contraintes réelles de coût et de volume ? Le benchmark, une fois qu'on regarde comment il est construit, répond en creux à cette question : ça dépend beaucoup moins du modèle qu'on pourrait le croire, et beaucoup plus de ce qu'on lui donne à comprendre avant qu'il n'écrive la moindre requête.

Ce que le benchmark mesure vraiment

Les benchmarks text-to-SQL classiques (Spider, Spider 2.0, WikiSQL, BIRD) mesurent une seule chose : la capacité d'un modèle à traduire une question en langage naturel vers une requête SQL correcte. C'est utile, mais ça isole une étape d'un problème qui en compte beaucoup plus quand on parle d'un vrai agent analytique.

Le benchmark ClickHouse teste le pipeline complet : comprendre le schéma de l'entrepôt, choisir les bonnes tables, construire un plan de requête cohérent, générer le SQL, l'exécuter, puis interpréter le résultat pour formuler une réponse en langage naturel. Chacune de ces étapes peut faire échouer la réponse finale, indépendamment de la qualité du SQL généré.

Un autre détail méthodologique change tout : ClickHouse a spécifiquement contrôlé la mémorisation. Les modèles frontière peuvent compléter des questions de benchmarks connus depuis leur mémoire d'entraînement plutôt qu'en raisonnant vraiment dessus. ClickHouse montre qu'en donnant les 60% premiers d'une question Spider à un modèle et en lui demandant de deviner la suite, le meilleur "mémorisateur" complète le texte avec une similarité de 0,89, quasiment mot pour mot. Un benchmark public utilisé depuis des années finit par mesurer la mémorisation plutôt que la généralisation.

Pour éviter ça, les 201 questions de ce benchmark viennent du trafic réel de DWAINE, l'agent analytique interne de ClickHouse (qui traite environ 70% des requêtes sur leur entrepôt de données, pour plus de 200 utilisateurs internes, environ 33 millions de tokens LLM par jour), et l'entrepôt sur lequel les modèles sont testés est une reconstruction synthétique mais fidèle du vrai entrepôt, avec des entités générées par Faker plutôt que des noms d'organisations réelles. Demander l'identifiant d'un client précis ne peut pas se répondre depuis la mémoire d'entraînement du modèle, seulement en interrogeant réellement les données.

Les résultats en détail

28 modèles ont été testés, tous vendeurs et tous types confondus (propriétaires et open-weights), avec le même harnais d'agent, le même prompt, le même entrepôt.

Modèle Précision Coût (201 questions)
Claude Fable 5.1 76,6 % 52 $
DeepSeek V4 Pro 74,6 % (-2 points vs Fable 5.1) plus de 75 % moins cher que Fable 5.1
DeepSeek V4 Flash 65,7 % (-11 points vs Fable 5.1) 1 $ (52 fois moins cher que Fable 5.1)

Les dix premières places du classement sont occupées par des modèles frontière, dont cinq open-weights quand on classe uniquement sur la précision. Mais dès qu'on ajoute le coût dans l'équation, le classement change complètement : DeepSeek V4 Pro n'est qu'à deux points du leader pour plus de 75% d'économie, ce qui en fait un candidat plus raisonnable que le leader brut pour la plupart des cas d'usage réels.

Le vrai goulot d'étranglement : les erreurs de planification

C'est le résultat qui m'a le plus marqué, et celui que mon résumé LinkedIn n'avait pas assez creusé. ClickHouse classe chaque échec selon cinq modes de défaillance :

FM2, le mauvais plan, domine largement : entre 53% et 82% des échecs selon les modèles, pour tous les modèles ayant un nombre d'échecs suffisant pour être significatif. Autrement dit, la majorité des erreurs ne vient pas d'un modèle qui écrit du mauvais SQL. Elle vient d'un modèle qui n'a pas compris quelles tables interroger ou comment construire son plan avant même d'écrire la moindre ligne de requête.

Un détail qui confirme à quel point c'est indépendant de la qualité pure du modèle : Fable 5.1, le leader du classement, a la part de FM2 la plus basse du top dix (57%), mais la part de FM3 (mauvaises données) la plus haute de tout le classement (28%). Même le meilleur modèle du benchmark se trompe surtout sur ce qu'il choisit de lire, pas sur la façon dont il l'exprime en SQL.

Ce que ça implique pour le data engineering

Si la majorité des échecs vient de la phase de planification, la variable qu'on peut réellement contrôler n'est pas le choix du modèle. C'est la qualité de ce qu'on lui donne à comprendre pour planifier : le schéma, la documentation, les métadonnées, les définitions de métriques.

C'est exactement le problème que j'ai décrit dans mon article sur la couche sémantique : un agent qui doit deviner ce que signifie une métrique en lisant des noms de colonnes ambigus, ou choisir entre trois tables qui semblent toutes contenir "le revenu", va planifier de travers, même avec le meilleur modèle du marché. Une couche sémantique documentée, avec un dictionnaire de métriques que l'agent peut lire directement plutôt que deviner depuis le schéma brut, réduit exactement le type d'erreur que FM2 mesure : l'agent n'a plus à inférer quelles tables choisir, on le lui dit.

Ce lien n'est pas explicite dans le benchmark ClickHouse, mais il découle directement de sa propre conclusion : le goulot d'étranglement n'est pas dans la génération SQL, une tâche que les modèles maîtrisent déjà bien (FM5 est quasiment inexistant), il est dans la compréhension du contexte métier en amont. Améliorer cette compréhension est un travail de modélisation de données, pas un choix de modèle IA.

Ce que je ferais avec ce benchmark, concrètement

La tentation naturelle face à un classement, c'est de choisir le modèle en tête. Le benchmark ClickHouse suggère plutôt l'inverse : le "meilleur" modèle dépend entièrement de vos contraintes de coût, de volume de requêtes, et surtout de la qualité de votre propre modèle de données, qui n'a rien à voir avec celui utilisé par ClickHouse pour construire son classement.

L'approche la plus utile, à mon avis, c'est de tester ses propres questions métier sur plusieurs modèles plutôt que de copier le classement général. ClickHouse a publié son harnais en open source (data-agent-mnist), pensé pour tourner contre n'importe quel entrepôt. Concrètement, ça voudrait dire : constituer un petit jeu de questions représentatives de ce qu'on demande vraiment à son propre agent (pas 201, une vingtaine suffit pour un premier signal), les faire tourner avec le harnais sur son propre schéma, et comparer précision, coût et vitesse sur ses propres données plutôt que sur l'entrepôt synthétique de ClickHouse. Le classement général donne une bonne intuition de départ, mais la seule mesure qui compte vraiment est celle faite sur son propre contexte.

Conclusion

La vraie variable qui détermine si un agent IA répond correctement à une question analytique, ce n'est pas seulement le modèle qu'on choisit. C'est la qualité de ce qu'on lui donne à comprendre avant qu'il ne planifie sa requête. Un modèle à 76,6% qui coûte 52 fois plus cher qu'un modèle à 65,7% n'est pas nécessairement le bon choix : tout dépend de ce qui limite réellement la précision dans votre cas, le modèle, ou le contexte qu'on lui fournit.

Le benchmark complet, sa méthodologie et le harnais open source sont sur le blog de ClickHouse : clickhouse.com/blog/agentic-analytics-benchmark-data-agent-mnist.