INFERENCE ENGINEERING

La bonne puissance. Au juste coût.

Du besoin à l’infrastructure : des choix lisibles, des hypothèses explicites.

Un point de départ

VOTRE WORKLOAD

Les bons paramètres.

Type de structuredéfaut

Modèle à déployer

40 références · rechercher par nom ou famille

Profil de charge

Séquences simultanées

1100

Contexte maximum

Entrée moyenne

Sortie moyenne

Quantification des poids

Marge de sécurité

+25 %

Charge, budget et matériel

Requêtes / seconde

TTFT cible (ms)

TPOT cible (ms)

Heures facturées / mois

Budget mensuel (€), vide = libre

Hébergement

GPU déjà disponible

Réserve de capacité N+1

Les champs non renseignés utilisent des hypothèses visibles et modifiables.

MODÈLEQwen2.5 14B

CONCURRENCE10 séquences

CONTEXTE16 384 tokens

Votre infrastructure, au bon équilibre.

3 options exploratoires · différents compromis.

Calcul déterministe

01Économique

4 × RTX 4090

24 GiB / GPU · INT4

vLLMOn-prem

VRAM / GPU23,2 / 24 GiB

Vitesse / utilisateur: ~47 tok/s
Premier token: ~12,94 s
Débit de service: ~0,45 req/s

Ordres de grandeur théoriques

810 € / mois

Exploitation + achat réparti sur 36 mois

02Équilibrée

8 × H100 80 GB

80 GiB / GPU · FP16

vLLMOn-prem

VRAM / GPU11,5 / 80 GiB

Vitesse / utilisateur: ~226 tok/s
Premier token: ~1,45 s
Débit de service: ~2,49 req/s

Ordres de grandeur théoriques

9 164 € / mois

Exploitation + achat réparti sur 36 mois

03Réactivité

8 × H100 80 GB

80 GiB / GPU · INT4

vLLMOn-prem

VRAM / GPU8,4 / 80 GiB

Vitesse / utilisateur: ~465 tok/s
Premier token: ~1,45 s
Débit de service: ~3,47 req/s

Ordres de grandeur théoriques

9 164 € / mois

Exploitation + achat réparti sur 36 mois

Mémoire calculée. Performances théoriques à valider. Prix indicatifs, sans engagement fournisseur.

LE COMPROMIS

Coût et réactivité

Plus à droite, plus rapide. Plus bas, plus économique.

ÉconomiqueÉquilibréeRéactivité

Par million de tokens de sortie au volume saisi. Projection théorique, hors frais annexes.

SOUS LE CAPOT

Chaque GiB compte.

11,5GiB / GPUÉquilibrée · H100 80 GB

Poids du modèle3,44 GiB

KV cache3,75 GiB

Runtime2 GiB

Marge2,3 GiB

Contexte réservé pour 10 séquences. Doubler le contexte double leur KV cache.

Hypothèses et traçabilité14 champs par défaut

Le moteur réserve le KV cache au contexte maximum. Les hypothèses restent modifiables dans le questionnaire.

Paramètre	Valeur	Origine
Type de structure	unspecified	Hypothèse modifiable dans le formulaire.
Quantification	auto	Hypothèse modifiable dans le formulaire.
Marge VRAM	0.25	Hypothèse modifiable dans le formulaire.
Requêtes / seconde	0.16666666666666666	Dérivé : un appel par séquence toutes les 60 s, multiplié par les appels/tâche en agentique.
TTFT cible (ms)	2000	Hypothèse modifiable dans le formulaire.
TPOT cible (ms)	100	Hypothèse modifiable dans le formulaire.
Heures / mois	730	Hypothèse modifiable dans le formulaire.
Budget mensuel (€)	Non défini	Hypothèse modifiable dans le formulaire.
Hébergement	any	Hypothèse modifiable dans le formulaire.
GPU existant	none	Hypothèse modifiable dans le formulaire.
Quantité existante	1	Hypothèse modifiable dans le formulaire.
Parc existant uniquement	false	Hypothèse modifiable dans le formulaire.
Réserve N+1	false	Hypothèse modifiable dans le formulaire.
Appels par tâche	1	Hypothèse modifiable dans le formulaire.

Moteur 1.1.0 · Catalogue 2026-09-26.2 · 66 candidats examinés.