INFERENCE ENGINEERING

La bonne puissance. Au juste coût.

Du besoin à l’infrastructure : des choix lisibles, des hypothèses explicites.

Un point de départ

VOTRE WORKLOAD

Les bons paramètres.

Type de structuredéfaut

Modèle à déployer

40 références · rechercher par nom ou famille

Profil de charge

Séquences simultanées

1100

Contexte maximum

Entrée moyenne

Sortie moyenne

Quantification des poids

Marge de sécurité

+25 %

Charge, budget et matériel

Requêtes / seconde

TTFT cible (ms)

TPOT cible (ms)

Heures facturées / mois

Budget mensuel (€), vide = libre

Hébergement

GPU déjà disponible

Réserve de capacité N+1

Les champs non renseignés utilisent des hypothèses visibles et modifiables.

MODÈLEQwen2.5 7B

CONCURRENCE5 séquences

CONTEXTE8 192 tokens

Votre infrastructure, au bon équilibre.

3 options exploratoires · différents compromis.

Calcul déterministe

01Économique

RTX 4090

24 GiB / GPU · FP16

vLLMOn-prem

VRAM / GPU23 / 24 GiB

Vitesse / utilisateur: ~36 tok/s
Premier token: ~0,97 s
Débit de service: ~0,5 req/s

Ordres de grandeur théoriques

202 € / mois

Exploitation + achat réparti sur 36 mois

02Équilibrée

RTX 4090

24 GiB / GPU · INT8

vLLMOn-prem

VRAM / GPU15 / 24 GiB

Vitesse / utilisateur: ~65 tok/s
Premier token: ~0,97 s
Débit de service: ~0,83 req/s

Ordres de grandeur théoriques

202 € / mois

Exploitation + achat réparti sur 36 mois

03Réactivité

4 × H100 80 GB

80 GiB / GPU · INT4

vLLMOn-prem

VRAM / GPU4,4 / 80 GiB

Vitesse / utilisateur: ~1 000 tok/s
Premier token: ~0,1 s
Débit de service: ~11,5 req/s

Ordres de grandeur théoriques

4 860 € / mois

Exploitation + achat réparti sur 36 mois

Mémoire calculée. Performances théoriques à valider. Prix indicatifs, sans engagement fournisseur.

LE COMPROMIS

Coût et réactivité

Plus à droite, plus rapide. Plus bas, plus économique.

ÉconomiqueÉquilibréeRéactivité

Par million de tokens de sortie au volume saisi. Projection théorique, hors frais annexes.

SOUS LE CAPOT

Chaque GiB compte.

15GiB / GPUÉquilibrée · RTX 4090

Poids du modèle7,8 GiB

KV cache2,19 GiB

Runtime2 GiB

Marge3 GiB

Contexte réservé pour 5 séquences. Doubler le contexte double leur KV cache.

Hypothèses et traçabilité14 champs par défaut

Le moteur réserve le KV cache au contexte maximum. Les hypothèses restent modifiables dans le questionnaire.

Paramètre	Valeur	Origine
Type de structure	unspecified	Hypothèse modifiable dans le formulaire.
Quantification	auto	Hypothèse modifiable dans le formulaire.
Marge VRAM	0.25	Hypothèse modifiable dans le formulaire.
Requêtes / seconde	0.08333333333333333	Dérivé : un appel par séquence toutes les 60 s, multiplié par les appels/tâche en agentique.
TTFT cible (ms)	2000	Hypothèse modifiable dans le formulaire.
TPOT cible (ms)	100	Hypothèse modifiable dans le formulaire.
Heures / mois	730	Hypothèse modifiable dans le formulaire.
Budget mensuel (€)	Non défini	Hypothèse modifiable dans le formulaire.
Hébergement	any	Hypothèse modifiable dans le formulaire.
GPU existant	none	Hypothèse modifiable dans le formulaire.
Quantité existante	1	Hypothèse modifiable dans le formulaire.
Parc existant uniquement	false	Hypothèse modifiable dans le formulaire.
Réserve N+1	false	Hypothèse modifiable dans le formulaire.
Appels par tâche	1	Hypothèse modifiable dans le formulaire.

Moteur 1.1.0 · Catalogue 2026-09-26.2 · 62 candidats examinés.