INFERENCE ENGINEERING

La bonne puissance. Au juste coût.

Du besoin à l’infrastructure : des choix lisibles, des hypothèses explicites.

Un point de départ

VOTRE WORKLOAD

Les bons paramètres.

Type de structuredéfaut

Modèle à déployer

40 références · rechercher par nom ou famille

Profil de charge

Séquences simultanées

1100

Contexte maximum

Entrée moyenne

Sortie moyenne

Quantification des poids

Marge de sécurité

+25 %

Charge, budget et matériel

Requêtes / seconde

TTFT cible (ms)

TPOT cible (ms)

Heures facturées / mois

Budget mensuel (€), vide = libre

Hébergement

GPU déjà disponible

Réserve de capacité N+1

Appels LLM par tâche

Les champs non renseignés utilisent des hypothèses visibles et modifiables.

MODÈLELlama 3.1 70B

CONCURRENCE20 séquences

CONTEXTE32 768 tokens

Votre infrastructure, au bon équilibre.

3 options exploratoires · différents compromis.

Calcul déterministe

01Économique

20 × H100 80 GB

80 GiB / GPU · INT4

vLLMOn-prem

VRAM / GPU26,3 / 80 GiB

Vitesse / utilisateur: ~120 tok/s
Premier token: ~5,72 s
Débit de service: ~1,62 req/s

Ordres de grandeur théoriques

24 300 € / mois

Exploitation + achat réparti sur 36 mois

02Équilibrée

18 × H100 80 GB

80 GiB / GPU · INT4

vLLMOn-prem

VRAM / GPU43,9 / 80 GiB

Vitesse / utilisateur: ~73 tok/s
Premier token: ~7,45 s
Débit de service: ~1,51 req/s

Ordres de grandeur théoriques

24 370 € / mois

Exploitation + achat réparti sur 36 mois

03Réactivité

24 × H100 80 GB

80 GiB / GPU · INT4

vLLMOn-prem

VRAM / GPU19,1 / 80 GiB

Vitesse / utilisateur: ~164 tok/s
Premier token: ~6,29 s
Débit de service: ~1,8 req/s

Ordres de grandeur théoriques

27 493 € / mois

Exploitation + achat réparti sur 36 mois

Mémoire calculée. Performances théoriques à valider. Prix indicatifs, sans engagement fournisseur.

LE COMPROMIS

Coût et réactivité

Plus à droite, plus rapide. Plus bas, plus économique.

ÉconomiqueÉquilibréeRéactivité

Par million de tokens de sortie au volume saisi. Projection théorique, hors frais annexes.

SOUS LE CAPOT

Chaque GiB compte.

43,9GiB / GPUÉquilibrée · H100 80 GB

Poids du modèle18,08 GiB

KV cache15 GiB

Runtime2 GiB

Marge8,77 GiB

Contexte réservé pour 20 séquences. Doubler le contexte double leur KV cache.

Hypothèses et traçabilité13 champs par défaut

Le moteur réserve le KV cache au contexte maximum. Les hypothèses restent modifiables dans le questionnaire.

Paramètre	Valeur	Origine
Type de structure	unspecified	Hypothèse modifiable dans le formulaire.
Quantification	auto	Hypothèse modifiable dans le formulaire.
Marge VRAM	0.25	Hypothèse modifiable dans le formulaire.
Requêtes / seconde	1	Dérivé : un appel par séquence toutes les 60 s, multiplié par les appels/tâche en agentique.
TTFT cible (ms)	2000	Hypothèse modifiable dans le formulaire.
TPOT cible (ms)	100	Hypothèse modifiable dans le formulaire.
Heures / mois	730	Hypothèse modifiable dans le formulaire.
Budget mensuel (€)	Non défini	Hypothèse modifiable dans le formulaire.
Hébergement	any	Hypothèse modifiable dans le formulaire.
GPU existant	none	Hypothèse modifiable dans le formulaire.
Quantité existante	1	Hypothèse modifiable dans le formulaire.
Parc existant uniquement	false	Hypothèse modifiable dans le formulaire.
Réserve N+1	false	Hypothèse modifiable dans le formulaire.

Moteur 1.1.0 · Catalogue 2026-09-26.2 · 20 candidats examinés.