DeepSeek gibt seine Inference Engine frei. Was kostet es, sie selbst zu betreiben?

Am 20. Oktober stand auf Hacker News ganz oben: DeepSeek hat DeepInfer freigegeben, die Inference Engine, mit der das Unternehmen seine eigene API betreibt. Apache 2.0, dazu ein Techreport, und darunter 200 Kommentare, die sich an zwei Zahlen aus DeepSeeks Zhihu-Post abarbeiten. 155 Billionen Token pro Tag aus einem einzigen Cluster. Und 38 Dollar Umsatz pro Karte und Stunde, zu Off-peak-Preisen.

Die Frage, die der Thread stellt und nicht beantwortet, liegt nahe: Wenn Engine und Modell offen sind, kann ich das dann selbst betreiben? Und was kostet mich das?

Wir haben nachgerechnet. Die kurze Antwort: Ja, du kannst. Es kostet dich in jeder Variante mehr als die API. Und das Interessante an dem Release ist nicht, was drin ist, sondern was fehlt.

DeepInfer ist die Engine hinter DeepSeeks Produktion. Sie ist aus vLLM entstanden, das sagt das README selbst, mit Anleihen bei SGLang und TensorRT-LLM. Drin stecken die Kernel, die DeepSeek über die letzten anderthalb Jahre einzeln veröffentlicht hat (FlashMLA, DeepGEMM, DeepEP), dazu Speculative Decoding (DSpark), asynchrones Scheduling, deterministisches Sampling und Structured Outputs über JSON-Schema oder Grammatik.

Unterstützt wird genau ein Modell, DeepSeek V4.1 Flash, und genau zwei Sorten Hardware: NVIDIA SM100, also Blackwell (B200, B300, GB200, GB300), und Huaweis Ascend 950. Keine H100, keine H200. Wer letztes Jahr Hopper gekauft hat, bleibt bei vLLM oder SGLang; dazu gleich mehr.

Und dann steht im README ein Absatz, der den Thread eigentlich hätte tragen sollen:

V4.1 Flash ist ein Mixture-of-Experts-Modell mit 552 Milliarden Parametern, von denen pro Token nur 8 Milliarden beim Lesen (Prefill) und 16 Milliarden beim Schreiben (Decode) rechnen. Das macht es schnell, aber nicht klein. Die Gewichte liegen vorquantisiert als FP8 und FP4 vor und belegen 510 GB auf der Platte; mit Headroom will das vLLM-Recipe rund 614 GB GPU-Speicher. Die Lizenz ist MIT, du darfst also alles damit machen.

Der KV-Cache ist dagegen erstaunlich klein: 890 Byte pro Token, bei einer Million Token Kontext weniger als ein Gigabyte. Das Speicherproblem ist das Modell, nicht der Kontext.

NVIDIA pflegt für das Modell ein Deployment-Recipe. Es kennt drei Wege, und keiner davon führt über die H100, die überall herumstehen.

Ein Mac Studio mit 512 GB bleibt ein Hobby. Es gibt Berichte über 2-Bit-Builds mit knapp zehn Token pro Sekunde, und beim Schreiben dieses Posts kannten noch nicht alle gängigen Runtimes die Architektur.

Ein B200 kostet im Oktober 2026 je nach Index zwischen 6,40 und 8,40 Dollar pro Stunde; wir rechnen mit sieben. Acht davon, den ganzen Monat, und als Durchsatz die 991 Output-Token pro Sekunde und GPU aus dem Recipe:

Lies die letzten vier Zeilen noch einmal. Selbst wenn dein gemieteter Node rund um die Uhr unter Volllast läuft, zahlst du pro Token mehr als bei DeepSeek zu Tageszeit-Preisen, und bei realistischer Auslastung das Fünffache. Die Input-Seite macht es nicht besser, denn die API nimmt für Input ein Viertel des Output-Preises und für Cache-Hits 0,006 Dollar pro Million.

Über den Preis lohnt sich Mieten also nie. Für einen Test, einen Benchmark oder einen Monat Evaluation ist es trotzdem der richtige Weg. Für den Dauerbetrieb nicht.

Ein HGX-B200-System mit acht GPUs kostet 2026 zwischen 400.000 und 500.000 Dollar; wir nehmen 450.000. Ein einzelner B200 wird gerade für 45.000 bis 50.000 gehandelt, Tendenz steigend. Dazu kommt Strom, denn das System zieht rund 14,3 kW.

Gegen die API zu Peak-Preisen rechnet sich der Kauf ab rund 58 Prozent Auslastung, drei Jahre lang, jeden Tag. Gegen Off-peak-Preise rechnet er sich nie. Und das alles, bevor jemand den Node ins Rack schraubt, die CUDA-13-Treiber pflegt und nachts rangeht, wenn ein Worker hängt.

Die Zahlen sind Momentaufnahmen, deshalb kannst du sie hier mit deinen eigenen ersetzen:

Das ist keine Überraschung, wenn man die Vorgeschichte kennt. Im März 2025 hat DeepSeek schon einmal vorgerechnet, wie die V3/R1-Inferenz läuft: H800 für zwei Dollar die Stunde, 87.000 Dollar Kosten am Tag, theoretisch 562.000 Dollar Umsatz. Die neue Zahl, 38 Dollar pro Karte und Stunde, ist derselbe Gedanke auf besserer Hardware. Eine Karte, die dich sieben Dollar Miete kostet, spielt bei DeepSeek das Fünffache ein. Wie geht das?

Es sind drei Dinge, und alle drei stehen in der Liste der Teile, die nicht freigegeben wurden.

Das erste ist der Cache. DeepSeek nennt eine Cache-Hit-Rate von 96 Prozent auf dem Input. Agentische Workloads sehen aus wie der NVIDIA-Benchmark: 64.000 Token rein, 400 raus, und von den 64.000 hat das System die meisten schon einmal gesehen. Ein Cache-Hit kostet den Kunden 0,006 Dollar pro Million Token und DeepSeek fast keine Rechenzeit, weil der KV-Cache nicht neu gebaut, sondern von SSD geladen wird. Die Berichte zum Release sprechen von 100 PiB SSD allein für diesen Cache. Das ist das KV-Cache-System, das im Release fehlt.

Das zweite ist die Trennung von Prefill und Decode. Beim Lesen rechnet die Karte, beim Schreiben wartet sie auf den Speicher; auf getrennten Maschinen lässt sich beides für sich auslasten. Im NVIDIA-Recipe bringt das auf B200 zehn Prozent mehr Durchsatz pro GPU und 50 Prozent mehr Token pro Sekunde und Nutzer. Für einen Node im eigenen Rack ist das nett. Für einen Cluster, in dem vier Karten das Lesen für 64 Karten Schreiben übernehmen (so steht es im DeepInfer-README), ist es das Geschäftsmodell.

Das dritte ist die Auslastung. 155 Billionen Token am Tag aus einem Cluster bedeutet, dass die Karten nie stillstehen. Dein Node dagegen läuft nachts leer und am Wochenende leer, und im Sprint-Review kommen alle gleichzeitig. Die 58 Prozent Break-even von oben erreicht eine einzelne Firma kaum.

Das Release gibt dir die Engine. Die Ökonomie gibt es dir nicht.

Wenn der Preis nicht das Argument ist, bleiben die Argumente, die kein Preis abbildet.

Das erste ist Datenschutz. DeepSeeks eigene Datenschutzerklärung sagt, dass Daten in der Volksrepublik China gespeichert werden. Für personenbezogene Daten ist die gehostete API damit kein Default. Dieselben Gewichte auf einem Server in Frankfurt sind eine andere Sache: Modellgewichte sind keine personenbezogenen Daten, und was du an das Modell schickst, verlässt dein Rechenzentrum nicht. Darauf zielen die Kommentare im HN-Thread, nach denen europäische Firmen gerade auf selbst oder in der EU gehostete Open-Weight-Modelle umziehen.

Das zweite ist Determinismus. DeepInfer kann batch-invariant rechnen und deterministisch samplen, jedenfalls auf NVIDIA. Für Evals, Regressionstests und alles, was nach dem EU AI Act dokumentiert werden will, ist „dieselbe Eingabe, dieselbe Ausgabe, auch morgen“ mehr wert, als es klingt.

Das dritte ist Kontrolle über Latenz und Verfügbarkeit: kein Rate Limit, kein Off-peak-Fenster, kein Modell, das über Nacht auf eine neue Version geroutet wird. DeepSeek leitet gerade V4-Pro-Anfragen auf Flash um, bis V4.1 Pro da ist.

Was Self-Hosting nicht löst, ist das Vertrauen in das Modell selbst. Offene Gewichte heißen nicht, dass du weißt, was drin ist. Die Kommentatoren haben recht, wenn sie sagen, dass der Output trotzdem geprüft werden muss. Das gilt allerdings für jedes Modell, egal wo es läuft.

Jetzt zu der Frage, die uns am meisten interessiert. Wenn die Engine offen ist und das Problem Auslastung heißt, dann ist die natürliche Lösung nicht der Node im Keller, sondern jemand, der Nodes bündelt. Ein Hoster, der zehn Firmen auf acht Karten legt, kommt auf die Auslastung, die keine der zehn allein erreicht. Und der Hoster sitzt in Nürnberg, Roubaix oder Paris, nicht in Hangzhou.

Was so ein Hoster braucht, ist überschaubar, aber nicht trivial:

• Er braucht Blackwell. DeepInfer läuft nur auf SM100, und die vLLM- und SGLang-Recipes wollen mindestens H200. Die H100, die überall herumstehen, reichen für dieses Modell nicht.
• Er braucht einen Node pro Replikat, also acht B200 oder vier GB200, mit 512 GiB Host-RAM pro Vierergruppe und InfiniBand oder NVLink dazwischen, sobald Prefill und Decode getrennt laufen.
• Er braucht eine Cache-Schicht, und das ist der Teil, den DeepSeek behält. vLLM und SGLang bringen Bausteine mit (NIXL und Mooncake für die Übergabe des KV-Cache zwischen Prefill und Decode), aber der Cache, der über Stunden hinweg hält und die 96 Prozent möglich macht, ist eigene Arbeit.
• Er braucht Metering, einen Rechtsträger in der EU (der CLOUD Act folgt dem Firmensitz, nicht dem Standort des Rechenzentrums) und einen Auftragsverarbeitungsvertrag.

Und hier hilft DeepInfer tatsächlich, nur anders, als der Thread meint. Nicht als Drop-in, das ein Hoster morgen startet; dafür fehlen die drei Teile. Sondern als Referenz: So sehen die Kernel aus, so wird spekulativ dekodiert, so viele Karten lesen für so viele Karten, die schreiben. Ein Kommentator auf HN berichtet, dass Inference-Provider auf OpenRouter DeepSeek-Modelle schon heute schneller liefern als DeepSeeks eigene API. Das ist der Markt, in den ein Hoster in der Nähe einsteigt. Die Gewichte sind gleich, die Engine ist jetzt gleich, und der Unterschied heißt Auslastung, Cache und Standort.

Unsere Antwort lautet deshalb: Für die meisten Firmen ist das Release kein Grund, Hardware zu kaufen. Es ist ein Grund, dem Hoster ihres Vertrauens eine E-Mail zu schreiben.