GLM-5.3-Flash draaien op CMP 170HX — een handleiding voor de juiste afmetingen
Delen

Lees dit eerst voordat u naar de cijfers kijkt. Elk getal voor tokens per seconde, elke minimale RAM-vereiste en elke vermelding van "past wel/past niet" op deze pagina is berekend op basis van de geheugenbandbreedte, niet gemeten . We publiceren deze gegevens omdat de berekeningen nuttig zijn voor de keuze van onderdelen, en omdat niemand anders ze lijkt te hebben opgeschreven. We zullen ze vervangen door echte cijfers zodra we het model hebben getest. De benchmark is gepland op een machine met 8 kanalen en 512 GB, maar heeft nog niet plaatsgevonden. Houd rekening met de ondergrens van elk bereik.
GLM-5.3-Flash werkt op één of twee ontgrendelde CMP 170HX 64 GB-kaarten, waarbij de rest van het model in het systeem-RAM is geplaatst. Met twee kaarten en 128 GB RAM zou het systeem goed moeten presteren; de hoeveelheid en snelheid van het systeemgeheugen bepalen hoe snel het reageert. Vanaf vier kaarten past het optimale prestatieniveau volledig op de kaarten en is systeem-RAM niet langer van belang.
Wat we daadwerkelijk hebben gemeten
Deze gegevens zijn van ons, afkomstig van onze eigen onderzoeksbank en van een vierkaartensysteem dat we in september 2026 hebben laten ontwikkelen. Ze vormen de basis waarop de ramingen zijn gebouwd.
| Gemeten op onze hardware | Resultaat |
|---|---|
| Ontgrendelde capaciteit per kaart | 65,536 MiB (64 GB), bevestigd door vele kaarten |
| Maximale VRAM-bandbreedte | 931–970 GB/s (memtest_vulkan; vier-kaartsysteem gelezen 931.3 / 944.2 / 947.3 / 970.0) |
| PCIe link state met onze x16-modificatie | Gen2 ×16 |
| Langdurig stroomverbruik | 244–245 W 60 minuten laten weken (maximaal 250 W van de printplaat) |
| ECC | Geen. Uitgeschakeld — de kaart corrigeert noch meldt geheugenfouten. |
Alles onder deze lijn is modellering.
Hoe werkt onze technologie?

GLM-5.3-Flash is een model dat gebruikmaakt van een mix van experts: in totaal 320 miljard parameters, maar slechts 18 miljard worden per woord gebruikt . De kaart bevat de onderdelen die elk woord nodig heeft; de rest blijft in het systeem-RAM en alleen de paar experts die elk woord selecteert, worden daaruit gelezen.
Die parameteraantallen en de lay-out met 288 experts per laag zijn De door Z.ai gepubliceerde cijfers, lees van de modelkaart en de bijbehorende config.jsonHet is niet aan ons om die te verifiëren.
Kies een configuratie
Twee videokaarten met 128 GB RAM is de ideale configuratie: goede responskwaliteit bij een bruikbare snelheid. De andere twee opties zijn een goedkopere instapvariant en een configuratie met één videokaart.
| Bouw | Kaarten | Systeem RAM | Modelkwaliteit (bestand) | Geschatte snelheid |
|---|---|---|---|---|
| Aanbevolen | 2× 170HX | 128 GB | Goed — UD-Q4_K_XL (200 GB) | 8–20 tokens/s, ingesteld door het RAM-platform |
| Goedkoopste oplossing die werkt | 2× 170HX | 64 GB | Bruikbaar, maar merkbaar minder krachtig — UD-Q2_K_XL (109 GB) | 40–55 fiches/s (het hele model past op de twee kaarten) |
| Enkele kaart | 1× 170HX | 192 GB, 8-kanaals platform | Goed — UD-Q4_K_XL (200 GB) | ongeveer 15 tokens/s |
Een token is ongeveer driekwart van een woord. 10 tokens per seconde leest ongeveer even snel als een persoon leest; 20 of meer voelt snel aan.
Hoeveel systeem-RAM je nodig hebt

Het benodigde RAM-geheugen is gelijk aan het deel van het model dat niet op de kaarten past, plus ongeveer 16 GB voor het besturingssysteem. Eén kaart laat ongeveer 46 GB geheugen over voor de gewichten van het model; twee kaarten laten ongeveer 105 GB over.
| Model kwaliteit | Bestandsgrootte | 1× 170HX: minimaal / aanbevolen RAM-geheugen | 2× 170HX: minimaal / aanbevolen RAM-geheugen |
|---|---|---|---|
| UD-Q2_K_XL — bruikbaar, maar merkbaar zwakker | 109 GB | GB 64 / 96 GB | GB 32 / 64 GB |
| UD-IQ3_XXS — beter | 120 GB | GB 96 / 128 GB | GB 48 / 64 GB |
| UD-Q4_K_XL — goed (aanbevolen) | 200 GB | GB 160 / 192 GB | GB 96 / 128 GB |
| Q8_0 — dicht bij het origineel | 341 GB | GB 320 / 384 GB | GB 256 / 256 GB |
De kleinste versie (93 GB) past niet op één kaart, dus een systeem met één kaart heeft altijd een grote hoeveelheid RAM-geheugen nodig. De bestandsgroottes zijn de door Unsloth gepubliceerde GGUF-groottes , niet die van ons.
Verwachte snelheid

Het aantal geheugenkanalen is belangrijker dan het CPU-model. Een tweede videokaart is vooral nuttig op desktopsystemen, omdat hiermee een groter deel van de rekenkracht uit het trage RAM-geheugen wordt gehaald.
Meer kaarten: 3 tot 6
Vanaf drie kaarten past het hele model in het kaartgeheugen, waardoor het systeem-RAM de snelheid niet langer beperkt.
| Kaarten | Kaartgeheugen | Grootste model dat op de kaarten past | Kwaliteit | Systeem RAM | Snelheid, één gebruiker (schatting) |
|---|---|---|---|---|---|
| 1 | 64 GB | geen — goede kwaliteit vereist RAM-ontlasting | goed, met lossen | 192 GB, 8 kanalen | 14–17 tokens/s |
| 2 | 128 GB | UD-Q2_K_XL (109 GB) | bruikbaar, zwakker | 32–64 GB | 40–55 tokens/s |
| 3 | 192 GB | UD-IQ4_XS (157 GB) | goed, iets onder het vierde kwartaal | 64 GB | 30–40 tokens/s |
| 4 | 256 GB | UD-Q4_K_XL (200 GB), ~30 GB resterend voor lange context | goed | 64 GB | 27–34 tokens/s |
| 5 | 320 GB | UD-Q5_K_XL (240 GB) | zeer goed | 64 GB | 22–28 tokens/s |
| 6 | 384 GB | UD-Q6_K_XL (292 GB), of de officiële FP8-versie (328 GB) | dicht bij het origineel / origineel | 128 GB | 18–23 tokens/s |
- Meer kaarten zorgen voor kwaliteit en ruimte, niet voor snelheid per woord. De kaarten worden na elkaar verwerkt, en een bestand van hogere kwaliteit leest meer gegevens per woord, waardoor de snelheid iets afneemt van vier naar zes kaarten.
- Vier kaarten is het ideale aantal voor één gebruiker: Goede kwaliteit, ongeveer 30 tokens per seconde, geen platform met snel RAM-geheugen nodig.
- Zes kaarten passen bij een team. De officiële FP8-gewichten passen en een vLLM-server kan meerdere gebruikers tegelijk van dienst zijn. De ruimte voor context is beperkt met ongeveer 37 GB, en de vLLM-ondersteuning voor dit model moet nog worden gecontroleerd.
- Wat verandert er met drie kaarten? Een werkstation- of servermoederbord met één 16-slot per kaart (EPYC of Threadripper; 8-slots werken ook, maar het laden duurt dan langer), een voeding van ongeveer 250 W per kaart plus 300 W (ongeveer 1.3 kW voor vier, 1.8-2 kW voor zes), en een behuizing met luchtstroom voor elke kaart.
Deze schattingen gaan ervan uit dat elke kaart ongeveer 58 GB aan geheugen vrijhoudt voor modelgewichten en dat deze op dit model ongeveer 35% van zijn maximale snelheid van 950 GB/s benut — wat typisch is voor vergelijkbare modellen van deze generatie, maar het betreft een aanname en geen resultaat.
Systeemcontrolelijst
De onderdelen die het vaakst problemen geven, zijn geheugenkanalen, decodering boven 4G en koeling.

| Item | 1× 170HX | 2× 170HX |
|---|---|---|
| CPU | 8+ cores met AVX2 (AVX-512 is een pluspunt); 16+ cores als het RAM-geheugen het grootste deel van het model beslaat. | dezelfde |
| Systeem RAM | zie de RAM-tabel; 192 GB voor goede kwaliteit | zie de RAM-tabel; 128 GB voor goede kwaliteit |
| Geheugenkanalen | zoveel mogelijk — een 8-kanaals platform is ongeveer 3 keer zo groot als een desktopcomputer | dezelfde |
| mainboard | 1 × PCIe ×16-slot, Boven 4G-decodering ingeschakeld (de kaart toont 64 GB) | 2 x 16-slots met één vrij slot ertussen, decodering boven 4G ingeschakeld |
| PCIe-link | Gen2 ×16 met de ×16-modificatie is voldoende. | hetzelfde; het model is opgedeeld in lagen, waardoor er weinig data tussen de kaarten wordt uitgewisseld. |
| Stroomvoorziening | 750 W (de kaart verbruikt 250 W) | 1,000–1,200 W |
| Stekker | 1 × 8-pins CPU-stijl (EPS) connector per kaart; adapter meegeleverd | 2 × |
| Koelen | passieve kaart: één ventilatorkanaal of blazer per kaart is nodig | één per kaart; twee naast elkaar vereisen een dubbele kabelgoot |
| Opslag | NVMe, minimaal 1.5 keer zo groot als het modelbestand (goede kwaliteit: minimaal 512 GB, 1 TB aanbevolen) | dezelfde |
| Besturingssysteem | Linux | dezelfde |
| bestuurder | NVIDIA open driver 610.43 + cmpunlocker 64 GB ontgrendelen; Herinstalleer na elke kernelupdate. | dezelfde |
| Inferentiesoftware | llama.cpp of ik_llama.cpp (sneller op de CPU) | dezelfde |
Op de PCIe-link: we hebben de linkstatus gemeten (Gen2 ×16). We hebben de overdrachtssnelheid er niet op getest. Een Gen2 ×16-link haalt theoretisch een maximum van ongeveer 8 GB/s, maar in de praktijk ligt het verkeer na overhead dichter bij 6-7 GB/s. Beschouw dit als een afleiding uit de specificatie, niet als een meting.
Wat te verwachten
- Lange opdrachten beginnen langzaam. Het lezen van een lang document of een grote codebasis duurt seconden tot minuten voordat het eerste woord verschijnt, en nog langer met één kaart. De Gen2-link is daar de limiet; de reactiesnelheid wordt niet beïnvloed.
- Versies met een lagere bitdiepte verliezen aan kwaliteit. UD-Q2_K_XL werkt wel, maar maakt meer fouten dan UD-Q4_K_XL. Kies voor programmeren of redeneren de 4-bits versie.
- Een uitgebreide context is goedkoop. De meeste lagen behouden een vaste grootte, waardoor een lang gesprek weinig extra geheugen op de kaart in beslag neemt.
- Nieuw model, jonge softwareondersteuning. GLM-5.3-Flash maakt gebruik van een nieuw aandachtsontwerp. llama.cpp laadt dit, maar sommige onderdelen werken mogelijk minder efficiënt dan ze zouden kunnen; dit verbetert met updates.
- De 64 GB is afkomstig van een aangepaste driver. Na een kernelupdate vallen de kaarten terug naar 8 GB totdat de ontgrendeling opnieuw is geïnstalleerd.
- Geen ECC. De kaart corrigeert of rapporteert geen geheugenfouten, gebruik daarom kaarten die een volledige geheugentest hebben doorstaan. Onze kaarten worden geleverd met een geheugenverificatieverslag per kaart, waarop het serienummer van die kaart staat vermeld.
Waar de nummers vandaan komen
| vordering | Status |
|---|---|
| 320 miljard in totaal / 18 miljard actief, 288 experts per laag, 8 per token |
Z.ai's figuren — modelkaart en config.json
|
| Gekwantificeerde bestandsgroottes, 93–341 GB | De door Unsloth gepubliceerde GGUF-maten |
| Alle token-/s-waarden, minimale RAM-vereisten, capaciteiten per kaart van 46 / 105 / 58 GB | Kentino-schatting — gebaseerd op een model, niet op metingen. |
| Bruikbare RAM-bandbreedte per platform (35 / 60 / 110 / 300 GB/s) | Kentino-schatting — typische waarden uit de praktijk |
| 64 GB ontgrendeld, 931–970 GB/s, Gen2 ×16 link state, 244–245 W, geen ECC | Gemeten door Kentino op eigen kosten |
Bronnen: zai-org/GLM-5.3-Flash · unsloth/GLM-5.3-Flash-GGUF
Deze CMP 170HX is hier in opdracht gemaakt. Elke CMP 170HX die we verkopen, wordt getest op de volledige capaciteit van 64 GB en wordt geleverd met een rapport met een eigen serienummer. Als u deze configuratie wilt laten afstemmen op uw werkelijke werklast, neem dan contact met ons op.*