GLM-5.3-Flash draaien op CMP 170HX — een handleiding voor de juiste afmetingen

NVIDIA CMP 170HX 64 GB: een passieve videokaart van volledige lengte met een zilverkleurige metalen behuizing, een zwarte geventileerde eindbeugel en een gouden PCIe-randconnector — gefotografeerd op onze testbank.

Lees dit eerst voordat u naar de cijfers kijkt. Elk getal voor tokens per seconde, elke minimale RAM-vereiste en elke vermelding van "past wel/past niet" op deze pagina is berekend op basis van de geheugenbandbreedte, niet gemeten . We publiceren deze gegevens omdat de berekeningen nuttig zijn voor de keuze van onderdelen, en omdat niemand anders ze lijkt te hebben opgeschreven. We zullen ze vervangen door echte cijfers zodra we het model hebben getest. De benchmark is gepland op een machine met 8 kanalen en 512 GB, maar heeft nog niet plaatsgevonden. Houd rekening met de ondergrens van elk bereik.

GLM-5.3-Flash werkt op één of twee ontgrendelde CMP 170HX 64 GB-kaarten, waarbij de rest van het model in het systeem-RAM is geplaatst. Met twee kaarten en 128 GB RAM zou het systeem goed moeten presteren; de hoeveelheid en snelheid van het systeemgeheugen bepalen hoe snel het reageert. Vanaf vier kaarten past het optimale prestatieniveau volledig op de kaarten en is systeem-RAM niet langer van belang.

Wat we daadwerkelijk hebben gemeten

Deze gegevens zijn van ons, afkomstig van onze eigen onderzoeksbank en van een vierkaartensysteem dat we in september 2026 hebben laten ontwikkelen. Ze vormen de basis waarop de ramingen zijn gebouwd.

Gemeten op onze hardware Resultaat
Ontgrendelde capaciteit per kaart 65,536 MiB (64 GB), bevestigd door vele kaarten
Maximale VRAM-bandbreedte 931–970 GB/s (memtest_vulkan; vier-kaartsysteem gelezen 931.3 / 944.2 / 947.3 / 970.0)
PCIe link state met onze x16-modificatie Gen2 ×16
Langdurig stroomverbruik 244–245 W 60 minuten laten weken (maximaal 250 W van de printplaat)
ECC Geen. Uitgeschakeld — de kaart corrigeert noch meldt geheugenfouten.

Alles onder deze lijn is modellering.

Hoe werkt onze technologie?

Elk woord gebruikt slechts 18 bytes van de 320 bytes aan parameters: de kaart bevat de altijd gebruikte lagen en wat experts er ook in kwijt kunnen, het systeemgeheugen bewaart de rest.

GLM-5.3-Flash is een model dat gebruikmaakt van een mix van experts: in totaal 320 miljard parameters, maar slechts 18 miljard worden per woord gebruikt . De kaart bevat de onderdelen die elk woord nodig heeft; de rest blijft in het systeem-RAM en alleen de paar experts die elk woord selecteert, worden daaruit gelezen.

Die parameteraantallen en de lay-out met 288 experts per laag zijn De door Z.ai gepubliceerde cijfers, lees van de modelkaart en de bijbehorende config.jsonHet is niet aan ons om die te verifiëren.

Kies een configuratie

Twee videokaarten met 128 GB RAM is de ideale configuratie: goede responskwaliteit bij een bruikbare snelheid. De andere twee opties zijn een goedkopere instapvariant en een configuratie met één videokaart.

Bouw Kaarten Systeem RAM Modelkwaliteit (bestand) Geschatte snelheid
Aanbevolen 2× 170HX 128 GB Goed — UD-Q4_K_XL (200 GB) 8–20 tokens/s, ingesteld door het RAM-platform
Goedkoopste oplossing die werkt 2× 170HX 64 GB Bruikbaar, maar merkbaar minder krachtig — UD-Q2_K_XL (109 GB) 40–55 fiches/s (het hele model past op de twee kaarten)
Enkele kaart 1× 170HX 192 GB, 8-kanaals platform Goed — UD-Q4_K_XL (200 GB) ongeveer 15 tokens/s

Een token is ongeveer driekwart van een woord. 10 tokens per seconde leest ongeveer even snel als een persoon leest; 20 of meer voelt snel aan.

Hoeveel systeem-RAM je nodig hebt

Een klein, volledig verlicht blokje naast een veel groter blokje met slechts een paar verlichte cellen — de kaart bevat wat elk woord nodig heeft, het systeem-RAM bevat de rest.

Het benodigde RAM-geheugen is gelijk aan het deel van het model dat niet op de kaarten past, plus ongeveer 16 GB voor het besturingssysteem. Eén kaart laat ongeveer 46 GB geheugen over voor de gewichten van het model; twee kaarten laten ongeveer 105 GB over.

Model kwaliteit Bestandsgrootte 1× 170HX: minimaal / aanbevolen RAM-geheugen 2× 170HX: minimaal / aanbevolen RAM-geheugen
UD-Q2_K_XL — bruikbaar, maar merkbaar zwakker 109 GB GB 64 / 96 GB GB 32 / 64 GB
UD-IQ3_XXS — beter 120 GB GB 96 / 128 GB GB 48 / 64 GB
UD-Q4_K_XL — goed (aanbevolen) 200 GB GB 160 / 192 GB GB 96 / 128 GB
Q8_0 — dicht bij het origineel 341 GB GB 320 / 384 GB GB 256 / 256 GB

De kleinste versie (93 GB) past niet op één kaart, dus een systeem met één kaart heeft altijd een grote hoeveelheid RAM-geheugen nodig. De bestandsgroottes zijn de door Unsloth gepubliceerde GGUF-groottes , niet die van ons.

Verwachte snelheid

Geschatte reactiesnelheid per geheugenplatform: een 8-kanaals platform is ongeveer drie keer zo snel als een desktopcomputer.

Het aantal geheugenkanalen is belangrijker dan het CPU-model. Een tweede videokaart is vooral nuttig op desktopsystemen, omdat hiermee een groter deel van de rekenkracht uit het trage RAM-geheugen wordt gehaald.

Meer kaarten: 3 tot 6

Vanaf drie kaarten past het hele model in het kaartgeheugen, waardoor het systeem-RAM de snelheid niet langer beperkt.

Kaarten Kaartgeheugen Grootste model dat op de kaarten past Kwaliteit Systeem RAM Snelheid, één gebruiker (schatting)
1 64 GB geen — goede kwaliteit vereist RAM-ontlasting goed, met lossen 192 GB, 8 kanalen 14–17 tokens/s
2 128 GB UD-Q2_K_XL (109 GB) bruikbaar, zwakker 32–64 GB 40–55 tokens/s
3 192 GB UD-IQ4_XS (157 GB) goed, iets onder het vierde kwartaal 64 GB 30–40 tokens/s
4 256 GB UD-Q4_K_XL (200 GB), ~30 GB resterend voor lange context goed 64 GB 27–34 tokens/s
5 320 GB UD-Q5_K_XL (240 GB) zeer goed 64 GB 22–28 tokens/s
6 384 GB UD-Q6_K_XL (292 GB), of de officiële FP8-versie (328 GB) dicht bij het origineel / origineel 128 GB 18–23 tokens/s
  • Meer kaarten zorgen voor kwaliteit en ruimte, niet voor snelheid per woord. De kaarten worden na elkaar verwerkt, en een bestand van hogere kwaliteit leest meer gegevens per woord, waardoor de snelheid iets afneemt van vier naar zes kaarten.
  • Vier kaarten is het ideale aantal voor één gebruiker: Goede kwaliteit, ongeveer 30 tokens per seconde, geen platform met snel RAM-geheugen nodig.
  • Zes kaarten passen bij een team. De officiële FP8-gewichten passen en een vLLM-server kan meerdere gebruikers tegelijk van dienst zijn. De ruimte voor context is beperkt met ongeveer 37 GB, en de vLLM-ondersteuning voor dit model moet nog worden gecontroleerd.
  • Wat verandert er met drie kaarten? Een werkstation- of servermoederbord met één 16-slot per kaart (EPYC of Threadripper; 8-slots werken ook, maar het laden duurt dan langer), een voeding van ongeveer 250 W per kaart plus 300 W (ongeveer 1.3 kW voor vier, 1.8-2 kW voor zes), en een behuizing met luchtstroom voor elke kaart.

Deze schattingen gaan ervan uit dat elke kaart ongeveer 58 GB aan geheugen vrijhoudt voor modelgewichten en dat deze op dit model ongeveer 35% van zijn maximale snelheid van 950 GB/s benut — wat typisch is voor vergelijkbare modellen van deze generatie, maar het betreft een aanname en geen resultaat.

Systeemcontrolelijst

De onderdelen die het vaakst problemen geven, zijn geheugenkanalen, decodering boven 4G en koeling.

Twee platte, passieve videokaarten in een torenbehuizing met een metalen luchtkanaal dat de lucht van drie behuizingsventilatoren rechtstreeks door de koelplaten voert.
Item 1× 170HX 2× 170HX
CPU 8+ cores met AVX2 (AVX-512 is een pluspunt); 16+ cores als het RAM-geheugen het grootste deel van het model beslaat. dezelfde
Systeem RAM zie de RAM-tabel; 192 GB voor goede kwaliteit zie de RAM-tabel; 128 GB voor goede kwaliteit
Geheugenkanalen zoveel mogelijk — een 8-kanaals platform is ongeveer 3 keer zo groot als een desktopcomputer dezelfde
mainboard 1 × PCIe ×16-slot, Boven 4G-decodering ingeschakeld (de kaart toont 64 GB) 2 x 16-slots met één vrij slot ertussen, decodering boven 4G ingeschakeld
PCIe-link Gen2 ×16 met de ×16-modificatie is voldoende. hetzelfde; het model is opgedeeld in lagen, waardoor er weinig data tussen de kaarten wordt uitgewisseld.
Stroomvoorziening 750 W (de kaart verbruikt 250 W) 1,000–1,200 W
Stekker 1 × 8-pins CPU-stijl (EPS) connector per kaart; adapter meegeleverd 2 ×
Koelen passieve kaart: één ventilatorkanaal of blazer per kaart is nodig één per kaart; twee naast elkaar vereisen een dubbele kabelgoot
Opslag NVMe, minimaal 1.5 keer zo groot als het modelbestand (goede kwaliteit: minimaal 512 GB, 1 TB aanbevolen) dezelfde
Besturingssysteem Linux dezelfde
bestuurder NVIDIA open driver 610.43 + cmpunlocker 64 GB ontgrendelen; Herinstalleer na elke kernelupdate. dezelfde
Inferentiesoftware llama.cpp of ik_llama.cpp (sneller op de CPU) dezelfde

Op de PCIe-link: we hebben de linkstatus gemeten (Gen2 ×16). We hebben de overdrachtssnelheid er niet op getest. Een Gen2 ×16-link haalt theoretisch een maximum van ongeveer 8 GB/s, maar in de praktijk ligt het verkeer na overhead dichter bij 6-7 GB/s. Beschouw dit als een afleiding uit de specificatie, niet als een meting.

Wat te verwachten

  • Lange opdrachten beginnen langzaam. Het lezen van een lang document of een grote codebasis duurt seconden tot minuten voordat het eerste woord verschijnt, en nog langer met één kaart. De Gen2-link is daar de limiet; de reactiesnelheid wordt niet beïnvloed.
  • Versies met een lagere bitdiepte verliezen aan kwaliteit. UD-Q2_K_XL werkt wel, maar maakt meer fouten dan UD-Q4_K_XL. Kies voor programmeren of redeneren de 4-bits versie.
  • Een uitgebreide context is goedkoop. De meeste lagen behouden een vaste grootte, waardoor een lang gesprek weinig extra geheugen op de kaart in beslag neemt.
  • Nieuw model, jonge softwareondersteuning. GLM-5.3-Flash maakt gebruik van een nieuw aandachtsontwerp. llama.cpp laadt dit, maar sommige onderdelen werken mogelijk minder efficiënt dan ze zouden kunnen; dit verbetert met updates.
  • De 64 GB is afkomstig van een aangepaste driver. Na een kernelupdate vallen de kaarten terug naar 8 GB totdat de ontgrendeling opnieuw is geïnstalleerd.
  • Geen ECC. De kaart corrigeert of rapporteert geen geheugenfouten, gebruik daarom kaarten die een volledige geheugentest hebben doorstaan. Onze kaarten worden geleverd met een geheugenverificatieverslag per kaart, waarop het serienummer van die kaart staat vermeld.

Waar de nummers vandaan komen

vordering Status
320 miljard in totaal / 18 miljard actief, 288 experts per laag, 8 per token Z.ai's figuren — modelkaart en config.json
Gekwantificeerde bestandsgroottes, 93–341 GB De door Unsloth gepubliceerde GGUF-maten
Alle token-/s-waarden, minimale RAM-vereisten, capaciteiten per kaart van 46 / 105 / 58 GB Kentino-schatting — gebaseerd op een model, niet op metingen.
Bruikbare RAM-bandbreedte per platform (35 / 60 / 110 / 300 GB/s) Kentino-schatting — typische waarden uit de praktijk
64 GB ontgrendeld, 931–970 GB/s, Gen2 ×16 link state, 244–245 W, geen ECC Gemeten door Kentino op eigen kosten

Bronnen: zai-org/GLM-5.3-Flash · unsloth/GLM-5.3-Flash-GGUF


Deze CMP 170HX is hier in opdracht gemaakt. Elke CMP 170HX die we verkopen, wordt getest op de volledige capaciteit van 64 GB en wordt geleverd met een rapport met een eigen serienummer. Als u deze configuratie wilt laten afstemmen op uw werkelijke werklast, neem dan contact met ons op.*

Terug naar blog