Microsoft bringt agentisches Programmieren mit Qwen3.8-27B auf Entwickler-PCs

Qwen3.8-27B zielt auf lokale Programmier-Workflows

Microsoft Foundry nennt Qwen3.8-27B das wichtigste Optimierungsziel für lokales Programmieren, weil das Modell Programmierfähigkeiten mit einer Größe verbindet, die sich für den leistungsfähigen Einsatz auf lokaler Hardware eignet. Durch eine 4-Bit-Quantisierung lässt sich das Modell laut Microsoft auf etwa 18 GB verkleinern. Damit kann es auf Consumer-GPUs mit mindestens 24 GB VRAM ausgeführt werden.

Die Quelle nennt Ergebnisse für vier veröffentlichte Benchmarks: 73.0 im Terminal Bench 2.1 für agentisches Programmieren im Terminal, 61.7 im SWE-bench Pro für agentisches Programmieren, 42.3 im NL2Repo-Bench für die Codegenerierung auf Repository-Ebene und 42.2 im DeepSWE 1.1 für agentisches Programmieren.

Microsoft zufolge kann lokale Inferenz Entwicklern helfen, das Übermitteln sensibler Kontexte über das Netzwerk zu vermeiden und auch bei einem Ausfall der Internetverbindung weiterzuarbeiten. Zudem stellt das Unternehmen die lokale Ausführung als Möglichkeit dar, Inferenzkosten besser kalkulierbar zu machen. Gleichzeitig räumt Microsoft ein, dass kleinere lokale Modelle im Vergleich zu fortschrittlichen Cloud-Modellen über eingeschränktere Fähigkeiten beim Schlussfolgern verfügen können.

Foundry Local optimiert die gesamte Inferenz-Pipeline

Foundry Local basiert auf ONNX Runtime und optimiert Qwen3.8-27B auf NVIDIA-GPUs in den Bereichen Prefill, Decoding, Speicherverwaltung, Verarbeitung langer Kontexte und parallele Anfragen. Der Stack nutzt spekulatives Decoding mit DFlash2. Dabei sagt ein kompaktes Draft-Modell mehrere Tokens gleichzeitig voraus. Hinzu kommen CUDA-Graph-Fusionen und Kernel-Optimierungen für die aktuelle NVIDIA-SM121-GPU-Architektur.

Um den Speicherdruck zu reduzieren, kombiniert das System die Verarbeitung von INT4-Gewichten, die Quantisierung des KV-Caches, die gemeinsame Nutzung des Embedding-Speichers und das Auslagern von Berechnungen auf die CPU. Die konfigurierbare, speicherbewusste Inferenz soll den Speicherbedarf und die Leistung an unterschiedliche Hardware-Konfigurationen anpassen.

Für Arbeiten auf Repository-Ebene und parallele Anfragen nutzt Foundry Local Prefix-Caching und kontinuierliches Batching. Microsoft zufolge sorgen diese Funktionen dafür, dass der Assistent reaktionsfähig bleibt, während Entwickler eine Codebasis untersuchen, Änderungen erzeugen, Tools ausführen und Aufgaben iterativ bearbeiten.

Verbindung zu GitHub Copilot erfordert Foundry Local 0.13.0

Entwickler mit einer NVIDIA-GPU und mindestens 24 GB VRAM können Foundry Local über Bring Your Own Key, kurz BYOK, mit GitHub Copilot verbinden. Dafür ist Foundry Local CLI 0.13.0 oder neuer erforderlich. Für die Ausführung auf NVIDIA-GPUs müssen außerdem CUDA und kompatible cuDNN-Laufzeitumgebungen separat installiert werden, da Foundry Local diese Abhängigkeiten nicht herunterlädt.

Das Setup beginnt mit der Installation der neuesten Foundry-Local-CLI über WinGet. Anschließend wird die Version mit foundry --version geprüft. Entwickler laden das Modell mit foundry model load qwen3.8-27b und rufen den lokalen API-Endpunkt mit foundry server status ab.

In der GitHub-Copilot-App öffnen Nutzer die Einstellungen, wählen Model providers, anschließend Add provider und dann Foundry Local. Danach tragen sie den Endpunkt als Base URL ein, fügen Qwen3.8-27B über Browse Catalog hinzu und wählen das Modell aus, nachdem sie den Anbieter auf Foundry Local umgestellt haben.

Microsoft plant Unterstützung für weitere Hardware

Microsoft zufolge soll die Unterstützung für Qwen3.8-27B auf weitere Geräte ausgeweitet werden, darunter Macs und AMD-GPUs. Außerdem plant das Unternehmen, weitere lokal ausführbare, für Programmieraufgaben optimierte Modelle hinzuzufügen und die Integration von Foundry Local in GitHub Copilot zu vertiefen.

Das Unternehmen sieht lokale Modelle als geeignet für alltägliche Programmieraufgaben und gezielte Teilaufgaben. Für komplexe Aufgaben mit hohen Anforderungen an das Schlussfolgern bleiben Cloud-Modelle eine starke Option. Foundry Local wird damit zu einer hybriden Lösung: Entwickler können routinemäßige Programmieraufgaben auf der eigenen Hardware erledigen und bei anspruchsvolleren Aufgaben auf Cloud-Modelle zurückgreifen.