Kilo Desktop bringt lokale KI-Programmierung auf die NPU des Snapdragon X2 Elite

Kilo von Anaconda hat einen lokalen KI-Workflow vorgestellt, der Kilo Desktop auf Laptops mit Snapdragon X2 Elite mit Microsoft Foundry Local verbindet. Die Konfiguration soll Prompts, Code, Notebooks und Daten auf dem Gerät des Nutzers halten, während die Modelle auf der NPU des Laptops laufen.
- Kilo Desktop verbindet sich über eine OpenAI-kompatible API mit Microsoft Foundry Local.
- Die Hexagon-NPU des Snapdragon X2 Elite erreicht laut Kilo Code 80+ TOPS.
- Der Katalog von Foundry Local umfasst Qwen2.5-Coder- und DeepSeek-R1-Distill-Modelle.
- Der Workflow hält Prompts, Code, Notebooks und Daten auf dem Laptop des Nutzers.
Ein lokaler KI-Stack für Programmierung und Python
Kilo Desktop ist eine Anwendung für die Entwicklung mit KI. Laut Kilo Code können Nutzer damit Code planen, schreiben, testen und debuggen sowie die Conda-Umgebungen eines Projekts in derselben Anwendung verwalten. Die native Windows-on-Snapdragon-Unterstützung von Anaconda bringt Python, Conda und geprüfte Pakete auf Snapdragon-PCs.
Die Anwendung verbindet sich mit Microsoft Foundry Local, das offene Modelle auf der Snapdragon-NPU ausführt. Foundry Local kümmert sich um das Modell, Kilo Desktop um das Projekt. Die Kommunikation erfolgt über eine standardisierte OpenAI-kompatible API. Dadurch kann ein lokales Modell in der Modellauswahl von Kilo Desktop als benutzerdefinierter KI-Anbieter erscheinen.
Snapdragon X2 Elite weist Inferenz der NPU zu
Die Hexagon-NPU im Snapdragon X2 Elite verfügt laut Quelle über 80+ TOPS, verglichen mit 45 TOPS beim Snapdragon X Elite. Die Modellinferenz läuft auf der NPU, sodass die Oryon-CPU-Kerne für Python-Code, Tests und Builds verfügbar bleiben.
Foundry Local wird als durchgängige lokale KI-Lösung für Anwendungen beschrieben, die vollständig auf dem Gerät des Nutzers laufen. Sie umfasst native SDKs für C, C++, C#, JavaScript, Python und Rust sowie einen Katalog optimierter Modelle und eine automatische Hardwarebeschleunigung. Das Paket ist etwa 20 MB groß und enthält außerdem eine Befehlszeilenschnittstelle, die für andere Anwendungen einen OpenAI-kompatiblen Endpunkt bereitstellen kann.
Der Katalog führt 11 Modelle, die für die Qualcomm AI Engine entwickelt wurden, darunter Qwen2.5 Coder und Varianten von DeepSeek R1 Distill. Wird ein Modell über seinen Alias gestartet, wählt Foundry Local die beste verfügbare Hardware aus und bevorzugt dabei die NPU gegenüber GPU und CPU.
Modelle für Code-Korrekturen und die Analyse von Notebooks
Die Quelle nennt Qwen2.5 Coder 7B Instruct mit 4.7 GB zum Schreiben, Erklären und Korrigieren von Code. Qwen2.5 Coder 1.5B Instruct wird mit 1.3 GB für schnellere, weniger anspruchsvolle Aufgaben aufgeführt. DeepSeek R1 Distill Qwen 7B ist mit 5.3 GB für schrittweises Schlussfolgern über Daten und Fehler angegeben, während die 14B-Version mit 9.8 GB für anspruchsvollere Schlussfolgerungen aufgeführt wird, sofern der Arbeitsspeicher ausreicht.
Kilo Code beschreibt einen hypothetischen Programmier-Workflow, in dem Qwen2.5 Coder fehlschlagende pytest-Fälle liest, eine Zeitzonenannahme erkennt und einen Patch vorschlägt. Der Entwickler prüft den Diff, übernimmt ihn und führt die Tests in der Conda-Umgebung des Projekts aus. Ein zweiter hypothetischer Workflow nutzt DeepSeek R1 Distill Qwen 7B, um die Analyse von CSV-Daten aus Support-Tickets zu planen und anschließend ein pandas-Notebook zu erstellen.
Für die Nutzung laden Anwender Kilo Desktop von Anaconda und Foundry Local herunter, installieren den neuesten Qualcomm-NPU-Treiber, wählen ein Modell aus und fügen Foundry Local als benutzerdefinierten OpenAI-kompatiblen Anbieter hinzu. Laut Kilo Code bleiben Prompts, Code, Notebooks und Umgebungen während dieser Workflows auf dem Laptop.
Kilo Code: Snapdragon X2 Elite and Kilo by Anaconda: Local AI on the NPU


