KI & Engineering Programme›⚡ Ihr erstes Modell ausführen›Lektionen›Your First Inference in 30 Minutes

⚡

Ihr erstes Modell ausführen • Anfänger⏱️ 25 Min. Lesezeit

Your First Inference in 30 Minutes

Erhalten Sie Ihr erstes Ergebnis in 30 Minuten

Nach dem Herunterladen eines Open-Source-Modells können Sie es auf Ihrem eigenen Laptop ausführen oder einen Cloud-Server mieten und dabei CPU, GPU und die Laufzeitumgebung nach Bedarf konfigurieren. Unterschiedliche Hardware erfordert unterschiedliche Vorbereitungen.

Wenn Sie nur ausprobieren möchten, was ein Modell kann, bietet ModelScope Notebook einen kostenlosen Einstiegspunkt. Öffnen Sie einen Browser, wählen Sie eine laufende Instanz aus, und Sie können direkt im Web-Code schreiben, Modelle herunterladen und Ergebnisse anzeigen.

Diese Lektion führt Sie durch die Erstellung eines Notebooks, die Überprüfung der Umgebung und das Laden eines Modells. Folgen Sie den Schritten, um Ihr erstes Ergebnis zu sehen.

Öffnen Sie das Notebook und verbinden Sie sich mit einer laufenden Instanz

Gehen Sie zum Modell-Hub, finden Sie das Modell Qwen/Qwen3-ASR-1.7B und klicken Sie rechts auf "Notebook Quick Development", um ein ModelScope-Notebook zu erstellen.

Modell-Link: https://www.modelscope.cn/models/Qwen/Qwen3-ASR-1.7B

Klicken Sie oben rechts auf "Connect Runtime", um eine Instanz auszuwählen. Hier wählen wir GPU für die Demonstration. Sie können ein geeignetes vorinstalliertes Image basierend auf den Modellabhängigkeiten auswählen.

Überprüfen Sie, ob die Umgebung bereit ist

Nach dem Laden der Instanz ist der erste Schritt, die aktuelle Umgebung zu überprüfen. Sie können die folgenden Befehle im Notebook ausführen:

Python-Version überprüfen

!python3 --version

Ergebnis:

Zugehörige Abhängigkeiten überprüfen

Jedes Modell hat unterschiedliche Abhängigkeiten. Sie müssen die Modellkarte für Informationen konsultieren. Laut der Modellkarte für Qwen3-ASR-1.7B ist die Inferenz-Abhängigkeit qwen3-asr. Wenn qwen3-asr in der Umgebung fehlt, müssen Sie es selbst installieren.

# Abhängigkeit überprüfen
!pip3 show qwen-asr
# qwen-asr installieren (falls fehlend)
!pip3 install -U qwen-asr

Ergebnis:

Erfolgreiche Installationsabfrage:

CPU-Konfiguration überprüfen

Lektion 1 von 50% abgeschlossen

←Zurück zum Programm

Diskussion

Anmelden an der Diskussion teilnehmen

GPU und Videospeicher überprüfen

Speicher überprüfen

Festplatte überprüfen

Modell direkt nach Name laden

Beziehen Sie sich auf den Beispielcode auf der Modellkarte für das Laden. Die benötigten Modelldateien werden automatisch heruntergeladen.

import torch
from qwen_asr import Qwen3ASRModel
 
model = Qwen3ASRModel.from_pretrained(
    "Qwen/Qwen3-ASR-1.7B",
    dtype=torch.bfloat16,
    device_map="cuda:0",
    # attn_implementation="flash_attention_2",
    max_inference_batch_size=32, # Batch size limit for inference. -1 means unlimited. Smaller values can help avoid OOM.
    max_new_tokens=256, # Maximum number of tokens to generate. Set a larger value for long audio input.
)
print("Modell erfolgreich geladen!")

Wenn Sie das Modell separat herunterladen möchten, lesen Sie die Methode zum Herunterladen von Modellen in Abschnitt 2.5 dieses Buches. Um das Modell beispielsweise in das Verzeichnis /mnt/workspace/Qwen3-ASR-1.7B herunterzuladen, führen Sie den folgenden Befehl im Terminal aus:

# ModelScope installieren (falls nicht installiert)
!pip3 install modelscope
# Das vollständige Modell-Repository herunterladen
!modelscope download --model Qwen/Qwen3-ASR-1.7B --local_dir /mnt/workspace/Qwen3-ASR-1.7B

Wenn Sie die Modelldateien heruntergeladen haben, können Sie Qwen/Qwen3-ASR-1.7B durch Ihren Modellpfad ersetzen.

import torch
from qwen_asr import Qwen3ASRModel

model = Qwen3ASRModel.from_pretrained(
    "/mnt/workspace/Qwen3-ASR-1.7B",
    dtype=torch.bfloat16,
    device_map="cuda:0",
    # attn_implementation="flash_attention_2",
    max_inference_batch_size=32, # Batch size limit for inference. -1 means unlimited. Smaller values can help avoid OOM.
    max_new_tokens=256, # Maximum number of tokens to generate. Set a larger value for long audio input.
)
print("Modell erfolgreich geladen!")

Übergeben Sie eine Audiodatei und sehen Sie, was erkannt wird

Nachdem das Modell geladen wurde, können Sie Audiodateien für die Modellinferenz übergeben. Sie können den Audio-Wert durch den Pfad Ihrer Audiodatei ersetzen.

results = model.transcribe(
    audio="https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav",
    language=None, # set "English" to force the language
)
 
print(results[0].language)
print(results[0].text)
print("Modellinferenz abgeschlossen!")

Sie können den Audio-Wert durch den Pfad Ihrer Audiodatei für die Modellinferenz ersetzen. Klicken Sie mit der rechten Maustaste auf den Ordner "DSW-GPU" im linken Arbeitsbereich, klicken Sie auf "Upload", wählen Sie Ihre lokale Audiodatei aus, und sie wird in den Ordner "DSW-GPU" der Notebook-Umgebung hochgeladen.

Ändern Sie dann den Code wie folgt:

results = model.transcribe(
    audio="/mnt/workspace/asr_en.wav",
    language=None, # set "English" to force the language
)
 
print(results[0].language)
print(results[0].text)
print("Modellinferenz abgeschlossen!")

Der Code und die zugehörigen Dateien dieses Kapitels finden Sie unter: https://www.modelscope.cn/gallery/liucong/54c2ca38-b797-43d1-97ab-4b9f569aaa95

KI-Grundlagen

KI-Meisterschaft

KI-Praxis

Claude Akademie

Labor

Karriereentwicklung