Programmes d'IA et d'ingénierie›⚡ Exécuter votre premier modèle›Leçons›Your First Inference in 30 Minutes

⚡

Exécuter votre premier modèle • Débutant⏱️ 25 min de lecture

Your First Inference in 30 Minutes

Obtenez votre premier résultat en 30 minutes

Après avoir téléchargé un modèle open-source, vous pouvez l'exécuter sur votre propre ordinateur portable ou louer un serveur cloud, en configurant le CPU, le GPU et l'environnement d'exécution selon vos besoins. Le matériel différent nécessite des préparations différentes.

Si vous voulez simplement essayer ce qu'un modèle peut faire, ModelScope Notebook offre un point d'entrée gratuit. Ouvrez un navigateur, sélectionnez une instance en cours d'exécution, et vous pouvez écrire du code, télécharger des modèles et afficher les résultats directement dans la page web.

Cette leçon vous guide à travers la création d'un Notebook, la vérification de l'environnement et le chargement d'un modèle. Suivez les étapes pour voir votre premier résultat.

Ouvrez le Notebook et connectez-vous à une instance en cours d'exécution

Accédez au hub de modèles, trouvez le modèle Qwen/Qwen3-ASR-1.7B et cliquez sur "Notebook Quick Development" à droite pour créer un notebook ModelScope.

Lien du modèle : https://www.modelscope.cn/models/Qwen/Qwen3-ASR-1.7B

Cliquez sur "Connect Runtime" en haut à droite pour sélectionner une instance. Ici, nous choisissons le GPU pour la démonstration. Vous pouvez sélectionner une image pré-installée appropriée en fonction des dépendances du modèle.

Vérifiez si l'environnement est prêt

Après avoir chargé l'étape, la première chose à faire est de vérifier l'environnement actuel. Vous pouvez exécuter les commandes suivantes dans le notebook :

Vérifier la version de Python

!python3 --version

Résultat :

Vérifier les dépendances associées

Chaque modèle a des dépendances différentes. Consultez la fiche du modèle pour plus d'informations. Selon la fiche du modèle Qwen3-ASR-1.7B, la dépendance d'inférence est qwen3-asr. Si qwen3-asr est manquant dans l'environnement, vous devez l'installer vous-même.

# Vérifier la dépendance
!pip3 show qwen-asr
# Installer qwen-asr (si manquant)
!pip3 install -U qwen-asr

Résultat :

Résultat de la requête d'installation réussie :

Leçon 1 sur 50% terminé

←Retour au programme

Discussion

Se connecter pour rejoindre la discussion

Vérifier la configuration du CPU

Vérifier le GPU et la mémoire vidéo

Vérifier la mémoire

Chargez le modèle directement par son nom

Référez-vous au code d'exemple sur la fiche du modèle pour le chargement. Les fichiers du modèle nécessaires seront téléchargés automatiquement.

import torch
from qwen_asr import Qwen3ASRModel
 
model = Qwen3ASRModel.from_pretrained(
    "Qwen/Qwen3-ASR-1.7B",
    dtype=torch.bfloat16,
    device_map="cuda:0",
    # attn_implementation="flash_attention_2",
    max_inference_batch_size=32, # Batch size limit for inference. -1 means unlimited. Smaller values can help avoid OOM.
    max_new_tokens=256, # Maximum number of tokens to generate. Set a larger value for long audio input.
)
print("Modèle chargé avec succès !")

Si vous souhaitez télécharger le modèle séparément, consultez la méthode de téléchargement du modèle à la section 2.5 de ce livre. Par exemple, pour télécharger le modèle dans le répertoire /mnt/workspace/Qwen3-ASR-1.7B, en utilisant le téléchargement en ligne de commande comme exemple, exécutez la commande suivante dans le terminal :

# Installer ModelScope (si non installé)
!pip3 install modelscope
# Télécharger le dépôt complet du modèle
!modelscope download --model Qwen/Qwen3-ASR-1.7B --local_dir /mnt/workspace/Qwen3-ASR-1.7B

Si vous avez les fichiers du modèle téléchargés, vous pouvez remplacer Qwen/Qwen3-ASR-1.7B par le chemin de votre modèle.

import torch
from qwen_asr import Qwen3ASRModel

model = Qwen3ASRModel.from_pretrained(
    "/mnt/workspace/Qwen3-ASR-1.7B",
    dtype=torch.bfloat16,
    device_map="cuda:0",
    # attn_implementation="flash_attention_2",
    max_inference_batch_size=32, # Batch size limit for inference. -1 means unlimited. Smaller values can help avoid OOM.
    max_new_tokens=256, # Maximum number of tokens to generate. Set a larger value for long audio input.
)
print("Modèle chargé avec succès !")

Transmettez un fichier audio et voyez ce qui est reconnu

Une fois le modèle chargé, vous pouvez transmettre des fichiers audio pour l'inférence du modèle. Vous pouvez remplacer la valeur de audio par le chemin de votre fichier audio.

results = model.transcribe(
    audio="https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav",
    language=None, # set "English" to force the language
)
 
print(results[0].language)
print(results[0].text)
print("Inférence du modèle terminée !")

Vous pouvez remplacer la valeur de audio par le chemin de votre fichier audio pour l'inférence du modèle. Faites un clic droit sur le dossier "DSW-GPU" dans l'espace de travail gauche, cliquez sur "Upload", sélectionnez votre fichier audio local, et il sera téléchargé dans le dossier "DSW-GPU" de l'environnement Notebook.

Ensuite, modifiez le code comme suit :

results = model.transcribe(
    audio="/mnt/workspace/asr_en.wav",
    language=None, # set "English" to force the language
)
 
print(results[0].language)
print(results[0].text)
print("Inférence du modèle terminée !")

Le code et les fichiers associés de ce chapitre sont disponibles à l'adresse : https://www.modelscope.cn/gallery/liucong/54c2ca38-b797-43d1-97ab-4b9f569aaa95

Fondations IA

Maîtrise IA

Pratique IA

Claude Académie

Labo

Développement de carrière