!nvidia-smi

परिणाम:

5. मेमोरी जांचें

!free -h

परिणाम:

6. डिस्क जांचें

!df -h

परिणाम:

मॉडल को सीधे नाम से लोड करें

लोडिंग के लिए मॉडल कार्ड पर नमूना कोड देखें। आवश्यक मॉडल फ़ाइलें स्वचालित रूप से डाउनलोड हो जाएंगी।

import torch
from qwen_asr import Qwen3ASRModel
 
model = Qwen3ASRModel.from_pretrained(
    "Qwen/Qwen3-ASR-1.7B",
    dtype=torch.bfloat16,
    device_map="cuda:0",
    # attn_implementation="flash_attention_2",
    max_inference_batch_size=32, # Batch size limit for inference. -1 means unlimited. Smaller values can help avoid OOM.
    max_new_tokens=256, # Maximum number of tokens to generate. Set a larger value for long audio input.
)
print("मॉडल सफलतापूर्वक लोड हो गया!")

परिणाम:

यदि आप मॉडल को अलग से डाउनलोड करना चाहते हैं, तो इस पुस्तक के अनुभाग 2.5 में मॉडल डाउनलोड विधि देखें। उदाहरण के लिए, मॉडल को /mnt/workspace/Qwen3-ASR-1.7B निर्देशिका में डाउनलोड करने के लिए, कमांड-लाइन डाउनलोड को उदाहरण के रूप में लेकर, टर्मिनल में निम्नलिखित कमांड चलाएं:

# ModelScope इंस्टॉल करें (यदि इंस्टॉल नहीं है)
!pip3 install modelscope
# पूर्ण मॉडल रिपॉज़िटरी डाउनलोड करें
!modelscope download --model Qwen/Qwen3-ASR-1.7B --local_dir /mnt/workspace/Qwen3-ASR-1.7B

परिणाम:

यदि आपके पास मॉडल फ़ाइलें डाउनलोड हो गई हैं, तो आप Qwen/Qwen3-ASR-1.7B को अपने मॉडल पथ से बदल सकते हैं।

import torch
from qwen_asr import Qwen3ASRModel

model = Qwen3ASRModel.from_pretrained(
    "/mnt/workspace/Qwen3-ASR-1.7B",
    dtype=torch.bfloat16,
    device_map="cuda:0",
    # attn_implementation="flash_attention_2",
    max_inference_batch_size=32, # Batch size limit for inference. -1 means unlimited. Smaller values can help avoid OOM.
    max_new_tokens=256, # Maximum number of tokens to generate. Set a larger value for long audio input.
)
print("मॉडल सफलतापूर्वक लोड हो गया!")

परिणाम:

एक ऑडियो फ़ाइल पास करें और देखें कि क्या पहचाना गया

मॉडल लोड होने के बाद, आप मॉडल इन्फ़रेंस के लिए ऑडियो फ़ाइलें पास कर सकते हैं। आप audio मान को अपनी ऑडियो फ़ाइल पथ से बदल सकते हैं।

results = model.transcribe(
    audio="https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav",
    language=None, # set "English" to force the language
)
 
print(results[0].language)
print(results[0].text)
print("मॉडल इन्फ़रेंस पूरा हुआ!")

परिणाम:

आप मॉडल इन्फ़रेंस के लिए audio मान को अपनी ऑडियो फ़ाइल पथ से बदल सकते हैं। बाईं ओर के वर्कस्पेस में "DSW-GPU" फ़ोल्डर पर राइट-क्लिक करें, "Upload" पर क्लिक करें, अपनी स्थानीय ऑडियो फ़ाइल चुनें, और यह Notebook वातावरण के "DSW-GPU" फ़ोल्डर में अपलोड हो जाएगी।

फिर कोड को इस प्रकार संशोधित करें:

results = model.transcribe(
    audio="/mnt/workspace/asr_en.wav",
    language=None, # set "English" to force the language
)
 
print(results[0].language)
print(results[0].text)
print("मॉडल इन्फ़रेंस पूरा हुआ!")

परिणाम:

इस अध्याय का कोड और संबंधित फ़ाइलें यहां देखी जा सकती हैं: https://www.modelscope.cn/gallery/liucong/54c2ca38-b797-43d1-97ab-4b9f569aaa95