4. GPU మరియు వీడియో మెమరీ తనిఖీ చేయండి

!nvidia-smi

ఫలితం:

5. మెమరీ తనిఖీ చేయండి

!free -h

ఫలితం:

6. డిస్క్ తనిఖీ చేయండి

!df -h

ఫలితం:

మోడల్‌ను నేరుగా పేరు ద్వారా లోడ్ చేయండి

లోడింగ్ కోసం మోడల్ కార్డ్‌లోని నమూనా కోడ్‌ను చూడండి. అవసరమైన మోడల్ ఫైల్‌లు స్వయంచాలకంగా డౌన్‌లోడ్ అవుతాయి.

import torch
from qwen_asr import Qwen3ASRModel
 
model = Qwen3ASRModel.from_pretrained(
    "Qwen/Qwen3-ASR-1.7B",
    dtype=torch.bfloat16,
    device_map="cuda:0",
    # attn_implementation="flash_attention_2",
    max_inference_batch_size=32, # Batch size limit for inference. -1 means unlimited. Smaller values can help avoid OOM.
    max_new_tokens=256, # Maximum number of tokens to generate. Set a larger value for long audio input.
)
print("మోడల్ విజయవంతంగా లోడ్ అయింది!")

ఫలితం:

మీరు మోడల్‌ను విడిగా డౌన్‌లోడ్ చేయాలనుకుంటే, ఈ పుస్తకం యొక్క విభాగం 2.5 లో మోడల్ డౌన్‌లోడ్ పద్ధతిని చూడండి. ఉదాహరణకు, మోడల్‌ను /mnt/workspace/Qwen3-ASR-1.7B డైరెక్టరీకి డౌన్‌లోడ్ చేయడానికి, కమాండ్-లైన్ డౌన్‌లోడ్‌ను ఉదాహరణగా తీసుకొని, టెర్మినల్‌లో ఈ క్రింది కమాండ్‌ను అమలు చేయండి:

# ModelScope ఇన్‌స్టాల్ చేయండి (ఇన్‌స్టాల్ చేయకపోతే)
!pip3 install modelscope
# పూర్తి మోడల్ రిపోజిటరీని డౌన్‌లోడ్ చేయండి
!modelscope download --model Qwen/Qwen3-ASR-1.7B --local_dir /mnt/workspace/Qwen3-ASR-1.7B

ఫలితం:

మీకు మోడల్ ఫైల్‌లు డౌన్‌లోడ్ అయితే, మీరు Qwen/Qwen3-ASR-1.7B ను మీ మోడల్ పాత్తుతో భర్తీ చేయవచ్చు.

import torch
from qwen_asr import Qwen3ASRModel

model = Qwen3ASRModel.from_pretrained(
    "/mnt/workspace/Qwen3-ASR-1.7B",
    dtype=torch.bfloat16,
    device_map="cuda:0",
    # attn_implementation="flash_attention_2",
    max_inference_batch_size=32, # Batch size limit for inference. -1 means unlimited. Smaller values can help avoid OOM.
    max_new_tokens=256, # Maximum number of tokens to generate. Set a larger value for long audio input.
)
print("మోడల్ విజయవంతంగా లోడ్ అయింది!")

ఫలితం:

ఒక ఆడియో ఫైల్‌ను పాస్ చేసి ఏమి గుర్తించబడిందో చూడండి

మోడల్ లోడ్ అయిన తర్వాత, మీరు మోడల్ ఇన్‌ఫరెన్స్ కోసం ఆడియో ఫైల్‌లను పాస్ చేయవచ్చు. మీరు audio విలువను మీ ఆడియో ఫైల్ పాత్తుతో భర్తీ చేయవచ్చు.

results = model.transcribe(
    audio="https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav",
    language=None, # set "English" to force the language
)
 
print(results[0].language)
print(results[0].text)
print("మోడల్ ఇన్‌ఫరెన్స్ పూర్తయింది!")

ఫలితం:

మీరు మోడల్ ఇన్‌ఫరెన్స్ కోసం audio విలువను మీ ఆడియో ఫైల్ పాత్తుతో భర్తీ చేయవచ్చు. ఎడమ వైపు వర్క్‌స్పేస్‌లో "DSW-GPU" ఫోల్డర్‌పు రైట్-క్లిక్ చేయండి, "Upload" పై క్లిక్ చేయండి, మీ స్థానిక ఆడియో ఫైల్‌ను ఎంచుకోండి, ఇది Notebook వాతావరణంలోని "DSW-GPU" ఫోల్డర్‌కు అప్‌లోడ్ అవుతుంది.

ఆపై కోడ్‌ను ఈ విధంగా సవరించండి:

results = model.transcribe(
    audio="/mnt/workspace/asr_en.wav",
    language=None, # set "English" to force the language
)
 
print(results[0].language)
print(results[0].text)
print("మోడల్ ఇన్‌ఫరెన్స్ పూర్తయింది!")

ఫలితం:

ఈ అధ్యాయం యొక్క కోడ్ మరియు సంబంధిత ఫైల్‌లు ఇక్కడ చూడవచ్చు: https://www.modelscope.cn/gallery/liucong/54c2ca38-b797-43d1-97ab-4b9f569aaa95