लैपटॉप पर मॉडल चल रहा है, आप बड़ा मॉडल आज़माना चाहते हैं, या इमेज जनरेट करना चाहते हैं — लेकिन आपके पास सही हार्डवेयर नहीं हो सकता। आप कंप्यूटिंग को क्लाउड में ऑफलोड कर सकते हैं और सर्वर को यह काम सौंप सकते हैं।
क्लाउड सर्वर को आवश्यकतानुसार कॉन्फ़िगर किया जा सकता है। यहाँ हम ModelScope Notebook का उपयोग जारी रखते हैं — ब्राउज़र में सीधे CPU या GPU रनटाइम इंस्टैंस चुनें, मॉडल डाउनलोड करें और कोड चलाएं। पेज आपके कंप्यूटर पर चलता है; मॉडल कनेक्टेड क्लाउड इंस्टैंस पर चलता है।
इस अध्याय में दो प्रयोग हैं। पहले, CPU का उपयोग करके 0.5B-स्तर का मॉडल चलाएं और समीक्षा की भावना का न्याय करें। फिर GPU का उपयोग करके इमेज जनरेशन मॉडल चलाएं और टेक्स्ट विवरण को चित्रों में बदलें। प्रत्येक अलग-अलग संसाधनों, अलग-अलग कार्यों और अलग-अलग मॉडलों के तहत उपयोग दिखाता है, इसलिए आप CPU बनाम GPU की तुलना सीधे रनटाइम से नहीं कर सकते।
अन्य क्लाउड सर्वर संसाधन बाद में जोड़े जाएंगे।ModelScope मॉडल पेज से, "Notebook त्वरित विकास" पर जाएं, फिर "रनटाइम कनेक्ट करें" पर क्लिक करें। पहले भावना विश्लेषण के लिए CPU इंस्टैंस चुनें, फिर इमेज जनरेशन के लिए GPU इंस्टैंस पर स्विच करें। Notebook पेज ऑपरेशन के लिए "30 मिनट में अपना पहला परिणाम देखें" अध्याय देखें।
इंस्टैंस बदलने के बाद, मूल Python प्रोसेस और लोड किए गए मॉडल स्वचालित रूप से नए इंस्टैंस में ट्रांसफर नहीं होंगे। आपको वर्तमान वातावरण में निर्भरताओं को फिर से जांचना होगा और प्रयोग कोड को शुरू से चलाना होगा।
Qwen/Qwen2.5-0.5B-Instruct मॉडल का उदाहरण के रूप में उपयोग करते हुए, हम दिखाते हैं कि CPU पर 0.5B-स्तर के मॉडल का उपयोग भावना विश्लेषण कार्य के लिए कैसे करें।
CPU इंस्टैंस शुरू करने के बाद, Notebook विकास वातावरण में प्रवेश करें। मॉडल लोडिंग और इन्फरेंस कोड:
from modelscope import AutoModelForCausalLM, AutoTokenizer
model_name = "Qwen/Qwen2.5-0.5B-Instruct"
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="cpu"
# device_map="cpu" # GPU इन्फरेंस
)
print(f"मॉडल डिवाइस: {model.device}")
tokenizer = AutoTokenizer.from_pretrained(model_name)
# प्रॉम्प्ट
prompt = f"""आप टेक्स्ट भावना वर्गीकरण विशेषज्ञ हैं। कृपया निम्नलिखित उपयोगकर्ता समीक्षा को 【सकारात्मक】, 【नकारात्मक】 या 【तटस्थ】 के रूप में वर्गीकृत करें। इन तीन शब्दों में से केवल एक ही आउटपुट करें, बिना किसी स्पष्टीकरण, विराम चिह्न या अतिरिक्त टेक्स्ट के।
समीक्षा:今天的电影真难看，浪费时间。
वर्गीकरण परिणाम:"""
messages = [
{"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
**model_inputs,
max_new_tokens=512
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print("response: ", response )
साइन इन करें चर्चा में शामिल हों
परिणाम:
Tongyi-MAI/Z-Image-Turbo मॉडल का उपयोग करके, हम दिखाते हैं कि GPU पर मॉडल कैसे लोड करें और इमेज जनरेशन कार्य कैसे पूरा करें।
GPU इंस्टैंस शुरू करने के बाद, Notebook विकास वातावरण में प्रवेश करें।
मॉडल कार्ड के अनुसार, टर्मिनल में diffusers का नवीनतम संस्करण इंस्टॉल करें:
!pip3 install git+https://github.com/huggingface/diffusers
इंस्टॉलेशन पूरा:
मॉडल लोडिंग और इन्फरेंस कोड:
import torch
from modelscope import ZImagePipeline
# 1. मॉडल लोडिंग
pipe = ZImagePipeline.from_pretrained(
"Tongyi-MAI/Z-Image-Turbo",
torch_dtype=torch.bfloat16,
low_cpu_mem_usage=False,
)
pipe.to("cuda")
print(f"मॉडल डिवाइस: {pipe.device}")
prompt = "一位年轻的中国女子，身着一袭红色汉服，衣袂间绣满精致繁复的纹样。她的妆容精致无瑕，额间一抹红色花钿，更添几分古典风韵。高耸的发髻华美端庄，上缀金色凤冠，簪以红花与珠串，摇曳生姿。她手中执一柄圆形折扇，扇面上绘有仕女、古树与飞鸟，意境悠然。一盏霓虹闪电造型的灯盏悬于她伸出的左掌之上，散发着明亮的暖黄色光芒。夜色温柔，灯火朦胧，远处西安大雁塔的塔身层层叠叠，隐现于柔和的光晕之中，背景光斑斑斓，如梦似幻。"
# 2. इमेज जनरेट करें
image = pipe(
prompt=prompt,
height=1024,
width=1024,
num_inference_steps=9,
guidance_scale=0.0,
generator=torch.Generator("cuda").manual_seed(42),
).images[0]
print("इमेज जनरेट हो गई")
image.save("image-vintage.png")
print("इमेज सफलतापूर्वक सेव हो गई!")
परिणाम:
जनरेट की गई इमेज:
इस अध्याय का कोड और संबंधित फ़ाइलें: https://www.modelscope.cn/gallery/liucong/4a8eb492-54dc-4062-82c0-65b17fd94d5f