మీ ఆపరేటింగ్ సిస్టమ్‌ను ఎంచుకోండి, Ollama ఇన్‌స్టాల్ చేయండి

Windows పై Ollama ఇన్‌స్టాల్ చేయండి

1. ముందుగా, Ollama అధికారిక వెబ్‌సైట్‌లో, Ollama డౌన్‌లోడ్ చేయండి మరియు సంబంధిత Windows వెర్షన్‌ను డౌన్‌లోడ్ చేయండి

2. డౌన్‌లోడ్ పూర్తయిన తర్వాత, ఇన్‌స్టాల్ పై నేరుగా క్లిక్ చేయండి, కొనసాగించు పై క్లిక్ చేయండి

3. ఇన్‌స్టాలేషన్ పూర్తయిన తర్వాత, Ollama సేవ ప్రారంభమైందని చూపిస్తుంది

4. cmd లో, మీరు లోడ్ చేయాలనుకుంటున్న మోడల్‌ను ప్రారంభించండి, ఉదాహరణకు: qwen3.5:2b, టెర్మినల్‌లో నేరుగా కమాండ్ టైప్ చేయండి

ollama run qwen3.5:2b

పేజీ అవుట్‌పుట్ మోడల్ విజయవంతంగా ప్రారంభమైందని చూపిస్తుంది. ఈ సమయంలో, మీరు క్లయింట్‌లో నేరుగా చాట్ చేయవచ్చు లేదా మోడల్‌ను పరీక్షించడానికి API కాల్ చేయవచ్చు.

API పరీక్ష కోడ్:

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:11434/v1",
    api_key="ollama",  
)

response = client.chat.completions.create(
    model="qwen3.5:2b", 
    messages=[
        {
            "role": "system",
            "content": "మీరు సహాయక సహాయకుడు.",
        },
        {
            "role": "user",
            "content": "మీరు ఎవరు?",
        },
    ],
    temperature=0,
    max_tokens=512,
)

print(response.choices[0].message.content)

ఫలితం:

ModelScope Notebook పై Ollama ఇన్‌స్టాల్ చేయండి

1. Notebook లో Ollama ఇన్‌స్టాల్ చేయండి, ముందుగా ఇన్‌స్టాలేషన్ ప్యాకేజీని డౌన్‌లోడ్ చేయండి, ఈ క్రింది కమాండ్ అమలు చేయండి

!modelscope download --model=modelscope/ollama-linux --local_dir ./ollama-linux  

2. ఇన్‌స్టాలేషన్ ప్యాకేజీ డౌన్‌లోడ్ అయిన తర్వాత, ollama-linux ఫోల్డర్‌లోకి వెళ్ళి ఇన్‌స్టాల్ చేయడానికి ఈ క్రింది కమాండ్ అమలు చేయండి

%cd ollama-linux

sudo chmod 777 ./ollama-modelscope-install.sh
./ollama-modelscope-install.sh

ఇన్‌స్టాలేషన్ పూర్తయిన తర్వాత, API ఎండ్‌పాయింట్ సమాచారం చూపిస్తుంది, డిఫాల్ట్ 127.0.0.1:11434. ఈ క్రింది సమాచారం చూపిస్తే, ఇన్‌స్టాలేషన్ పూర్తయింది.

Linux పై Ollama ఇన్‌స్టాల్ చేయండి

Linux పై ఇన్‌స్టాలేషన్ దశలు పైన ModelScope Notebook లో Ollama ఇన్‌స్టాల్ చేయడం అదే విధంగా ఉంటాయి.

Mac పై Ollama ఇన్‌స్టాల్ చేయండి

1. ముందుగా, Ollama అధికారిక వెబ్‌సైట్‌లో, Ollama డౌన్‌లోడ్ చేయండి మరియు సంబంధిత macOS వెర్షన్‌ను డౌన్‌లోడ్ చేయండి

2. డౌన్‌లోడ్ పూర్తయిన తర్వాత, డౌన్‌లోడ్ చేసిన ఫైల్‌పై డబుల్-క్లిక్ చేసి Ollama ను అప్లికేషన్లలోకి లాగండి

3. ఇన్‌స్టాలేషన్ పూర్తయిన తర్వాత, Ollama సేవ ప్రారంభమైందని చూపిస్తుంది

4. cmd లో, మీరు లోడ్ చేయాలనుకుంటున్న మోడల్‌ను ప్రారంభించండి, ఉదాహరణకు: qwen3.5:2b, టెర్మినల్‌లో నేరుగా కమాండ్ టైప్ చేయండి

ollama run qwen3.5:2b

పేజీ అవుట్‌పుట్ మోడల్ విజయవంతంగా ప్రారంభమైందని చూపిస్తుంది. ఈ సమయంలో, మీరు క్లయింట్‌లో నేరుగా చాట్ చేయవచ్చు లేదా మోడల్‌ను పరీక్షించడానికి API కాల్ చేయవచ్చు.

మీరు క్లయింట్‌లో చాట్ కూడా చేయవచ్చు.

మీరు ModelScope నుండి మోడల్‌లను డౌన్‌లోడ్ చేసి Ollama తో ప్రారంభించవచ్చు

Ollama అనేక మోడల్ రిపోజిటరీలను అందిస్తుంది. మేము ModelScope లో మాకు అవసరమైన మోడల్‌లను కనుగొని Ollama తో ప్రారంభించవచ్చు.

1. Ollama సేవను ప్రారంభించండి

నివాస సేవల కోసం, Jupyter యొక్క ఏకైక కెర్నెల్ ఒకేసారి ఒకే సెల్‌ను మాత్రమే అమలు చేయగలదు, దీని వలన తదుపరి సెల్‌ల అమలు కష్టమవుతుంది. కాబట్టి ఈ భాగాన్ని టెర్మినల్‌లో అమలు చేయాలి. Notebook తెరిచిన తర్వాత, నేరుగా వర్క్‌స్పేస్‌కు వెళ్ళండి, దిగువన "టెర్మినల్" కనిపిస్తుంది. దానిపై క్లిక్ చేయండి.

టెర్మినల్‌లో టైప్ చేయండి:

ollama serve

2. తర్వాత, మేము ప్రారంభించాలనుకుంటున్న మోడల్‌ను రన్ చేయండి, ఉదాహరణకు: Qwen3-4B-GGUF. మోడల్ మొదటిసారి రన్ అయినప్పుడు, అది మోడల్ రిపోజిటరీ నుండి సంబంధిత ఫైల్‌లను డౌన్‌లోడ్ చేసుకోవాలి. ఈ కమాండ్ కూడా టెర్మినల్‌లో అమలు చేయాలి. మీరు కొత్త టెర్మినల్ తెరిచి ఈ క్రింది కమాండ్ అమలు చేయవచ్చు:

 ollama run modelscope.cn/unsloth/Qwen3-4B-GGUF

ఈ సమయంలో, మోడల్ ప్రారంభమైంది. మోడల్ ఎండ్‌పాయింట్ కనెక్ట్ అయిందా లేదా అని పరీక్షించడానికి మీరు API కాల్ చేయవచ్చు. కోడ్ ఈ క్రింది విధంగా ఉంటుంది:

import requests
url = "http://127.0.0.1:11434/v1/chat/completions"
data = {
    "model": "modelscope.cn/unsloth/Qwen3-4B-GGUF",
    "messages": [
        {
            "role": "user",
            "content": "హలో, దయచేసి మిమ్మల్ని పరిచయం చేసుకోండి"
        }
    ],
    "max_tokens": 100
}

response = requests.post(url, json=data)

print("స్థితి కోడ్:", response.status_code)
print(response.text)

మోడల్ కాల్ విజయవంతమైతే, అది సంబంధిత మోడల్ ఫలితాన్ని అవుట్‌పుట్ చేస్తుంది.

ఈ అధ్యాయంలో పాల్గొన్న సంపూర్ణ ప్రయోగాత్మక ప్రక్రియ ఇక్కడ అందుబాటులో ఉంది: https://modelscope.cn/gallery/liucong/b1ef397b-fe80-4fb9-812f-969fa25ea44c