Running Models Locally with Ollama

ノートパソコンでもオープンソースモデルを実行できる、まずOllamaから

モデルはローカルまたはクラウドにデプロイされます。例えば、ローカルデバイスにはノートパソコン、デスクトップ、その他のエッジデバイスなどがあります。

また、ローカル実行には異なるツールの選択肢もあり、Ollama、vLLM、SGLangなどのフレームワークがあります。

本章ではまずOllamaの基本的な使い方法を説明します。その他のエッジデバイスのアダプテーションや、vLLM、SGLangなどのフレームワークの使用については、後で追加予定です。

なぜモデルを自分のパソコンに置きたい？

APIを使って大規模モデルを呼び出すのは最も手軽な方法です：リクエストを送信し、モデルが計算して結果を返します。ユーザーはGPUを購入する必要もなく、基盤環境を維持する必要もありません。

ただし、APIモードには避けられない制限もあり、主に以下の側面に表れます：

データセキュリティ：重要な文書、顧客プライバシー、社内業務データは、第三者のパブリッククラウドに直接送信できません。
オフライン利用：イントラネット専用線などの本番環境では、外部ネットワークに接続できません。
コスト管理：呼び出し量が大きく安定している場合、自分でサーバーを構を構築する総合コストは、通常トークン単位の支払いを続けるよりも割安です。

したがって、業務がデータ機密性を伴う、純粋なオフライン実行が必要、呼び出し量が大きいなどの場合、ローカルデプロイがより適した選択肢となります。

まずノートパソコンのシステムとハードウェアを確認する

Ollamaは現在使いやすいツールの1つで、モデルのダウンロード、ローカル管理、インターフェースサービスをすべてパッケージ化しています。ユーザーはコードを自分で書いてモデルをロードする必要がなく、数行のコマンドで直接モデルを起動できます。

モデルがローカルで正常に実行できるかどうかは、很大程度上コンピュータのハードウェアリソースに依存します。Ollamaは一般的なハードウェアプラットフォームに良好的なサポートを提供し、Windows、Linux、macOSなどの一般的なオペレーティングシステムをサポートしています。通常のCPU、GPU、Apple Siliconを搭載したMacコンピュータでもモデルを実行できます。

CPU実行：コンピュータに専用グラフィックボードがなくても、CPUでモデルを実行できます。大規模モデルの推論には大量の計算が必要なため、CPUを使用すると生成速度は通常遅くなるため、パラメータ規模が小さなモデルや、応答速度がそれほど重要でないシナリオに適しています。

GPU実行：これは現在一般的な大規模モデルの実行方法です。GPUは並列計算能力が高く、モデルの生成速度を大幅に向上できます。モデルが大きくなるほど、必要なビデオメモリも増えるため、モデルを選択する際にはグラフィックボードに十分なビデオメモリがあるか考慮する必要があります。

Apple Silicon実行：Apple Mシリーズチップは統一メモリ設計を採用しており、CPUとGPUが同じメモリを使用できます。Macユーザーにとって、デバイスに32GB、64GB、それ以上の統一メモリがある場合、より大きなパラメータ規模のQuantizationモデルの実行を試みることができます。

使用しているオペレーティングシステムを選んでOllamaをインストールする

WindowsでOllamaをインストール

1）まずOllamaの公式サイト、Download Ollamaから対応するWindowsバージョンをダウンロードします

2)ダウンロード完了後、直接クリックしてインストールし、continueをクリックします

3) インストール完了後、以下が表示され、Ollamaサービスが起動したことがわかります

4）cmdで、ロードしたいモデルを起動します。例えば：qwen3.5:2b、ターミナルに直接コマンドを入力します

ollama run qwen3.5:2b

ページに以下の出力があれば、モデルの起動が成功したことを示し、このままクライアントで会話することも、インターフェースを呼び出してモデルをテストすることもできます

テスト用のコードは以下の通りです：

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:11434/v1",
    api_key="ollama",  
)

response = client.chat.completions.create(
    model="qwen3.5:2b", 
    messages=[
        {
            "role": "system",
            "content": "あなたは親切なアシスタントです。",
        },
        {
            "role": "user",
            "content": "あなたは誰ですか？",
        },
    ],
    temperature=0,
    max_tokens=512,
)

print(response.choices[0].message.content)