笔记本也能跑开源模型，先从Ollama开始

模型在本地或者云端部署，比如，本地设备包括笔记本、台式机，以及其他端侧设备等等，

同时本地运行也有不同的工具选择，Ollama、以及vLLM、SGLang等框架。

本章，我们先把Ollama的基本用法讲清楚。其他端侧设备的适配，以及vLLM、SGLang等框架的使用，会在后续补充。

为什么想把模型放在自己的电脑上？

通过 API 调用大模型是最省心的做法：请求发过去，模型计算好把结果回传，用户不需要采购 GPU，也不用维护底层环境。

但 API 模式也有绕不开的限制，主要表现在以下几个方面，

• 数据安全，核心文档、客户隐私和内部业务数据，无法直接传给第三方公有云。
• 离线可用，内网专线等生产环境根本无法连接外网。
• 成本控制：当调用量大且稳定时，自己搭服务器的综合成本通常会比一直按 Token 付费更划算。

所以，如果业务涉及数据敏感、要求纯离线运行、调用量较大，本地部署就是更合适的选择。

先看看笔记本的系统和硬件

Ollama 是目前用起来比较顺手的工具之一，把模型下载、本地管理和接口服务都打包好了。用户不需要自己写代码去加载模型，只需几行命令就能直接启动模型。

模型能否在本地顺利运行，很大程度上取决于计算机的硬件资源。Ollama对常见的硬件平台提供了较好的支持，支持Windows、Linux和macOS等常见操作系统。无论是普通CPU、GPU，还是搭载Apple Silicon的Mac电脑，都可以用来运行模型。

CPU运行，即使电脑没有独立显卡，也可以通过CPU运行模型。由于大模型推理需要进行大量计算，使用CPU时生成速度通常比较慢，因此更适合参数规模较小的模型，或者对响应速度要求不高的场景。

GPU运行，这是目前比较常见的大模型运行方式。GPU具有较强的并行计算能力，可以明显提升模型的生成速度。模型越大，需要的显存通常也越多，因此选择模型时需要考虑显卡是否有足够的显存。

Apple Silicon运行，苹果M系列芯片采用统一内存设计，CPU和GPU可以使用同一块内存。对于Mac用户来说，如果设备具有32GB、64GB或者更大的统一内存，就可以尝试运行一些参数规模较大的量化模型。

选自己的操作系统，安装Ollama

Windows下安装Ollama

1）首先在在Ollama官网，Download Ollama下载对应的windows版本

2)下载完成后，直接点击安装，点击continue

3) 安装完成后，显示，此时Ollama服务已经启动

4）在cmd中，启动想要加载的模型，比如：qwen3.5:2b，直接在终端中输入命令

ollama run qwen3.5:2b

页面输出如下，说明模型启动成功，此时可以直接在客户端中对话，也可以直接调用接口测试模型

测试接代码如下：

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:11434/v1",
    api_key="ollama",  
)

response = client.chat.completions.create(
    model="qwen3.5:2b", 
    messages=[
        {
            "role": "system",
            "content": "你是一个有帮助的中文助手。",
        },
        {
            "role": "user",
            "content": "你是谁？",
        },
    ],
    temperature=0,
    max_tokens=512,
)

print(response.choices[0].message.content)

结果显示如下：

ModelScope Notebook安装Ollama

1）在Notebook中安装Ollama，首先下载安装包，执行下面命令

!modelscope download --model=modelscope/ollama-linux --local_dir ./ollama-linux