目录一、什么是Ollama, LLama Factory1. Ollama本地大模型运行器2. Qwen、Gemma、DeepSeek模型本身3. MinicondaPython 环境管理工具4. PyTorch训练和推理的计算库5. LLaMA-Factory大模型微调框架二、Ollama 本地部署三、安装LLaMA-Factory安装Miniconda创建python环境安装PyTorch安装 LLaMA-Factory编辑参考资料今天在自己的 Windows 电脑上搭建一套本地大模型学习环境所以记录一次真实搭建过程。我的笔记本环境为WindowsNVIDIA RTX 4060 8GB已安装 Ollama使用 Miniconda 管理 Python 环境使用 LLaMA-Factory 学习模型微调如果看本文教程并进行学习部署, 请先更新电脑nvidia studi驱动为最新版。一、什么是Ollama, LLama Factory1. Ollama本地大模型运行器Ollama 可以理解成一个本地大模型运行平台把已经训练好的模型下载到电脑上然后在本机运行起来我们可以直接调用。Ollama 会负责下载模型、加载模型、启动推理服务并在本地提供 API。2. Qwen、Gemma、DeepSeek模型本身Qwen、Gemma、DeepSeek 这些名字指的是模型系列。不同模型对应有不同的参数类型, 比如:其中4b就是表示 40 亿参数规模。对于我本机RTX 4060 8GB的GPU来说4B 模型比较适合作为入门选择。3. MinicondaPython 环境管理工具Miniconda 它的作用是管理 Python 环境, 为每个项目创建独立环境base ├── llamafactory ├── agent └── rag像这样 LLaMA-Factory 用自己的依赖Agent 项目用自己的依赖RAG 项目也用自己的依赖互不干扰。4. PyTorch训练和推理的计算库PyTorch 是深度学习框架负责底层张量计算、GPU 加速、模型训练等能力。如果说 LLaMA-Factory 是一个微调工具平台那么 PyTorch 就是它底层真正干计算活的基础库尤其是使用 NVIDIA 显卡时需要安装支持 CUDA 的 PyTorch这样训练或推理时才能调用 GPU。5. LLaMA-Factory大模型微调框架LLaMA-Factory 是一个大模型微调框架上面MinicondaPyTorch就是运行LLaMA-Factory所需要的依赖。LLaMA-Factory可以不用写训练脚本也能方便地对 Qwen、DeepSeek 等模型做 SFT、LoRA、QLoRA、DPO 等算法微调。它还提供 WebUI所以新手可以先通过页面理解模型、数据集、训练参数和导出流程。简单说想运行模型用 Ollama想训练或微调模型用 LLaMA-Factory想管理 Python 依赖用 Miniconda想调用 GPU 做训练计算用 PyTorch二、Ollama 本地部署下载Ollama: Download Ollama on Windows下载完成之后运行OllamaSetup.exe文件然后一直Next下一步即可, 下载完 Ollama 时页面里会看到很多模型、智能体或者带有cloud标识的东西。这里要先区分两件事Ollama Cloud模型运行在云端会涉及云服务额度Ollama 本地模型模型权重下载到本机在本机 GPU 上推理真正的本地模型通常是通过命令下载和运行的例如ollama run qwen3:4b如果本地没有这个模型ollama run会先下载模型如果已经下载过就会直接加载本地模型并进入聊天界面。这里我下载过了直接可以交流了:可以用下面的命令查看本地已经下载的模型ollama list如果看到下面这样的输出就说明模型已经在本机了三、安装LLaMA-Factory安装Miniconda1. 首先安装python环境, 此处略过2. 安装Miniconda: Download Success | Anaconda点击下载之后运行Miniconda3-latest-Windows-x86_64.exe文件, 依旧Next即可。安装成功之后win键搜索Anaconda Prompt打开输入:conda --version得到如下结果安装成功创建python环境如果已经把 Conda 的环境目录配置到了 D 盘可以直接用-n创建命名环境conda create -n llamafactory python3.11如果想明确指定环境路径也可以使用 -pconda create -p D:\baibaoplus\Miniconda\envs\llamafactory python3.11执行后会有一些服务条款, 一直accept就行-n和-p的区别是参数含义示例-n按环境名称创建conda create -n llamafactory python3.11-p按完整路径创建conda create -p D:\baibaoplus\Miniconda\envs\llamafactory python3.11如果用 -p 创建环境激活时也要使用完整路径conda activate D:\baibaoplus\Miniconda\envs\llamafactory安装PyTorch安装PyTorch之前先看一下自己显卡CUDA驱动版本, 可以通过nvidia-smi命令查看然后安装 PyTorch 官方当前 Stable 对应的 CUDA 版本。我这是12.4兼容13.3versionpip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124验证 GPU 是否可用import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))输出(验证本机硬件信息):Driver Version : 610.62 CUDA UMD : 13.3 GPU : RTX 4060 8GB安装 LLaMA-Factorygit clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e .[torch,metrics]启动llamafactory-cli webui(llamafactory) C:\Users\23026llamafactory-cli webui Visit http://ip:port for Web UI, e.g., http://127.0.0.1:7860 * Running on local URL: http://0.0.0.0:7860 * To create a public link, set shareTrue in launch().浏览器端口7860被访问到页面展示即安装成功接下来就是参数微调下篇续写。参考资料Ollama Windows 官方文档Windows - OllamaLLaMA-Factory 官方文档https://llamafactory.readthedocs.io/en/latest/PyTorch 官方安装页https://pytorch.org/get-started/locally/LLaMA-Factory GitHub ReleasesReleases · hiyouga/LlamaFactory · GitHub
尧图网络