网站首页 > 教程分享 正文
前期准备
1 硬件检查
查看显存:右键桌面 → 打开NVIDIA控制面板 → 系统信息
最低配置:
GPU版:NVIDIA显卡(6G以上显存)
CPU版:16G内存+SSD硬盘
集显笔记本显存查看方式:
- 右键点击任务栏 → 选择 任务管理器。
- 切换到 性能 选项卡。
- 在左侧找到 GPU 选项(可能会显示为“GPU 0”或“Intel UHD Graphics”等)。
- 查看右侧的 专用 GPU 内存 或 共享 GPU 内存:
- 专用 GPU 内存:集显的固定显存(通常较小,如128MB或256MB)。
- 共享 GPU 内存:系统内存中分配给集显使用的部分(动态调整,通常较大)。
2 安装基础软件
Python 3.8-3.10:官网下载「链接」 → 安装时务必勾选"Add to PATH"
Git:下载地址Git → 全部默认安装
Visual Studio生成工具:微软官网搜索"Build Tools for Visual Studio"安装C++开发环境
部署流程(GPU版)
步骤1:获取模型文件
# 打开CMD或PowerShell执行
git clone https://github.com/deepseek-ai/DeepSeek-LLM.git
cd DeepSeek-LLM
步骤2:安装依赖
# 创建虚拟环境(防止包冲突)
python -m venv deepseek_env
.\deepseek_env\Scripts\activate
# 安装核心组件(需等待10-30分钟)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt
步骤3:模型下载
从HuggingFace下载模型文件(需注册):
访问
https://huggingface.co/deepseek-ai
找到deepseek-llm-7b-chat → 下载全部文件到./models文件夹
步骤4:创建启动脚本
新建run.py文件,粘贴以下内容:
from transformers import AutoTokenizer, AutoModelForCausalLM
model_path = "./models/deepseek-llm-7b-chat"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path).cuda()
while True:
prompt = input("请输入问题:")
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
步骤5:运行模型
python run.py
CPU版特别说明
修改run.py第4行为:
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto")
2.安装CPU优化库:
pip install accelerate
常见问题解决
CUDA内存不足:尝试减小max_new_tokens数值(改为50)
DLL加载错误:更新NVIDIA驱动 → 到官网下载最新Game Ready驱动
中文乱码:在脚本开头添加# -*- coding: utf-8 -*-
下载缓慢:使用国内镜像源:
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple 包名
进阶技巧
使用量化版模型(如4bit)可降低显存需求
搭配text-generation-webui可创建可视化界面
使用--load-in-8bit参数优化内存占用
注意事项:
首次运行会自动下载分词器等组件(约需5分钟)
7B模型文件约需15GB存储空间
建议关闭杀毒软件实时防护以免误拦截
如需其他版本(如1B/65B)部署方法,可在评论区留言说明你的显卡型号和内存容量~
猜你喜欢
- 2025-05-08 IT之家学院:使用PIN或密码审批管理员权限
- 2025-05-08 Yarn 安装的时候提示错误 error:0308010C:digital envelope routines
- 2025-05-08 Windows常用的一些CMD运行命令(windows常见的命令)
- 2025-05-08 电脑忘记开机密码10秒解决(戴尔电脑忘记开机密码10秒解决)
- 2025-05-08 如何下载Windows 10聚焦提供的锁屏壁纸
- 2025-05-08 Windows CMD 命令大全:简单粗暴收藏!
- 2025-05-08 系统小技巧:解决CHKDSK只读模式问题
- 2025-05-08 Windows的cmd都有哪些奇技淫巧?这22个CMD命令记得收藏起来!
- 2025-05-08 windows错误代码0x80072EE2?win10系统更新错误问题的处理方法
- 2025-05-08 Windows 10技术预览版快捷键方式汇总
你 发表评论:
欢迎- 最近发表
-
- IT之家学院:使用PIN或密码审批管理员权限
- Yarn 安装的时候提示错误 error:0308010C:digital envelope routines
- Windows常用的一些CMD运行命令(windows常见的命令)
- 电脑忘记开机密码10秒解决(戴尔电脑忘记开机密码10秒解决)
- 如何下载Windows 10聚焦提供的锁屏壁纸
- Windows CMD 命令大全:简单粗暴收藏!
- 系统小技巧:解决CHKDSK只读模式问题
- Windows的cmd都有哪些奇技淫巧?这22个CMD命令记得收藏起来!
- windows错误代码0x80072EE2?win10系统更新错误问题的处理方法
- Windows 10技术预览版快捷键方式汇总
- 标签列表
-
- css导航条 (66)
- sqlinsert (63)
- js提交表单 (60)
- param (62)
- parentelement (65)
- jquery分享 (62)
- check约束 (64)
- curl_init (68)
- sql if语句 (69)
- import (66)
- chmod文件夹 (71)
- clearinterval (71)
- pythonrange (62)
- 数组长度 (61)
- javafx (59)
- 全局消息钩子 (64)
- sort排序 (62)
- jdbc (69)
- php网页源码 (59)
- assert h (69)
- httpclientjar (60)
- postgresql conf (59)
- winform开发 (59)
- mysql数字类型 (71)
- drawimage (61)
本文暂时没有评论,来添加一个吧(●'◡'●)