当前位置:首页 > Deepseek使用教程 > 正文内容

DEEP SEEK 如何在本地部署(Ollama + ChatBox)+ 私有知识库(cherry studio)

1个月前 (02-04)Deepseek使用教程184

1 软硬件需求  ( 我的显卡 AMD VEGA 56 )

  1. 1.1 硬件需求 DeepSeek R1 本地部署的硬件需求如下:

  2. 基本推荐配置:  

CPU: 8核或以上,内存: 32GB或以上,存储: 100GB SSD或以上,GPU: NVIDIA GTX 1080或同等性能
  DeepSeek-7B 对标(gpt3.5)( 4.7GB) 推荐配置:RTX3060 以上显卡 + 16G以上 内存 + 50G SSD 存储空间
 4060:32B.
     DeepSeek-70B 对标(gpt 4.0)(模型大小:40GB)推荐配置:RTX4090 以上显卡 + 32G以上 内存 + 200G SSD 存储空间 。
满血版本:671B 版本 普通人基本装不了的。

2.1 Ollama 的下载

Ollama 是一个开源的本地模型运行工具,可以方便地下载和运行各种开源模型,如 Llama、Qwen、DeepSeek 等。Ollama 提供高效、灵活的大模型部署和管理解决方案,可以简化模型的部署流程。支持 macOS、Linux、Windows 操作系统。
备份链接:https://github.com/ollama/ollama/releases/download/v0.5.7/OllamaSetup.exe
百度网盘:链接:https://pan.baidu.com/s/1C8gCNbS15catfe2ezUSouA
提取码:1123
本教程选择 Ollama Windows 版本下载。

2.2 Ollama 的安装

下载完成后直接点击 OllamaSetup.exe 进行安装。
安装完成后,cmd 打开命令行窗口,输入 “ollama -v” 测试,显示 ollama 的版本为 “0.5.7”,表明安装成功。

2.3 Ollama 的运行

Ollama 没有用户界面,在后台运行。
打开浏览器,输入 “http://localhost:11434/”,显示 “Ollama is running”。
  1. deepseek - r1 模型安装

3.1 Ollma 安装 deepseek - r1 模型

deepseek - r1 不同版本模型的执行命令不同:
  • 1.5b 的命令为:“

ollama run deepseek-r1:1.5b
  • 7b 的命令为:“

ollama run deepseek-r1:7b
  • 14b 的命令为:“

ollama run deepseek-r1:14b
DeepSeek-R1-Distill-Qwen-32B
ollama run deepseek-r1:32b
DeepSeek-R1-Distill-Llama-70B
ollama run deepseek-r1:70b
推荐大家先下载较小的 1.5b 模型,把本教程的安装程序跑通,再根据自己的硬件配置和需求安装适当的版本。
  1. 本教程选择选择 7b 模型,在命令行窗口运行安装命令 “ollama run deepseek - r1:7b”,程序会自动下载和安装运行。

默认地址是 “C:\Users% username%.ollama\models”。如果要修改模型的保存地址,可以新建一个文件夹如 “C:\Model”,然后在系统环境变量添加系统变量:“变量名:OLLAMA_MODELS,变量值:C:\Model”。
  1. 安装完成后显示 “success”,表明安装成功。

3.2 使用 deepseek - r1 模型

  1. 在命令行窗口运行命令 “ollama run deepseek - r1:7b”,就可以在提示行输入,与 deepseek - r1 进行聊天。

  2. 输入 “/?”,可以获得帮助。

3.3 修改ollama安装地址。

  1. 打开系统属性:右键点击Windows桌面上的“此电脑”或“计算机”图标,选择“属性”以打开系统属性窗口。

  2. 进入环境变量设置:在系统属性窗口中,点击左侧的“高级系统设置”按钮。在弹出的“系统属性”窗口中,切换到“高级”选项卡,然后点击“环境变量”按钮。

  3. 新建或修改环境变量:在“环境变量”窗口中,可以在“系统变量”或“用户变量”部分找到或新建一个名为OLLAMA_MODELS的环境变量。如果已存在该变量,则直接选中并点击“编辑”按钮;如果不存在,则点击“新建”按钮来创建一个新的环境变量。

  4. 设置新的存储路径:在“编辑环境变量”或“新建环境变量”窗口中,输入变量名OLLAMA_MODELS,并在“变量值”文本框中输入希望保存模型文件的新目录路径。例如,如果希望将模型文件保存在D盘的OllamaModels目录下,则输入D:\OllamaModels

  5. 重启Ollama:设置完环境变量后,需要重启Ollama以应用更改。可以通过任务管理器结束Ollama的进程,然后重新运行Ollama来实现重启。

3.4 删除模型

  1. 打开终端或命令行界面:首先,你需要打开你的终端或命令行界面。

  2. 导航到存储模型的目录:确保你的当前工作目录是存储模型的文件夹。

  3. 使用命令删除模型:输入命令 ollama rm <model_name>,其中 <model_name> 是你要删除的模型的名称。确认删除操作,根据提示输入确认信息,然后等待删除完成。

比如 :ollama rmdeepseek - r1:7b
注意事项:
  • 备份重要数据:在删除模型之前,请确保你已经备份好了需要保留的数据。删除模型是一个不可逆的操作,一旦删除将无法恢复。

  • 版本差异:具体的命令和操作可能会因为OLLAMA的版本而有所不同,建议参考OLLAMA的官方文档或者使用 ollama --help 命令获取更多帮助信息。

通过以上步骤,你可以在OLLAMA中成功删除不需要的模型。

4.1 使用CHAT_BOX 安装

  1. 申请API:目前Deep Seek 正在遭受国外黑客攻击,所以推荐使用 硅基流动 的API,价格跟官方一致。

  2. 点击https://cloud.siliconflow.cn/i/PQjf5Pqp

  3. 申请账户登录后,再左侧菜单栏找到API 秘钥。

  1. 右上角点击生成

  1. 点击秘钥进行复制:

4.2 使用CHATBOX

  1. 登录官方页面:https://chatboxai.app/zh

  2. 点击运行网页版(使用桌面版也一样)

  3. 点击左下角 setting。

  4. 如图所示: Model Provider :OPENAI API

API key : 填写复制的 API秘钥
API Host :填写网址: https://api.siliconflow.cn/v1
第一步:点击 Model&Token  第二步: model选择 Custom Model 。 再 Custom

拉倒最下面,选择 custom model (或者 自定义模型)

Model name 输入:deepseek-ai/DeepSeek-R1
  1. 开始聊天。点击左下角:new chat 。 进行聊天即可。

4.3 CHAT汉化

  1. 左下角 Settings

  2. 选择  Display

  3. 第一个 选择中文。

5 设置DeepSeek R1部署和本地私有知识库

5.1 安装cherry studio

  1. 通过Chat_box 安装的朋友们可以通过设置本地知识库的方式,实现个人智能体助手

  2. 下载 cherry_studio(功能和chatbox一致,但更加强大,可以代替chatbox)

  3. 下载地址:https://cherry-ai.com/download。选择对应的系统进行下载。

  4. 如果需要选择其他系统:

  1. 本地安装

  2. 申请API:目前Deep Seek 正在遭受国外黑客攻击,所以推荐使用 硅基流动 的API,价格跟官方一致。

  3. 点击https://cloud.siliconflow.cn/i/PQjf5Pqp

  4. 申请账户登录后,再左侧菜单栏找到API 秘钥。

  1. 右上角点击生成

  1. 点击秘钥进行复制:

5.2 设置API接口(获取API的方法,在4.1章)

  1. 打开设置界面:

  1. 选择硅基服务,并填写API

  1. 添加模型

  1. 添加嵌入模型

  1. 聊天测试是否安装成功

  1. 添加知识库

  1. 确认知识库安装成功,并尝试搜索

  1. 聊天中设置知识库

  1. 设置完成。

注意:知识库所使用的token较多,请结合自身情况进行使用。