deepseek本地部署,手把手教你deepseek部署教程
deepseek本地部署分为七个步骤
一、安装ollama
二、拉取Deepseek-R1模型
三、拉取嵌入模型
四、安装Anything
五、配置Anything
六、数据投喂
七、回答验证
接下来手把手的教你deepseek本地部署
第一步:安装ollama
点击下载
选择与你电脑相符的系统进行下载,下载完成后并进行安装
进行安装
等待安装完成,安装完成后,进行模型拉取,linux和mac系统打开终端进行命令行,win系统载运行框内输入cmd调出命令行窗口
此时需要到ollama官网选择适合你本机电脑配置的拉取命令
• 1.5B:CPU最低4核,内存8GB+,硬盘icon3GB+存储空间,显卡icon非必需,若GPU加速可选4GB+显存,适合低资源设备部署等场景。
• 7B:CPU 8核以上,内存16GB+,硬盘8GB+,显卡推荐8GB+显存,可用于本地开发测试等场景。
• 8B:硬件需求与7B相近略高,适合需更高精度的轻量级任务。
• 14B:CPU 12核以上,内存32GB+,硬盘15GB+,显卡16GB+显存,可用于企业级复杂任务等场景。
• 32B:CPU 16核以上,内存64GB+,硬盘30GB+,显卡24GB+显存,适合高精度专业领域任务等场景。
• 70B:CPU 32核以上,内存128GB+,硬盘70GB+,显卡需多卡并行,适合科研机构等进行高复杂度生成任务等场景。
我这里以最低配置为例:
打开ollama官网 点击Models选择模型
选择deepseek-r1
选择适合你电脑的模型
复制右边相应模型的拉取命令,到终端进行拉取
等待拉取
这里得视你网速耐心等待拉取完毕,我这里选择是最低配置1.5b的模型,1.1G的模型文件,相对比较快
直到出现此界面,代表拉取成功,接下来我们可以在命令行进行测试聊天
此时deepseek模型正常与你对话,代表模型运行成功,但在命令行终端使用起来没有可视化,也不方便,此时我们需要安装AnythingLLM插件来实现软件可视化及训练调试
(终端里也是可以对话,但无法进行灵活及投喂,如果下次想要继续使用终端,可以在终端输入命令 ollama list 来查看你的模型,然后ollama run +模型名称,唤起模型对话)
接下来打开anythingllm官网 https://anythingllm.com/ 点击下载到桌面
说明:到这一步,如果不想对自己模型进行训练投喂的话,也可以选择Chatbox的聊天框架来调用deepseek-r1来实现对话,下载官网:https://chatboxai.app/
同样选择符合你电脑系统的版本进行下载,下载完毕并安装
耐心等待安装
安装完成并运行
配置Anything
点击Get startde进行首次使用导向
选择Ollama,然后选择模型,这里如果你拉取是多个模型,后面也可以在设置重新选择
点击下一步后,来到这个页面,直接点击下一步
直接点击跳过
跳过后直接来到输入工作区名称,这里随便起个名字,例如:你好汕头,然后点击下一步
点击你好汕头的工作区来测试是否能成功
在对话框进行对话,以下表示调用成功,并可以进行对话
接下来进行各种设置,点击设置
拉下菜单选择中文
请注意,接下来进行深度设置,前面我们拉取的Deepseek-r1是通用大模型,如果我们要投喂和训练,这里需要进行拉取 nomic-embed-text
步骤同样上 https://www.ollama.com/ 选择模型,在搜索框搜索 nomic-embed-text 点进去
第三步复制命令行,到终端进行拉取 nomic-embed-text
拉取完毕后再次在 界面上进行设置,一下按图所示进行依次选择
到这一步就是本地部署,安装的全过程,接下来就是投喂了
一、准备数据集:
假如我开了一家“你好汕头”的美食店,借助deepseek创建了一份数据
1、美食菜单.doc(里面举例了30种美食的价格)
2、投资说明书.doc(里面举例了店铺定位,经验模式,市场分析,团队介绍,财务规划,风险应对,募集资金等等的方案)
然后点击工作区的“你好汕头”右侧的上传按钮
二、先点击上传本地文件,然后选择上传好的文件,点击move to workspace 移到右侧工作区里面,最后点击保存
说明:
点击保存按钮,嵌入模型 nomic-embed-text 将投喂数据进行数据向量化并储存到向量数据库,变成大模型设别检索的一种格式,这个过程需要点时间,请耐心等待
接下来就是验证回答的过程
以上就是部署和投喂的教程,这个版本中比较适合对于技术小白的用户,复杂的训练以及部署,后面会介绍,谢谢观看,我是赖司令,可以加我AI助理的微信号(WebAigc)一起交流探讨