Dify
是开源的 LLM
应用开发平台。
提供从 Agent
构建到 AI WorkFlow
编排、RAG
检索、模型管理等能力,轻松构建和运营生成式 AI
原生应用。
搭建过程
官方文档:https://docs.dify.ai/zh-hans
具体包括以下几步:
- 安装
Ollama
- 下载大模型
- 安装
Docker
- 克隆
Dify
源代码至本地 - 启动
Dify
安装Ollama
Ollama
是运行大语言模型的环境。
Ollama
官网地址:https://ollama.com/。
进入官网,点击 Download
按钮下载 Ollama
客户端。
下载大模型
到 Ollama
官网的模型页面:https://ollama.com/library,挑选一下模型。
包括有很多开源模型,比如阿里的千问2,搜索 qwen2
就能找到它。
这里使用 Llama 3.1
。
打开Llama 3.1
模型的地址:https://ollama.com/library/llama3.1。
- 根据你需求选择合适的版本,这里选的是
8b
版。
选好版本后,复制上图右侧红框的命令,到你电脑的终端中运行。
如果你还没下载过这个模型它就会自动下载,如果已经下载过它就会运行这个模型。
运行后,就可以在终端和大模型对话了。
克隆Dify源代码至本地
git clone https://github.com/langgenius/dify.git
启动Dify
进入 Dify
源代码的 Docker
目录,执行一键启动命令:
cd dify/docker
cp .env.example .env
docker compose up -d
启动完成后,你的 Docker
里就会看到这个:
然后在浏览器输入 http://localhost
。
首次打开 Dify
需要设置一下管理员的账号。
本地私有化部署DeepSeek+Dify
Ollama 安装
下载地址:https://ollama.com/download
国内:https://url81.ctfile.com/f/57345181-1470003863-3e0f90?p=3899
- 访问密码:3899
Ollama安装完成后,在对应的命令行输入:
ollama -v
DeepSeek模型安装
访问 Ollama
的官网查找要安装的模型:
https://ollama.com/library/deepseek-r1:7b
ollama run deepseek-r1:7b
部署图形化客户端
ChatBox:https://chatboxai.app/zh
在 ChatBox
的设置中填写 Ollama API
的地址和对应的模型名称:
部署 Dify
#克隆 Dify 源代码至本地环境。
git clone https://github.com/langgenius/dify.git
#进入 Dify 源代码的 Docker 目录
cd dify/docker
#复制环境配置文件
cp .env.example .env
#启动 Docker 容器
docker-compose up -d
添加模型
Dify 启动成功后,直接浏览器访问:http://localhost/
进入到 Dify 的主页面会提示新建账号密码,账号密码新建完成后。
在右上角处点击设置,然后新增的本地模型配置。