百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT技术 > 正文

离线在docker镜像方式部署ragflow0.17.2

wptr33 2025-03-26 17:47 16 浏览

经常项目上会出现不能连外网的情况,要怎么使用ragflow镜像部署呢,这里提供详细的步骤。

1、下载基础镜像

根据docker-compose-base.yml及docker-compose.yml中的image配置信息,下载所需要的基础服务镜像。

# 创建资源目录
mkdir -p /data/ragflow-offline/{docker-images,pip-packages}
cd /data/ragflow-offline


# 拉取并保存所有所需镜像
docker pull elasticsearch:8.11.3
#infinity和elasticsearch可以二选一下载
docker pull infiniflow/infinity:v0.6.0-dev3
#8+版本的mysql才支持向量数据
docker pull mysql:8.0.39
docker pull quay.io/minio/minio:RELEASE.2023-12-20T01-00-02Z
docker pull valkey/valkey:8

当使用sudo docker save时,虽然docker命令以root权限执行,但输出重定向操作(>)仍受当前用户目录权限限制。需要确保操作路径有足够权限,所以要先通过以下命令给足够的权限。

sudo chmod 777 /data/ragflow-offline/docker-images  # 临时放宽权限

再执行下面的保存命令

sudo docker save elasticsearch:8.11.3 > docker-images/elasticsearch-8.11.3.tar
sudo docker save infiniflow/infinity:v0.6.0-dev3 > docker-images/infinity-v0.6.0-dev3.tar
sudo docker save mysql:8.0.39 > docker-images/mysql-8.0.39.tar
sudo docker save quay.io/minio/minio:RELEASE.2023-12-20T01-00-02Z > docker-images/minio-2023-12-20.tar
sudo docker save valkey/valkey:8 > docker-images/valkey-8.tar


二、下载Ragflow

1、下载RagFlow,github上可能很慢,找一个gitee上的地址

cd /data
sudo git clone https://gitee.com/da_xu/ragflow.git
cd ragflow

2、配置python虚拟环境,如果已有请跳过

#安装venv
sudo apt install python3.12-venv
# 创建虚拟环境
sudo python3 -m venv .venv
#激活虚拟环境
source .venv/bin/activate
#安装所需要的依赖,可能会遇到很多版本问题,比如我是python3.12,要提示修改一些依赖版本
pip install -r requirements.txt

需要修改的依赖版本如下:

Pillow=10.3.0修改为11.1.0
torch=2.3.0修改为2.3.1

torch直接安装大概有800多M,看网络情况可能会超时,所以我直接选择先下载,下载地址:


https://download.pytorch.org/whl,找到你合适的版本

或者从阿里巴巴的镜像下载:
https://mirrors.aliyun.com/pypi/simple

然后使用以下命令安装

#下载
sudo wget https://download.pytorch.org/whl/cpu/torch-2.3.1%2Bcpu-cp312-cp312-linu
x_x86_64.whl#sha256=2141a6cb7021adf2f92a0fd372cfeac524ba460bd39ce3a641d30a561e41f69a
#安装torch
pip install torch-2.3.1+cpu-cp312-cp312-linux_x86_64.whl

以上可能会出现没有权限的问题,如下报错:

Installing collected packages: mpmath, typing-extensions, sympy, networkx, MarkupSafe, fsspec, filelock, jinja2, torch ERROR: Could not install packages due to an OSError: [Errno 13] Permission denied: '/data/ragflowd/.venv/lib/python3.12/site-packages/mpmath' Check the permissions.

解决方式如下:

# 进入虚拟环境上级目录
cd /data/ragflow

# 递归修改虚拟环境目录所有权(替换  为实际用户名)
sudo chown -R : .venv

# 赋予读写执行权限
sudo chmod -R 755 .venv

#或者如下操作
# 确保 /data/ragflow 目录允许当前用户操作
sudo chown -R $USER:$USER /data/ragflow
sudo chmod -R 755 /data/ragflow
#然后重新安装torch
pip install torch-2.3.1+cpu-cp312-cp312-linux_x86_64.whl

如果再遇到安装超时的问题,就采用以上方式先下载whl文件,然后单独安装,然后再安装其它的依赖。

比如又碰到160M的xgboost无法安装,如图操作:


其它比较大的whl下载:

sudo wget https://mirrors.aliyun.com/pypi/packages/67/ca/f42388aed0fddd64ade7493dbba36e1f534d4e6fdbdd355c6a90030ae028/nvidia_nccl_cu12-2.26.2-py3-none-manylinux2014_x86_64.manylinux_2_17_x86_64.whl#sha256=694cf3879a206553cc9d7dbda76b13efaf610fdb70a50cba303de1b0d1530ac6

sudo wget https://mirrors.aliyun.com/pypi/packages/92/0f/a6eeabc9d4f3dffa52d629ba2aedce3c3953a49340a65ef49be85eb26cc1/Aspose.Slides-25.2.0-py3-none-manylinux1_x86_64.whl#sha256=d60bacea1fd43d09ae1351e7a1a1c0790ff80ca7955ceb95823e47f6b39f6b91

三、打包.venv中已下载的包到pip-packages文件夹中

# 在本地开发环境执行
cd /data/ragflow
sudo tar czvf /data/ragflow-offline/pip-packages/venv.tar.gz .venv/

四、离线环境部署步骤

1. 传输离线资源到目标服务器

将以下目录复制到目标服务器/data/ragflow_inner:

sudo mkdir /data/ragflow_inner
cd /data/ragflow_inner
sudo cp -r /data/ragflow-offline/docker-images/ .
sudo cp -r /data/ragflow-offline/pip-packages/ .

2. 加载Docker镜像

cd /data/ragflow_inner
for img in docker-images/*.tar; do
    docker load -i $img
done

3. 恢复Python虚拟环境

# 解压已有虚拟环境
sudo tar xzvf pip-packages/venv.tar.gz -C /data/ragflow_inner/

4、优化配置

新的docker-compose.yml

services:
  elasticsearch:
    image: elasticsearch:8.11.3
    pull_policy: never
    environment:
      - discovery.type=single-node
      - ES_JAVA_OPTS=-Xms4g -Xmx4g
    volumes:
      - /data/ragflow_inner/data/elasticsearch:/usr/share/elasticsearch/data
    ports:
      - "9200:9200"
    healthcheck:
      test: ["CMD-SHELL", "curl --silent --fail localhost:9200/_cluster/health || exit 1"]

  infinity:
    image: infiniflow/infinity:v0.6.0-dev3
		pull_policy: never
    ports:
      - "8088:8088"
    depends_on:
      elasticsearch:
        condition: service_healthy

  mysql:
    image: mysql:8.0.39
		pull_policy: never
    environment:
      MYSQL_ROOT_PASSWORD: ragflow@2024
      MYSQL_DATABASE: ragflow
    volumes:
      - /data/ragflow_inner/data/mysql:/var/lib/mysql
    ports:
      - "3306:3306"
    healthcheck:
      test: ["CMD", "mysqladmin", "ping", "-h", "localhost"]

  minio:
    image: quay.io/minio/minio:RELEASE.2023-12-20T01-00-02Z
    pull_policy: never
    command: server /data --console-address ":9001"
    volumes:
      - /data/ragflow_inner/data/minio:/data
    ports:
      - "9000:9000"
      - "9001:9001"
    environment:
      MINIO_ROOT_USER: ragflowadmin
      MINIO_ROOT_PASSWORD: ragflow@minio

  valkey:
    image: valkey/valkey:8
		pull_policy: never
    ports:
      - "6379:6379"
    volumes:
      - /data/ragflow_inner/data/valkey:/data

  server:
    image: infiniflow/ragflow:0.17.2
		pull_policy: never
    environment:
      DB_HOST: mysql
      DB_PORT: 3306
      DB_NAME: ragflow
      DB_USER: root
      DB_PASSWORD: ragflow@2024
      MINIO_ENDPOINT: minio:9000
      MINIO_ACCESS_KEY: ragflowadmin
      MINIO_SECRET_KEY: ragflow@minio
      HF_ENDPOINT: ""  # 显式声明空变量避免警告
      MACOS: ""        # 同上
    volumes:
      - /data/ragflow_inner/logs:/app/logs
      - /data/ragflow_inner/models:/app/models
      - /data/ragflow_inner/.venv:/opt/venv  # 挂载已有虚拟环境
    ports:
      - "8000:8000"
    depends_on:
      mysql:
        condition: service_healthy
      minio:
        condition: service_started
      valkey:
        condition: service_started

5. 启动服务

# 创建数据目录
sudo mkdir -p /data/ragflow_inner/data/{elasticsearch,mysql,minio,valkey}

# 设置文件权限
sudo chmod -R 777 /data/ragflow_inner/data

# 启动所有服务
cd /data/ragflow_inner/docker
sudo docker compose -f docker-compose.yml up -d

#验证服务,输出如下图
sudo docker compose ps
sudo docker exec -it ragflow-server bash
source .venv/bin/activate


相关推荐

每天一个编程技巧!掌握这7个神技,代码效率飙升200%

“同事6点下班,你却为改BUG加班到凌晨?不是你不努力,而是没掌握‘偷懒’的艺术!本文揭秘谷歌工程师私藏的7个编程神技,每天1分钟,让你的代码从‘能用’变‘逆天’。文末附《Python高效代码模板》,...

Git重置到某个历史节点(Sourcetree工具)

前言Sourcetree回滚提交和重置当前分支到此次提交的区别?回滚提交是指将改动的代码提交到本地仓库,但未推送到远端仓库的时候。...

git工作区、暂存区、本地仓库、远程仓库的区别和联系

很多程序员天天写代码,提交代码,拉取代码,对git操作非常熟练,但是对git的原理并不甚了解,借助豆包AI,写个文章总结一下。Git的四个核心区域(工作区、暂存区、本地仓库、远程仓库)是版本控制的核...

解锁人生新剧本的密钥:学会让往事退场

开篇:敦煌莫高窟的千年启示在莫高窟321窟的《降魔变》壁画前,讲解员指着斑驳色彩说:"画师刻意保留了历代修补痕迹,因为真正的传承不是定格,而是流动。"就像我们的人生剧本,精彩章节永远...

Reset local repository branch to be just like remote repository HEAD

技术背景在使用Git进行版本控制时,有时会遇到本地分支与远程分支不一致的情况。可能是因为误操作、多人协作时远程分支被更新等原因。这时就需要将本地分支重置为与远程分支的...

Git恢复至之前版本(git恢复到pull之前的版本)

让程序回到提交前的样子:两种解决方法:回退(reset)、反做(revert)方法一:gitreset...

如何将文件重置或回退到特定版本(怎么让文件回到初始状态)

技术背景在使用Git进行版本控制时,经常会遇到需要将文件回退到特定版本的情况。可能是因为当前版本出现了错误,或者想要恢复到之前某个稳定的版本。Git提供了多种方式来实现这一需求。...

git如何正确回滚代码(git命令回滚代码)

方法一,删除远程分支再提交①首先两步保证当前工作区是干净的,并且和远程分支代码一致$gitcocurrentBranch$gitpullorigincurrentBranch$gi...

[git]撤销的相关命令:reset、revert、checkout

基本概念如果不清晰上面的四个概念,请查看廖老师的git教程这里我多说几句:最开始我使用git的时候,我并不明白我为什么写完代码要用git的一些列指令把我的修改存起来。后来用多了,也就明白了为什么。gi...

利用shell脚本将Mysql错误日志保存到数据库中

说明:利用shell脚本将MYSQL的错误日志提取并保存到数据库中步骤:1)创建数据库,创建表CreatedatabaseMysqlCenter;UseMysqlCenter;CREATET...

MySQL 9.3 引入增强的JavaScript支持

MySQL,这一广泛采用的开源关系型数据库管理系统(RDBMS),发布了其9.x系列的第三个更新版本——9.3版,带来了多项新功能。...

python 连接 mysql 数据库(python连接MySQL数据库案例)

用PyMySQL包来连接Python和MySQL。在使用前需要先通过pip来安装PyMySQL包:在windows系统中打开cmd,输入pipinstallPyMySQL ...

mysql导入导出命令(mysql 导入命令)

mysql导入导出命令mysqldump命令的输入是在bin目录下.1.导出整个数据库  mysqldump-u用户名-p数据库名>导出的文件名  mysqldump-uw...

MySQL-SQL介绍(mysql sqlyog)

介绍结构化查询语言是高级的非过程化编程语言,允许用户在高层数据结构上工作。它不要求用户指定对数据的存放方法,也不需要用户了解具体的数据存放方式,所以具有完全不同底层结构的不同数据库系统,可以使用相同...

MySQL 误删除数据恢复全攻略:基于 Binlog 的实战指南

在MySQL的世界里,二进制日志(Binlog)就是我们的"时光机"。它默默记录着数据库的每一个重要变更,就像一位忠实的史官,为我们在数据灾难中提供最后的救命稻草。本文将带您深入掌握如...