当前位置：网站首页 > IT技术 > 正文

GPU服务器私有化部署OCR服务

wptr33 2025-05-22 14:11 28 浏览

从年初的DeepSeek爆发，到现在各大模型百花齐放，大模型能力正在渗透到生活和工作的方方面面，ocr识别也在大模型能力的加持下，爆发出惊人的能力，今天就在GPU服务器上部署一下OCR服务。

首先要在GPU服务上安装显卡驱动，在之前的文章中也有写到，我们就从NVIDIA官网（
https://www.nvidia.cn/drivers/lookup/）上找出适合GPU型号的驱动：

NVIDIA驱动安装命令如下：

chmod +x NVIDIA-Linux-x86_64-550.120.run

./NVIDIA-Linux-x86_64-550.120.run

安装完就可以通过nvidia-smi命令查看：

该ocr服务需要用到avx2指令集。若机器不支持avx2指令，服务将无法启动。查看机器是否支持avx2指令方法如下：

cat /proc/cpuinfo | grep avx2

然后就是按照docker-ce，由于该服务器无法联网，只能进行离线安装，首先安装docker-ce的依赖包，依赖如下：

通过命令rpm -ivh *.rpm进行安装。然后在安装docker-ce得安装包，如下：

安装完可通过以下命令进行设置：

# 重新加载systemd配置
systemctl daemon-reload

# 启动并设置开机自启
systemctl enable docker
systemctl start docker

可通过以下命令查看版本：

docker --version 
docker info

docker安装好之后，还要安装nvidia-docker2，nvidia-docker2是NVIDIA推出的一款Docker插件，用于在Docker容器中启用NVIDIA GPU支持。安装包如下：

还是通过 rpm -ivh *.rpm进行安装，安装完之后，重启docker服务，我们就可以启动docker服务，来启动ocr服务了。

vi /etc/docker/daemon.json
{
    "default-runtime": "nvidia",
    "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}

首先导入OCR服务镜像包：

命令为：docker load -i ocr-xxxxxx.tar.gz

然后通过docker run来启动，找一张单据图片，调用服务测试一下：

识别结果还是可以，下面的表格也是按照结构化数据识别输出了！

docker load

上一篇：群晖DSM7.2 Docker部署seafile12专业版+seadoc+onlyoffice8.1
下一篇：无需公网IP，实现自建NAS远程访问:贝锐花生壳Docker版使用教程

GPU服务器私有化部署OCR服务

相关推荐

程序员的开源月刊《HelloGitHub》第 71 期

如何将AI助手接入微信（打开ai手机助手）

SparkSQL——DataFrame的创建与使用

使用过 Redis 分布式锁么，它是什么回事?

VUE循环语句的使用(v-for)（vuefor循环的key）

HiveOs系统教程最细手把手教学（hiveos启动）

HIVE SQL基础语法（hive-sql）

《循环(for/while)》（循环while语句）

Spring Boot 概述（spring boot干嘛的）

西门子博途SCL高级语言之FOR循环（西门子博途for循环语句编程）