当前位置：网站首页 > IT技术 > 正文

GPU服务器私有化部署OCR服务

wptr33 2025-05-22 14:11 16 浏览

从年初的DeepSeek爆发，到现在各大模型百花齐放，大模型能力正在渗透到生活和工作的方方面面，ocr识别也在大模型能力的加持下，爆发出惊人的能力，今天就在GPU服务器上部署一下OCR服务。

首先要在GPU服务上安装显卡驱动，在之前的文章中也有写到，我们就从NVIDIA官网（
https://www.nvidia.cn/drivers/lookup/）上找出适合GPU型号的驱动：

NVIDIA驱动安装命令如下：

chmod +x NVIDIA-Linux-x86_64-550.120.run

./NVIDIA-Linux-x86_64-550.120.run

安装完就可以通过nvidia-smi命令查看：

该ocr服务需要用到avx2指令集。若机器不支持avx2指令，服务将无法启动。查看机器是否支持avx2指令方法如下：

cat /proc/cpuinfo | grep avx2

然后就是按照docker-ce，由于该服务器无法联网，只能进行离线安装，首先安装docker-ce的依赖包，依赖如下：

通过命令rpm -ivh *.rpm进行安装。然后在安装docker-ce得安装包，如下：

安装完可通过以下命令进行设置：

# 重新加载systemd配置
systemctl daemon-reload

# 启动并设置开机自启
systemctl enable docker
systemctl start docker

可通过以下命令查看版本：

docker --version 
docker info

docker安装好之后，还要安装nvidia-docker2，nvidia-docker2是NVIDIA推出的一款Docker插件，用于在Docker容器中启用NVIDIA GPU支持。安装包如下：

还是通过 rpm -ivh *.rpm进行安装，安装完之后，重启docker服务，我们就可以启动docker服务，来启动ocr服务了。

vi /etc/docker/daemon.json
{
    "default-runtime": "nvidia",
    "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}

首先导入OCR服务镜像包：

命令为：docker load -i ocr-xxxxxx.tar.gz

然后通过docker run来启动，找一张单据图片，调用服务测试一下：

识别结果还是可以，下面的表格也是按照结构化数据识别输出了！

docker load

上一篇：群晖DSM7.2 Docker部署seafile12专业版+seadoc+onlyoffice8.1
下一篇：无需公网IP，实现自建NAS远程访问:贝锐花生壳Docker版使用教程

GPU服务器私有化部署OCR服务

相关推荐

C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)

因果推断Matching方式实现代码因果推断模型

git pull命令使用实例 git pull--rebase

git pull 和git fetch 命令分别有什么作用?二者有什么区别?

面试官:git pull是哪两个指令的组合?

git 执行pull错误如何撤销 git pull fail

git fetch 和git pull 的异同 git中fetch和pull的区别

git pull 之后本地代码被覆盖解决方案

还可以这样玩?Git基本原理及各种骚操作，涨知识了

git命令之pull git.pull

GPU服务器私有化部署OCR服务

相关推荐

C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)

因果推断Matching方式实现代码 因果推断模型

git pull命令使用实例 git pull--rebase

git pull 和git fetch 命令分别有什么作用?二者有什么区别?

面试官:git pull是哪两个指令的组合?

git 执行pull错误如何撤销 git pull fail

git fetch 和git pull 的异同 git中fetch和pull的区别

git pull 之后本地代码被覆盖 解决方案

还可以这样玩?Git基本原理及各种骚操作，涨知识了

git命令之pull git.pull

因果推断Matching方式实现代码因果推断模型

git pull 之后本地代码被覆盖解决方案