GPU服务器私有化部署OCR服务

从年初的DeepSeek爆发，到现在各大模型百花齐放，大模型能力正在渗透到生活和工作的方方面面，ocr识别也在大模型能力的加持下，爆发出惊人的能力，今天就在GPU服务器上部署一下OCR服务。

首先要在GPU服务上安装显卡驱动，在之前的文章中也有写到，我们就从NVIDIA官网（
https://www.nvidia.cn/drivers/lookup/）上找出适合GPU型号的驱动：

NVIDIA驱动安装命令如下：

chmod +x NVIDIA-Linux-x86_64-550.120.run

./NVIDIA-Linux-x86_64-550.120.run

安装完就可以通过nvidia-smi命令查看：

该ocr服务需要用到avx2指令集。若机器不支持avx2指令，服务将无法启动。查看机器是否支持avx2指令方法如下：

cat /proc/cpuinfo | grep avx2

然后就是按照docker-ce，由于该服务器无法联网，只能进行离线安装，首先安装docker-ce的依赖包，依赖如下：

通过命令rpm -ivh *.rpm进行安装。然后在安装docker-ce得安装包，如下：

安装完可通过以下命令进行设置：

# 重新加载systemd配置
systemctl daemon-reload

# 启动并设置开机自启
systemctl enable docker
systemctl start docker

可通过以下命令查看版本：

docker --version 
docker info

docker安装好之后，还要安装nvidia-docker2，nvidia-docker2是NVIDIA推出的一款Docker插件，用于在Docker容器中启用NVIDIA GPU支持。安装包如下：

还是通过 rpm -ivh *.rpm进行安装，安装完之后，重启docker服务，我们就可以启动docker服务，来启动ocr服务了。

vi /etc/docker/daemon.json
{
    "default-runtime": "nvidia",
    "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}

首先导入OCR服务镜像包：

命令为：docker load -i ocr-xxxxxx.tar.gz

然后通过docker run来启动，找一张单据图片，调用服务测试一下：

识别结果还是可以，下面的表格也是按照结构化数据识别输出了！