在 linux 系统上查看 cgroup 路径，它一般放在 /sys/fs/cgroup 目录下，想当然认为 cgroup 固定使用此目录，实际不然。虽然 cgroup 本身不是一个文件系统，但可使用 cgroupfs 把 cgroup 挂载到任意目录，修改对应目录中文件来设置和监控资源限制。

本文在 ubuntu20.04 上操作 cgroup hugetlb，体验 cgroup 文件系统。

cgroup 可以 mount 到任意目录

在 ubuntu /sys/fs/cgroup/hugetlb 目录已经挂载了 cgroup hugetlb, 我们把它再挂载到另一目录。

 mount | grep cgroup | grep huge
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
 ls -l  /sys/fs/cgroup/hugetlb
total 0
-rw-r--r-- 1 root root 0 1月  18 21:47 cgroup.clone_children
-rw-r--r-- 1 root root 0 1月  18 21:47 cgroup.procs
-r--r--r-- 1 root root 0 1月  18 21:47 cgroup.sane_behavior
-rw-r--r-- 1 root root 0 1月  18 21:47 hugetlb.2MB.failcnt
-rw-r--r-- 1 root root 0 1月  18 21:47 hugetlb.2MB.limit_in_bytes
-rw-r--r-- 1 root root 0 1月  18 21:47 hugetlb.2MB.max_usage_in_bytes
-rw-r--r-- 1 root root 0 1月  18 21:47 hugetlb.2MB.rsvd.failcnt
-rw-r--r-- 1 root root 0 1月  18 21:47 hugetlb.2MB.rsvd.limit_in_bytes
-rw-r--r-- 1 root root 0 1月  18 21:47 hugetlb.2MB.rsvd.max_usage_in_bytes
-r--r--r-- 1 root root 0 1月  18 21:47 hugetlb.2MB.rsvd.usage_in_bytes
-r--r--r-- 1 root root 0 1月  18 21:47 hugetlb.2MB.usage_in_bytes
-rw-r--r-- 1 root root 0 1月  18 21:47 notify_on_release
-rw-r--r-- 1 root root 0 1月  18 21:47 release_agent
-rw-r--r-- 1 root root 0 1月  18 21:47 tasks

创建目录 /cgroup-hugetlb，把 cgroup hugetlb 挂载到此目录。查看 /cgroup-hugetlb 目录文件与 /sys/fs/cgroup/hugetlb 完全一致。

 mkdir -p /cgroup-hugetlb
 mount -t cgroup -o hugetlb cgroup /cgroup-hugetlb
 mount | grep cgroup | grep huge
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /cgroup-hugetlb type cgroup (rw,relatime,hugetlb)
 ls -l /cgroup-hugetlb                     
total 0
-rw-r--r-- 1 root root 0 1月  18 21:47 cgroup.clone_children
-rw-r--r-- 1 root root 0 1月  18 21:47 cgroup.procs
-r--r--r-- 1 root root 0 1月  18 21:47 cgroup.sane_behavior
-rw-r--r-- 1 root root 0 1月  18 21:47 hugetlb.2MB.failcnt
-rw-r--r-- 1 root root 0 1月  18 21:47 hugetlb.2MB.limit_in_bytes
-rw-r--r-- 1 root root 0 1月  18 21:47 hugetlb.2MB.max_usage_in_bytes
-rw-r--r-- 1 root root 0 1月  18 21:47 hugetlb.2MB.rsvd.failcnt
-rw-r--r-- 1 root root 0 1月  18 21:47 hugetlb.2MB.rsvd.limit_in_bytes
-rw-r--r-- 1 root root 0 1月  18 21:47 hugetlb.2MB.rsvd.max_usage_in_bytes
-r--r--r-- 1 root root 0 1月  18 21:47 hugetlb.2MB.rsvd.usage_in_bytes
-r--r--r-- 1 root root 0 1月  18 21:47 hugetlb.2MB.usage_in_bytes
-rw-r--r-- 1 root root 0 1月  18 21:47 notify_on_release
-rw-r--r-- 1 root root 0 1月  18 21:47 release_agent
-rw-r--r-- 1 root root 0 1月  18 21:47 tasks

测试 cgroup hugetlb 作用

在 cgroup hugetlb 的新挂载点 /cgroup-hugetlb，设置当前进程 hugetlb 使用限制：最多使用 8M HugeTLB 内存。

  cd /cgroup-hugetlb
  mkdir my_hugetlb_group

# 将 my_hugetlb_group 控制组的 2MB HugeTLB 页的内存使用限制设置为 8388608 字节（即 8MB）
  echo 8388608 > my_hugetlb_group/hugetlb.2MB.limit_in_bytes  # 8M
# 当前 shell 进程将被移动到 my_hugetlb_group 控制组中，从而使其受该控制组的 HugeTLB 内存限制管理
  echo $ > my_hugetlb_group/tasks

# 设置 HugePages 数量，例如设置为 128 个 2MB 的 HugePages
  echo 128 > /proc/sys/vm/nr_hugepages

# 查看当前 HugePages 配置
  grep -i huge /proc/meminfo
AnonHugePages:         0 kB # 匿名大页的内存使用量，当前为 0 kB
ShmemHugePages:        0 kB # 共享内存大页的使用量，当前为 0 kB
FileHugePages:         0 kB # 文件映射大页的使用量，当前为 0 kB
HugePages_Total:     128 # 系统中配置的大页总数，当前为 128
HugePages_Free:      128 # 当前空闲的大页数，当前为 128
HugePages_Rsvd:        0 # 已保留但未使用的大页数，当前为 0
HugePages_Surp:        0 # 超出配置的大页数，当前为 0
Hugepagesize:       2048 kB # 每个大页的大小，当前为 2048 kB（2 MB）
Hugetlb:          262144 kB # 总的大页内存量，当前为 262144 kB（128 页 * 2048 kB）

写一 c 语言程序 cgroup-hugepage.c，申请使用 HugeTLB 内存，测试能否使用超过 8M HugeTLB 内存。

#include <sys/mman.h>
#include <fcntl.h>
#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>

int main(int argc, char *argv[]) {
    // 获取第一个输入参数并转换为整数
    int number = atoi(argv[1]);
    int size = number * 1024 * 1024;
    // 申请 HugeTLB 内存
    void *addr = mmap(NULL, size, PROT_READ | PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS | MAP_HUGETLB, -1, 0);
    if (addr == MAP_FAILED) {
        perror("mmap");
        return 1;
    }
    // 使用 HugeTLB 内存
    memset(addr, 'A', size);
    // 打印内容
    printf("Hello, Anonymous Mapping!\n");
    sleep(86400);
    // 释放内存
    munmap(addr, size);
    return 0;
}

编译 cgroup-hugepage.c，申请使用 8M HugeTLB 内存，程序运行正常。

 gcc cgroup-hugepage.c -o hugepage
# 执行 hugepage 分配8M HugeTLB 内存
 ./hugepage 8
Hello, Anonymous Mapping!

# 查看内存使用情况，确认 HugeTLB 内存使用
 grep -i huge /proc/meminfo
AnonHugePages:         0 kB # 匿名大页的内存使用量，当前为 0 kB
ShmemHugePages:        0 kB # 共享内存大页的使用量，当前为 0 kB
FileHugePages:         0 kB # 文件映射大页的使用量，当前为 0 kB
HugePages_Total:     128 # 系统中配置的大页总数，当前为 128
HugePages_Free:      124 # 当前空闲的大页数，当前为 124, 即使用了4个 HugeTLB 页，8M
HugePages_Rsvd:        0 # 已保留但未使用的大页数，当前为 0
HugePages_Surp:        0 # 超出配置的大页数，当前为 0
Hugepagesize:       2048 kB # 每个大页的大小，当前为 2048 kB（2 MB）
Hugetlb:          262144 kB # 总的大页内存量，当前为 262144 kB（128 页 * 2048 kB）

如下所示，使用 9M HugeTLB 内存超过 8M 会失败，我们通过 /cgroup-hugetlb/my_hugetlb_group/hugetlb.2MB.limit_in_bytes 限制 HugeTLB 内存使用上限为 8M 生效。

# 申请使用 9M HugeTLB 内存
 ./hugepage 9
Bus error (core dumped)

本文验证了可把 cgroup 当作一文件系统 mount 到任意目录使用，然后通过 cgroup hugetlb使用，简单验证了 cgroup 文件系统功能。