Linux DRM - GEM: handle, dumb buffer, mmap

Linux DRM - GEM: handle, dumb buffer, mmap

Reqruies

Kernel: Linux v6.19 소스 기준
선행 글: Linux DRM 2편, 3편 open()과 ioctl()

Introduction

Why Is Memory Management DRM's Job

• GPU가 접근하려면 메모리가 물리 페이지로 고정(pin)되어 있어야 하고, GPU용 주소(IOMMU나 GPU 자체 페이지 테이블)로 매핑되어야 합니다.
• 프로세스가 죽으면 그 프로세스가 쓰던 GPU 메모리는 자동으로 회수되어야 합니다.
• 화면 서버와 앱처럼 다른 프로세스가 같은 버퍼를 봐야 합니다.
• GPU가 쓰는 중에 CPU가 건드리지 않도록 동기화가 필요합니다.

The Core of GEM: drm_gem_object and Handles

The Object: struct drm_gem_object

include/drm/drm_gem.h - struct drm_gem_object (L280-455)
c

소스 include/drm/drm_gem.h L280-L455 (Linux v6.19)

• funcs: 백엔드가 구현하는 함수 표(free, mmap, vmap, export, get_sg_table ...)입니다. 코어는 공통 일을 하고 메모리 종류에 따라 다른 일은 여기에 위임합니다.
• filp: shmem 백엔드에서 객체의 실제 메모리를 담은 shmem 파일입니다.
• vma_node: mmap할 때 객체를 찾기 위한 "가짜 오프셋"을 담습니다(아래 mmap 절).
• dma_buf, import_attach: 다른 장치와 공유할 때 쓰는 dma-buf 연결입니다(PRIME 절).
• resv: 이 버퍼에 걸린 fence를 모아 두는 dma_resv입니다(동기화 절).

include/drm/drm_gem.h - struct drm_gem_object_funcs (L72-235)
c

소스 include/drm/drm_gem.h L72-L235 (Linux v6.19)

The Name Tag: Handles Are per fd

handle 은 drm_file 마다 따로 — 같은 객체를 다른 번호로 가리킬 수 있다
Mermaid
flowchart LR
    subgraph PA["프로세스 A 의 drm_file"]
        IA["object_idr<br/>1 → obj X<br/>2 → obj Y"]
    end
    subgraph PB["프로세스 B 의 drm_file"]
        IB["object_idr<br/>1 → obj Y<br/>2 → obj Z"]
    end
    X["drm_gem_object X"]
    Y["drm_gem_object Y<br/>handle_count = 2"]
    Z["drm_gem_object Z"]
    IA -->|"handle 1"| X
    IA -->|"handle 2"| Y
    IB -->|"handle 1"| Y
    IB -->|"handle 2"| Z

drivers/gpu/drm/drm_gem.c - drm_gem_open() (L1027-1032)
c

소스 drivers/gpu/drm/drm_gem.c L1027-L1032 (Linux v6.19)

drivers/gpu/drm/drm_gem.c - drm_gem_handle_create_tail() (L437-495)
c

소스 drivers/gpu/drm/drm_gem.c L437-L495 (Linux v6.19)

• idr_alloc(&file_priv->object_idr, NULL, 1, 0, ...): 이 파일의 표에서 1 이상의 빈 번호를 하나 잡습니다. 처음에는 객체 포인터 대신 NULL을 넣어 둡니다.
• drm_vma_node_allow(): 이 파일이 이 객체를 mmap할 수 있도록 허락합니다(아래에서 drm_vma_node_is_allowed로 검사합니다).
• obj->funcs->open(): 백엔드 콜백입니다.
• 마지막에 idr_replace()로 NULL을 실제 객체로 바꿉니다. 중간에 다른 스레드가 반쯤 만들어진 handle을 조회하지 못하게 하려는 순서입니다.

Code Flow 1: Creating a Dumb Buffer

DRM_IOCTL_MODE_CREATE_DUMB 처리 흐름 (shmem 백엔드)
Mermaid
sequenceDiagram
    participant U as 유저
    participant D as drm_mode_create_dumb
    participant S as shmem helper
    participant G as GEM core
    U->>D: CREATE_DUMB<br/>(width, height, bpp)
    D->>D: 크기 검사<br/>(overflow, PAGE_ALIGN)
    D->>S: driver->dumb_create()
    S->>S: shmem 파일 생성<br/>mmap offset 예약
    S->>G: drm_gem_handle_create()
    G->>G: idr_alloc → handle
    G-->>U: handle · pitch · size

drivers/gpu/drm/drm_dumb_buffers.c - drm_mode_create_dumb() (L191-228)
c

소스 drivers/gpu/drm/drm_dumb_buffers.c L191-L228 (Linux v6.19)

include/drm/drm_gem_shmem_helper.h - #define DRM_GEM_SHMEM_DRIVER_OPS (L302-304)
c

소스 include/drm/drm_gem_shmem_helper.h L302-L304 (Linux v6.19)

drivers/gpu/drm/drm_gem_shmem_helper.c - drm_gem_shmem_dumb_create() (L558-568)
c

소스 drivers/gpu/drm/drm_gem_shmem_helper.c L558-L568 (Linux v6.19)

drivers/gpu/drm/drm_gem_shmem_helper.c - drm_gem_shmem_create_with_handle() (L470-491)
c

소스 drivers/gpu/drm/drm_gem_shmem_helper.c L470-L491 (Linux v6.19)

1. drm_gem_shmem_create()로 객체를 만들고, 참조 카운트를 1 갖습니다.
2. drm_gem_handle_create()로 handle을 만듭니다. 안에서 drm_gem_object_handle_get()이 handle_count를 올리는데, 첫 번째 handle일 때만 객체 참조를 하나 잡습니다(if (obj->handle_count++ == 0) drm_gem_object_get(obj)). 이후 handle들은 개수만 올립니다.
3. 마지막에 drm_gem_object_put()으로 처음의 참조를 내려놓습니다(소스 주석: "handle holds it now"). 이제 객체의 수명은 handle이 쥐고 있습니다. 유저가 handle을 닫거나, 파일이 닫힐 때 아래의 drm_gem_release()가 이 파일의 object_idr에 남은 handle을 모두 풀어서 객체가 정리됩니다.

drivers/gpu/drm/drm_gem.c - drm_gem_release() (L1043-1049)
c

소스 drivers/gpu/drm/drm_gem.c L1043-L1049 (Linux v6.19)

drivers/gpu/drm/drm_gem_shmem_helper.c - __drm_gem_shmem_init() (L52-94)
c

소스 drivers/gpu/drm/drm_gem_shmem_helper.c L52-L94 (Linux v6.19)

• drm_gem_object_init_with_mnt()는 shmem_file_setup("drm mm object", size, ...)로 shmem 파일을 만듭니다. 객체 하나가 사실상 크기가 정해진 익명 메모리 파일 하나인 셈입니다.
• drm_gem_create_mmap_offset()로 이 객체의 mmap용 가짜 오프셋을 미리 예약합니다(아래 mmap 절).

drivers/gpu/drm/drm_gem_shmem_helper.c - drm_gem_shmem_get_pages_locked() (L230-262)
c

소스 drivers/gpu/drm/drm_gem_shmem_helper.c L230-L262 (Linux v6.19)

drivers/gpu/drm/drm_gem.c - drm_gem_get_pages() (L623-688)
c

소스 drivers/gpu/drm/drm_gem.c L623-L688 (Linux v6.19)

Code Flow 2: Painting from the CPU with mmap

mmap 의 두 단계 : offset 얻기 → mmap
Mermaid
sequenceDiagram
    participant U as 유저
    participant K as DRM core
    participant V as VM (page fault)
    U->>K: ioctl(MAP_DUMB, {handle})
    K->>K: handle → drm_gem_object (object_idr)
    K-->>U: offset (obj->vma_node 의 주소)
    U->>K: mmap(NULL, size, ..., fd, offset)
    K->>K: drm_gem_mmap(): offset → vma_node → obj<br/>drm_vma_node_is_allowed() 검사
    K->>K: drm_gem_mmap_obj(): vm_ops 설정, funcs->mmap()
    U->>V: 첫 접근
    V->>K: fault 핸들러 drm_gem_shmem_fault()
    K-->>V: shmem 페이지를 PTE에 연결

Step 1: Getting the Offset (MAP_DUMB)

drivers/gpu/drm/drm_gem.c - drm_gem_dumb_map_offset() (L395-420)
c

소스 drivers/gpu/drm/drm_gem.c L395-L420 (Linux v6.19)

drivers/gpu/drm/drm_gem.c - drm_gem_create_mmap_offset_size() (L557-564)
c

소스 drivers/gpu/drm/drm_gem.c L557-L564 (Linux v6.19)

Step 2: mmap()

drivers/gpu/drm/drm_gem.c - drm_gem_mmap() (L1205-1251)
c

소스 drivers/gpu/drm/drm_gem.c L1205-L1251 (Linux v6.19)

• vma->vm_pgoff(= offset을 페이지로 나눈 값)로 vma_node를 찾고, container_of로 drm_gem_object를 얻습니다.
• drm_vma_node_is_allowed(node, priv): 앞서 drm_vma_node_allow()로 허락받은 파일만 통과합니다. 다른 프로세스가 offset 숫자만 알아서 남의 버퍼를 매핑하는 것을 막는 장치입니다.

drivers/gpu/drm/drm_gem.c - drm_gem_mmap_obj() (L1146-1187)
c

소스 drivers/gpu/drm/drm_gem.c L1146-L1187 (Linux v6.19)

drivers/gpu/drm/drm_gem_shmem_helper.c - drm_gem_shmem_mmap() (L653-691)
c

소스 drivers/gpu/drm/drm_gem_shmem_helper.c L653-L691 (Linux v6.19)

drivers/gpu/drm/drm_gem_shmem_helper.c - drm_gem_shmem_fault() (L571-599)
c

소스 drivers/gpu/drm/drm_gem_shmem_helper.c L571-L599 (Linux v6.19)

Code Locations

Summary

• GPU 버퍼는 GEM 객체 하나로 표현되고, 유저는 fd(drm_file)마다 독립적인 handle로 가리킵니다. handle의 수명이 객체의 수명을 쥡니다.
• dumb buffer는 shmem 파일 + mmap fake offset으로 구현되고, 페이지는 처음 필요할 때 확보됩니다.
• mmap은 offset으로 객체를 찾아 page fault 때 페이지를 하나씩 연결합니다. 남의 버퍼를 offset만 알아서 매핑하지 못하게 drm_vma_node_is_allowed()가 막습니다.