Bỏ qua đến nội dung
← Dự án

Style Transfer

Chuyển phong cách ảnh bằng StyleFlow: một mạng Glow khả nghịch giữ nguyên nội dung, phong cách được bơm vào qua thống kê VGG-19 trong lượt chạy ngược. Một lượt truyền, chạy trên CPU.

Bài toán

Tạo một ảnh mới giữ đúng bố cục và nội dung của ảnh gốc nhưng mang nét vẽ, màu sắc và kết cấu của một bức tranh. Cách kinh điển (Gatys) tối ưu lại từng pixel qua hàng trăm vòng lặp cho mỗi ảnh. Dự án này đi theo hướng feed-forward: huấn luyện một lần, rồi mỗi ảnh chỉ cần một lượt truyền.

Cách hoạt động

Mô hình là StyleFlow, một mạng normalizing flow kiểu Glow. Mạng khả nghịch hoàn toàn, nên nội dung được giữ lại thay vì vẽ lại từ đầu như các mô hình encoder–decoder.

  1. Mã hoá nội dung. Ảnh nội dung đi xuôi qua Glow (2 block, mỗi block squeeze 2×2 rồi 15 bước flow: ActNorm → tích chập 1×1 khả nghịch dạng LU → additive coupling) để thành mã tiềm ẩn z. Mọi bước đều đảo ngược được chính xác, nên z giữ trọn thông tin của ảnh.
  2. Lấy mã phong cách. Một VGG-19 đã chuẩn hoá (đóng băng) đọc ảnh phong cách. Mean và std từng kênh ở relu1_1…relu4_1 được nối thành vector 1920 chiều.
  3. Giải mã kèm phong cách. Glow chạy ngược từ z. Ở đầu mỗi block, lớp SAN đọc đặc trưng hiện tại cùng mã phong cách để dự đoán mean/std mục tiêu, và AdaIN_SET thay thống kê của đặc trưng bằng cặp đó.

content ─▶ Glow.forward ─▶ z style ─▶ VGG-19 ─▶ cat(mean, std) = mã 1920 chiều z, mã ─▶ Glow.reverse (SAN + AdaIN_SET mỗi block) ─▶ stylized

class StyleFlow(nn.Module):
    def forward(self, content_images, domain_class):
        z_c = self.glow(content_images, forward=True)                  # mã hoá nội dung
        return self.glow(z_c, forward=False, style=domain_class)      # giải mã kèm phong cách

Huấn luyện

Glow với n_flow = 15, n_block = 2 được huấn luyện bằng Adam (lr = 1e-4). Hàm mất mát gồm ba phần:

  • Nội dung: MSE giữa đặc trưng VGG (relu4_1) của ảnh kết quả và ảnh nội dung.
  • Phong cách: khớp mean/std đặc trưng VGG qua relu1_1…relu4_1, có trọng số theo keep_ratio để ưu tiên các kênh phong cách mạnh nhất.
  • Làm mượt: Total Variation để giảm nhiễu hạt.

Bản dùng để suy luận là checkpoint ở bước 187 500 (187500.ckpt).

Hậu xử lý

Ảnh ra từ mạng có lưới sọc 2px (do squeeze 2×2) và dải màu ở mép (do lớp ZeroConv2d pad bằng hằng số 1). Mình đã kiểm tra app gốc với cùng weights và thấy cùng lỗi, nên đây là đặc tính của kiến trúc, không phải lỗi port. Các bước sửa:

  • reflect-pad 32px trước khi chạy mạng, cắt bỏ sau đó, nên mép ảnh hết dải màu;
  • guided filter dẫn bởi nửa ảnh gốc và nửa kết quả: xoá lưới mà vẫn giữ cạnh thật và nét cọ;
  • refine: mạng chạy ở cạnh dài 512px, ảnh ra 1024px được đắp lại dải chi tiết sáng của chính ảnh gốc (chỉ độ sáng, màu vẫn của phong cách).

Thanh trượt độ mạnh trộn mã phong cách của bức tranh với mã của chính ảnh chụp, không trộn pixel, nên kết quả vẫn là một ảnh nhất quán.

Triển khai

Bản đầu là một app Streamlit riêng. Giờ mô hình là module app/style_transfer/ trong API FastAPI của trang này, giao diện viết bằng Next.js:

  • port nguyên tên lớp và thuộc tính từ repo gốc để checkpoint nạp được với strict=True;
  • ảnh giữ đúng tỉ lệ thay vì ép vuông 512×512 như bản gốc;
  • torch bản CPU, nạp lười ở request đầu, mã phong cách của từng ảnh dựng sẵn được cache;
  • chạy một ảnh mỗi lúc trong threadpool, giới hạn 12 request mỗi 10 phút cho mỗi IP;
  • ảnh tải lên được giải mã thật để kiểm định dạng và bị xoá EXIF/GPS; kết quả tự xoá sau 24 giờ;
  • weights (khoảng 275 MB) không nằm trong git, tải bằng python -m app.cli style fetch và kiểm sha256.

Trên CPU, mỗi ảnh mất khoảng 22 giây khi chạy thẳng trên máy, và lâu hơn khi chạy trong Docker.

Bài viết liên quan

Kiến trúc

ảnh nội dung → Glow xuôi (2 block × 15 flow, khả nghịch) → mã tiềm ẩn z
ảnh phong cách → VGG-19 → mean/std ở relu1_1…relu4_1 → mã phong cách 1920 chiều
z + mã phong cách → Glow ngược (SAN + AdaIN_SET đầu mỗi block) → ảnh kết quả
hậu xử lý: reflect-pad, guided filter xoá lưới, đắp chi tiết sáng của ảnh gốc