StyleFlow: chuyển phong cách ảnh bằng một mạng flow khả nghịch
Đây là bài đầu trong ba bài về dự án Style Transfer. Bài này nói về kiến trúc mạng. Bài sau nói về các lỗi ảnh mà kiến trúc này gây ra và cách sửa. Bài cuối nói về việc đưa mô hình lên web.
Bài toán
Cho một ảnh nội dung (ảnh chụp) và một ảnh phong cách (tranh), tạo ảnh mới giữ bố cục của ảnh chụp nhưng mang màu, nét cọ và kết cấu của bức tranh.
Cách kinh điển của Gatys tối ưu trực tiếp từng pixel qua hàng trăm vòng lặp cho mỗi ảnh. Kết quả đẹp nhưng mỗi ảnh là một bài toán tối ưu riêng. Các mạng feed-forward như AdaIN nhanh hơn nhiều vì chỉ cần một lượt truyền, nhưng chúng dùng encoder–decoder: ảnh bị nén thành đặc trưng rồi vẽ lại từ đầu, nên chi tiết nội dung dễ bị mất hoặc lẫn với nét của tranh.
StyleFlow đi theo hướng khác: dùng một mạng khả nghịch. Ảnh đi xuôi qua mạng thành mã tiềm ẩn, rồi đi ngược lại thành ảnh. Vì mạng đảo ngược được chính xác, nếu không can thiệp gì thì ảnh ra giống hệt ảnh vào. Phong cách chỉ là phần thay đổi có chủ đích trong lượt chạy ngược.
Glow: khối xây dựng khả nghịch
Mạng chính là một Glow với 2 block, mỗi block 15 bước flow (n_block = 2, n_flow = 15).
Mỗi block làm hai việc:
- Squeeze 2×2: gom mỗi ô 2×2 pixel thành 4 kênh. Ảnh RGB 3 kênh thành 12 kênh ở nửa độ phân giải; block thứ hai đưa lên 48 kênh ở một phần tư độ phân giải. Đây là phép sắp xếp lại, không mất thông tin.
- 15 bước flow, mỗi bước gồm:
- ActNorm: chuẩn hoá theo kênh bằng một phép affine học được, đảo ngược bằng cách chia và trừ.
- Tích chập 1×1 khả nghịch, lưu ở dạng phân rã LU, ma trận trọng số là
P · L · (U + diag(s)). Phép nghịch đảo nhờ vậy rẻ và ổn định. - Coupling: chia kênh làm đôi, giữ nguyên nửa đầu, dùng một mạng con tính từ nửa đầu để biến đổi nửa sau.
Checkpoint mình dùng được huấn luyện với coupling cộng (additive), không phải affine:
Chiều ngược chỉ là cộng lại: . Mạng con có thể phức tạp tuỳ ý mà phép biến đổi vẫn đảo ngược được chính xác, vì không bao giờ phải nghịch đảo .
class AffineCoupling(nn.Module):
def forward(self, input):
in_a, in_b = input.chunk(2, 1)
out_b = in_b - self.net(in_a) # additive: affine = False
return torch.cat([in_a, out_b], 1)
def reverse(self, output):
out_a, out_b = output.chunk(2, 1)
in_b = out_b + self.net(out_a)
return torch.cat([out_a, in_b], 1)Mã phong cách: 1920 con số từ VGG-19
Phong cách được mô tả bằng thống kê đặc trưng, giống ý tưởng của AdaIN. Một VGG-19 đã chuẩn hoá (đóng băng, không huấn luyện) đọc ảnh phong cách. Ở bốn tầng relu1_1, relu2_1, relu3_1, relu4_1, mình lấy mean và std của từng kênh rồi nối lại:
Vector 1920 chiều này là toàn bộ những gì mạng biết về bức tranh: màu chủ đạo, độ tương phản, kết cấu ở nhiều mức chi tiết. Nó không giữ thông tin vị trí, nên bố cục của bức tranh không lọt sang ảnh kết quả.
Phong cách được bơm vào ở đâu
Lượt xuôi không biết gì về phong cách: ảnh nội dung chỉ đi qua 2 block để thành mã tiềm ẩn z.
Lượt ngược đi qua các block theo thứ tự đảo, và ở đầu mỗi block có thêm hai lớp:
- SAN (style-aware normalisation) nhận hai đầu vào: đặc trưng hiện tại (qua một đầu tích chập rút về vector 768 chiều) và mã phong cách 1920 chiều (qua các lớp tuyến tính 1920 → 1024 → 512). Hai nhánh được ghép lại để dự đoán một cặp mean/std mục tiêu cho từng kênh của block.
- AdaIN_SET chuẩn hoá đặc trưng về mean 0, std 1, rồi nhân và cộng bằng cặp mean/std mà SAN vừa dự đoán.
Sau đó các bước flow chạy ngược như bình thường và bỏ squeeze.
ảnh nội dung ─▶ Block 1 ─▶ Block 2 ─▶ z ảnh phong cách ─▶ VGG-19 ─▶ mean/std 4 tầng ─▶ mã 1920 chiều
z ─▶ [SAN + AdaIN_SET] ─▶ Block 2 ngược ─▶ [SAN + AdaIN_SET] ─▶ Block 1 ngược ─▶ ảnh kết quả
Vì SAN đọc cả đặc trưng hiện tại chứ không chỉ mã phong cách, thống kê được tiêm vào phụ thuộc vào chính ảnh đang xử lý. Cùng một bức tranh sẽ được "áp" khác nhau lên ảnh chân dung và ảnh phong cảnh.
Toàn bộ suy luận gói trong hai dòng, hai lượt qua cùng một mạng Glow:
class StyleFlow(nn.Module):
def forward(self, content_images, domain_class):
z_c = self.glow(content_images, forward=True)
return self.glow(z_c, forward=False, style=domain_class)Huấn luyện
Mô hình được huấn luyện bằng Adam (lr = 1e-4). Hàm mất mát có ba phần:
- Nội dung: MSE giữa đặc trưng VGG ở
relu4_1của ảnh kết quả và của ảnh nội dung. - Phong cách: khớp mean/std đặc trưng VGG qua
relu1_1…relu4_1, có trọng số theokeep_ratiođể ưu tiên các kênh mang phong cách rõ nhất. - Làm mượt: Total Variation để giảm nhiễu hạt.
Checkpoint dùng trên trang là bản lưu ở bước 187 500 (187500.ckpt).
Đánh đổi
- Giữ nội dung rất tốt, vì lượt xuôi không làm mất thông tin. Đổi lại, mạng chỉ thay được thống kê của đặc trưng, nên những phong cách cần đổi hình dạng (ví dụ biến mặt người thành nét lập thể) nằm ngoài khả năng của nó.
- Một lượt truyền cho mọi phong cách: không phải huấn luyện riêng cho từng bức tranh. Thêm phong cách mới chỉ là tính thêm một mã 1920 chiều.
- Nặng: hai block × 15 flow chạy ở độ phân giải gốc, không có bottleneck như encoder–decoder. Trên CPU đây là chi phí lớn nhất, bài thứ ba sẽ nói về cách sống chung với nó.
- Squeeze 2×2 để lại dấu vết trên ảnh kết quả. Đó là chủ đề bài tiếp theo.