Lưới sọc 2px và viền màu: hậu xử lý cho StyleFlow
Bài thứ hai về dự án Style Transfer. Bài trước giải thích kiến trúc StyleFlow. Bài này nói về những gì xảy ra khi chạy nó trên ảnh thật.
Hai lỗi nhìn thấy ngay
Ảnh kết quả từ mạng có hai vấn đề rõ:
- Lưới sọc dọc khoảng 2 pixel phủ khắp ảnh, kèm viền màu li ti, nhìn kỹ như vải lưới.
- Dải màu lạ ở mép trái và phải của ảnh.
Câu hỏi đầu tiên là lỗi do mình port mã sai hay do bản thân mô hình. Mình chạy lại đúng như app gốc: ảnh vuông 512×512, cùng weights. Kết quả có cùng lưới và cùng dải màu. Vậy đây là đặc tính của kiến trúc và checkpoint. Huấn luyện lại với cùng kiến trúc cũng sẽ không hết.
Nguyên nhân
Dải màu ở mép. Mạng con trong mỗi coupling kết thúc bằng một ZeroConv2d, và lớp này pad ảnh bằng hằng số 1 trước khi tích chập:
out = nn.functional.pad(input, [1, 1, 1, 1], value=1)Pixel gần mép được tính một phần từ dữ liệu giả. Qua 30 bước flow, sai lệch đó tích luỹ thành một dải màu.
Lưới 2px. Phép squeeze 2×2 gom mỗi ô 2×2 pixel thành kênh, rồi mọi phép biến đổi trong flow tác động lên các kênh đó. Khi chạy ngược và trải lại thành pixel, bốn pixel trong cùng một ô được dựng ra có hệ thống khác nhau, lặp lại đều đặn trên toàn ảnh.
Sửa dải màu ở mép: reflect-pad rồi cắt bỏ
Trước khi đưa vào mạng, ảnh được pad thêm 32 pixel mỗi phía bằng cách phản chiếu chính ảnh. Mạng thấy ở mép một vùng trông giống thật, phần "dữ liệu giả" bị đẩy ra ngoài vùng pad, và sau khi chạy xong thì cắt bỏ vùng pad.
Hai chi tiết nhỏ:
- Lượng pad phải chia hết cho 4 vì mạng squeeze hai lần, và phải nhỏ hơn cạnh ảnh vì pad phản chiếu không thể dài hơn phần được phản chiếu.
- 32 là con số thử ra: 16 pixel vẫn còn dải màu, 128 không đẹp hơn 32 mà tốn thêm thời gian.
Sửa lưới: guided filter dẫn bởi ảnh gốc và kết quả
Làm mờ thông thường xoá được lưới, nhưng xoá luôn cạnh thật của vật thể và nét cọ. Mình dùng guided filter (He và cộng sự, 2013): trong mỗi cửa sổ nhỏ, ảnh ra là một hàm tuyến tính của ảnh dẫn đường. Chỗ ảnh dẫn phẳng thì ảnh ra được làm mượt, nên lưới biến mất. Chỗ ảnh dẫn có cạnh thì hàm tuyến tính giữ cạnh lại.
Phần khó là chọn ảnh dẫn đường:
| Ảnh dẫn | Kết quả |
|---|---|
| chỉ ảnh kết quả | lưới đủ mạnh để bị coi là "cạnh", nên còn sót lại một phần |
| chỉ ảnh gốc | sạch lưới, nhưng nét cọ do phong cách thêm vào bị là phẳng |
| nửa ảnh gốc + nửa kết quả đã lọc sơ | giữ cạnh thật của ảnh, giữ nét cọ, và nửa ảnh gốc không có lưới |
Mình chọn cách thứ ba, lọc hai lượt với bán kính 2 và eps = 4e-3:
def clean_grid(stylised, photo, radius=2, eps=4e-3):
pre = guided_filter(stylised, stylised, radius, eps)
return guided_filter(stylised, 0.5 * photo + 0.5 * pre, radius, eps)Ảnh to và sắc hơn: đắp lại chi tiết sáng của ảnh gốc
Thời gian chạy trên CPU tăng theo diện tích ảnh, nên mạng chỉ chạy với cạnh dài 512 pixel. Phóng thẳng kết quả 512 lên 1024 thì lông, lá và viền tóc vỡ thành khối.
Bước refine giải quyết bằng một quan sát: ảnh gốc ở độ phân giải cao đã có sẵn chi tiết mịn mà mạng chưa bao giờ thấy. Cách làm:
- Phóng kết quả lên kích thước đích bằng bicubic.
- Lấy độ sáng (luminance) của ảnh gốc ở độ phân giải cao, trừ đi bản làm mờ Gauss của chính nó. Phần còn lại là dải chi tiết mà ảnh 512 không chứa được. Độ mờ tỉ lệ với hệ số phóng.
- Cộng dải chi tiết đó vào kết quả, nhân hệ số 0,8.
Chỉ đắp độ sáng, không đắp màu, nên màu vẫn là của bức tranh còn cạnh và kết cấu sắc như ảnh chụp. Đặt hệ số bằng 0 thì quay về phóng bicubic thường. Bước này mất chưa đến một giây.
Thanh trượt độ mạnh phong cách
Trang web có thanh trượt độ mạnh từ 0,3 đến 1. Cách dễ nghĩ ra nhất là trộn pixel giữa ảnh gốc và ảnh kết quả, nhưng như vậy ra một ảnh chồng hai lớp, giống phơi sáng kép.
Mình trộn mã phong cách thay vì trộn pixel. Ảnh gốc cũng có mã 1920 chiều của riêng nó, tính bằng cùng VGG-19. Mã đưa vào mạng là:
Mạng vẫn dựng ra một ảnh nhất quán, chỉ là với thống kê nằm giữa ảnh chụp và bức tranh.
Thứ tự đầy đủ
ảnh tải lên ─▶ bỏ EXIF, xoay đúng chiều ─▶ thu về cạnh dài 1024 (ảnh "hi") ảnh hi ─▶ thu về cạnh dài 512, hai cạnh chia hết cho 4 (ảnh "lo") ảnh lo ─▶ reflect-pad 32 ─▶ StyleFlow ─▶ cắt pad ─▶ clean_grid ─▶ refine với ảnh hi ─▶ PNG
Không bước nào ở đây cần huấn luyện. Tất cả là các hàm tensor thuần trong postprocess.py, có unit test, và tắt được từng bước để so sánh.