Bỏ qua đến nội dung
← Blog

Đưa StyleFlow lên web với FastAPI, chạy trên CPU

Bài cuối trong loạt ba bài về dự án Style Transfer. Hai bài trước nói về kiến trúc và hậu xử lý. Bài này nói về phần kỹ thuật để mô hình chạy được trên trang này.

Từ Streamlit sang một module trong API

Bản đầu tiên là một app Streamlit chạy riêng sau NGINX: chọn phong cách, tải ảnh, bấm nút. Khi gom các dự án về một trang cá nhân, mình muốn Style Transfer là một phần của trang, dùng chung giao diện, gateway và cách bảo vệ upload với các phần còn lại.

Mô hình giờ là module app/style_transfer/ trong API FastAPI, cấu trúc giống RAG Chat:

Thư mụcNội dung
model/Glow, SAN, VGG-19, port từ repo gốc
infer.pynạp mô hình, chạy suy luận
postprocess.pycác hàm tensor thuần của bài trước
api/ba endpoint HTTP
assets/weights và ảnh phong cách, không commit

Ba endpoint:

  • GET /api/v1/style/status: mô hình sẵn sàng chưa, danh sách phong cách, giới hạn upload. Một lần gọi là đủ dựng trang.
  • GET /api/v1/style/styles/{id}/image: ảnh phong cách, cache vĩnh viễn.
  • POST /api/v1/style/transfer: multipart gồm styleId, ảnh nội dung, độ mạnh và có làm mượt hay không.

Port mô hình mà không động vào weights

Checkpoint được nạp với strict=True: mọi khoá trong file phải khớp đúng một tham số trong mạng và ngược lại. Lệch một tên là không nạp được. Vì vậy mình giữ nguyên tên lớp và tên thuộc tính của repo gốc, kể cả những tên không theo quy ước Python như AdaIN_SET, và cả thứ tự lớp trong VGG vì vgg_normalised.pth lưu theo vị trí.

Có một chỗ đổi có chủ ý. Bản gốc dùng numpy và scipy để khởi tạo ngẫu nhiên phép tích chập 1×1 (phân rã QR rồi LU). Mình viết lại bằng torch.linalg. Mọi tensor sinh ra ở bước này đều bị checkpoint ghi đè, nên chỉ có kích thước là quan trọng, và API bớt được hai thư viện.

Giữ đúng tỉ lệ ảnh

App gốc ép mọi ảnh về 512×512. Ảnh dọc hay ảnh ngang đều bị bóp méo. Glow chỉ gồm tích chập nên chạy được ở mọi kích thước, miễn hai cạnh chia hết cho 4 (vì squeeze hai lần). Giờ ảnh được thu nhỏ sao cho cạnh dài là 512 và hai cạnh được làm tròn xuống bội số của 4.

Ảnh phong cách cũng giữ tỉ lệ. Lúc huấn luyện, ảnh phong cách được crop 300×400 chứ không vuông. Ép vuông làm nét cọ bị kéo giãn, và mean/std của VGG, tức chính mã phong cách, lệch theo.

Chạy trên CPU

Máy chủ không có GPU. Image Docker cài torch bản CPU để khỏi kéo hàng GB thư viện CUDA không dùng tới. Thời gian đo được:

  • khoảng 22 giây một ảnh khi chạy thẳng trên máy (mạng chạy 512px, ảnh ra 1024px),
  • khoảng 40 đến 75 giây khi chạy cùng mã trong Docker Desktop trên Windows.

Với mức đó, vài quyết định trở nên hiển nhiên:

  • Nạp lười. Torch chỉ được import khi có request đầu tiên. Thiếu torch hay thiếu weights thì cả API vẫn khởi động, riêng trang Style Transfer báo chưa sẵn sàng.
  • Cache mã phong cách. Ảnh phong cách dựng sẵn không bao giờ đổi, nên mã 1920 chiều của mỗi ảnh chỉ tính một lần. Mỗi request chỉ còn một lượt Glow.
  • Một ảnh mỗi lúc. Một asyncio.Semaphore(1) bao quanh suy luận. Hai ảnh chạy song song trên cùng CPU không xong sớm hơn, chỉ làm cả hai chậm đi.
  • Không chặn event loop. Suy luận chạy trong threadpool, nên API vẫn phục vụ các trang khác trong lúc một ảnh đang xử lý.
  • Giới hạn tần suất: 12 request mỗi 10 phút cho mỗi IP, cùng cơ chế với trang đăng nhập.
  • Timeout ở gateway phải dài hơn 60 giây, nếu không reverse proxy sẽ cắt request trước khi ảnh xong.

Không tin ảnh người dùng tải lên

Ảnh tải lên là dữ liệu từ người lạ, nên:

  • Định dạng xác định bằng cách giải mã thật, không theo tên file hay Content-Type. Chỉ nhận JPEG, PNG, WebP, HEIC.
  • Chặn decompression bomb: giới hạn 50 triệu pixel, và cảnh báo của Pillow về bomb được coi là lỗi.
  • Xoá sạch EXIF và GPS. Ảnh được xoay đúng chiều theo EXIF, rồi các pixel được chép sang một bộ đệm mới tinh. Không còn metadata nào đi theo.
  • Kết quả tự xoá sau 24 giờ. Ảnh ra được ghi vào thư mục media với tên UUID và bị dọn ở các request sau.

Weights không nằm trong git

Checkpoint Glow nặng 199 MB, VGG-19 nặng 76 MB. Chúng không được commit. Lệnh

python -m app.cli style fetch

tải chúng từ git-LFS của repo gốc và kiểm sha256 từng file, nên file tải dở hay bị sửa sẽ bị phát hiện. Khi chạy Docker ở môi trường dev, thư mục weights trên máy được mount thẳng vào. Bản production dùng một volume riêng, nạp một lần.

Thêm một phong cách mới chỉ cần thả ảnh vào assets/styles/. Tên file thành nhãn hiển thị, không cần sửa mã hay cơ sở dữ liệu.

Nhìn lại

Phần mô hình gần như không đổi so với repo gốc. Hầu hết công sức nằm ở những thứ xung quanh: giữ tỉ lệ ảnh, sửa lỗi ảnh do kiến trúc, sống được với 20 đến 70 giây trên CPU, và coi mọi file tải lên là không đáng tin.