Bên trong RAG Chat: hành trình của một câu hỏi, từ file tải lên đến câu trả lời
Một RAG tối thiểu chỉ cần ba bước: cắt tài liệu thành đoạn, embed, lấy top-k đoạn gần câu hỏi nhất rồi đưa cho LLM. Bản đó chạy được cho demo, và hỏng ngay khi gặp người dùng thật:
- người ta gõ "hoc phi" không dấu;
- người ta hỏi "tổng doanh thu quý 3", và model cộng bừa những con số tình cờ nằm trong ba đoạn tìm được;
- người ta hỏi "còn lớp kia thì sao?", một câu mà embedding không hiểu nổi nếu không có lịch sử.
RAG Chat là kết quả của việc sửa từng lỗi như vậy. Bài này đi qua toàn bộ pipeline theo đúng thứ tự dữ liệu chạy. Ở mỗi bước, mình ghi lại nó làm gì, con số mặc định là bao nhiêu, và nếu có, lỗi thật nào đã khiến bước đó phải tồn tại.
Hai luồng tách biệt
Luồng A, nạp tài liệu chạy nền trong rag-worker, một lần cho mỗi file Luồng B, trả lời chạy trong api mỗi lượt chat, stream về trình duyệt qua SSE
Chúng không bao giờ chạy chung một process. Parse và embed một file PDF dài có thể mất vài phút. Nếu làm việc đó ngay trong request upload, một worker web sẽ bị giữ suốt thời gian đó và không phục vụ được ai đang chat.
Trước khi đi vào chi tiết, có một quy ước xuyên suốt: mã không bao giờ ghi tên model. Logic chỉ hỏi theo tier, và file config/models.yaml trả lời:
| Tier | Model hiện tại | Dùng cho |
|---|---|---|
cheap | gpt-4o-mini | viết lại câu hỏi, router, rerank, SQL, tách câu hỏi, tóm tắt, đặt tiêu đề |
main | gpt-4.1-mini | sinh câu trả lời |
| embedding | text-embedding-3-small, 1536 chiều | chunk, câu hỏi, bộ nhớ |
Mọi lần gọi model, không trừ lần nào, đều được ghi vào bảng rag_usage_logs cùng mục đích và chi phí.
Luồng A: một file đi vào kho
upload ─▶ lưu file gốc ─▶ xếp hàng Redis ─▶ rag-worker
- PARSE nhận dạng bằng magic bytes
- CHUNK chia đoạn theo loại file
- CONTEXTUALIZE (tuỳ chọn) thêm một câu ngữ cảnh [cheap]
- PARENT–CHILD (tuỳ chọn) gom chunk con thành chunk cha
- EMBED có cache theo hash nội dung [embedding]
- INDEX một transaction: xoá cũ, ghi chunk, ghi vector
- TÓM TẮT FILE một đoạn cho cả tài liệu [cheap]
1. Parse: không tin tên file
Loại file được xác định bằng magic bytes, tức vài byte đầu của nội dung, rồi đối chiếu với đuôi file. Một file .pdf thật ra là thứ khác sẽ bị từ chối. Parser PDF và Office là bề mặt tấn công, nên chỉ admin được upload.
2. Chunk: mỗi loại tài liệu một cách cắt
Với văn bản (PDF, DOCX, HTML, Markdown, TXT), hệ thống cắt theo heading nếu có, không thì theo câu, mỗi chunk 700–800 token, overlap 100. Hai chi tiết nghe nhỏ nhưng đã từng làm hỏng chất lượng mà không báo lỗi gì:
Overlap từng bằng 0 mà không ai biết. Bản đầu chỉ chia đệ quy cho đến khi mỗi mảnh vừa chunk_size. Với cấu hình 700/100, một đoạn văn dài 700 token là một mảnh duy nhất không chia được, và overlap mang theo nguyên mảnh. Thế là overlap thực tế bằng 0. Bản sửa chia nhỏ tới mức min(chunk_size, chunk_overlap) trước rồi mới gộp lại. Overlap đo được sau khi sửa là 82–83 token. Nó không bao giờ đúng bằng 100, vì overlap mang theo câu nguyên vẹn: nửa câu lặp lại thì vô nghĩa.
Heading đứng một mình là rác. Một chunk chỉ chứa ## Chi phí dài 3 token không khớp với truy vấn nào, còn chunk chứa nội dung thật thì mất tiêu đề. Giờ heading luôn đi cùng chunk đầu tiên của mục. Mục chỉ có heading mà không có nội dung thì bị bỏ.
Với bảng tính (XLSX, XLS, CSV), mỗi sheet có một chunk tóm tắt (tên cột, kiểu dữ liệu, thống kê), cộng các chunk nhóm dòng, header lặp lại ở mỗi chunk. Ở đây có một lỗi đáng kể lại:
Một file FAQ dạng bảng có câu hỏi "Sĩ số mỗi lớp". Người dùng hỏi đúng câu đó. Hệ thống trả lời: không tìm thấy.
Nguyên nhân: nhiều cặp hỏi–đáp bị gộp vào một chunk. Embedding của chunk bị "pha loãng" bởi các câu hỏi khác, và reranker chỉ đọc phần đầu chunk nên không thấy dòng khớp. Bây giờ hệ thống tự phân biệt hai loại bảng. Nếu quá nửa số dòng có một ô dài từ 20 từ trở lên, đó là bảng văn bản, và mỗi dòng thành một chunk. Bảng số liệu thì vẫn gộp khoảng 500 token mỗi chunk.
3–4. Hai tuỳ chọn, mặc định tắt
- Contextual retrieval: model rẻ viết thêm một câu đặt chunk vào ngữ cảnh của cả tài liệu, ghép vào đầu chunk trước khi embed.
- Parent–child: tìm bằng chunk nhỏ cho chính xác, nhưng đưa cho model đọc chunk cha khoảng 2500 token cho đủ ngữ cảnh. Chunk cha không vượt ranh giới mục cấp 1 và không gộp dòng bảng.
Cả hai mặc định tắt vì đều tốn thêm: tuỳ chọn đầu tốn một lần gọi model cho mỗi chunk, tuỳ chọn sau làm prompt dài thêm nhiều lần.
5–6. Embed và index
Embedding có cache theo hash nội dung, nên index lại một tài liệu gần như không đổi thì gần như không tốn tiền. Việc ghi chạy trong một transaction: xoá chunk cũ, ghi rag_chunks, ghi vector. Không bao giờ có lúc kho chứa nửa bản cũ nửa bản mới.
Mỗi chunk được lưu hai cách:
- vector trong pgvector, index HNSW;
tsvectorđể tìm full-text, đã bỏ dấu tiếng Việt, nên "hoc phi" khớp "học phí".
Có một ràng buộc kỹ thuật định hình cả schema: pgvector không cho tạo index HNSW trên kiểu vector quá 2000 chiều. Mỗi số chiều vì vậy có bảng riêng (rag_emb_v1536, rag_emb_h3072…). Mô hình 3072 chiều dùng halfvec, kiểu nửa độ chính xác, và kiểu này thì index được.
7. Tóm tắt cả file
Cuối cùng, model rẻ viết một đoạn tóm tắt cho toàn bộ tài liệu. Đoạn này dùng cho những câu hỏi mà không top-k nào trả lời được, như "tài liệu này nói về gì?".
Luồng B: một câu hỏi đi qua 12 bước
Giả sử người dùng đã hỏi vài câu về học phí, rồi gõ:
còn lớp 11 thì sao?
Đây là toàn bộ đường đi của câu đó.
- KIỂM TRA ngân sách · agent có system prompt · đọc lịch sử ── bộ nhớ ──
- TẦNG 1 cắt lịch sử vào 3000 token
- NHẮC LẠI tìm các lượt cũ giống câu hỏi [embedding] ── hiểu ──
- VIẾT LẠI câu độc lập + từ khoá [cheap]
- ROUTER phân loại ý định [cheap] ── tìm ──
- THEO Ý ĐỊNH SQL · tách câu hỏi con · đọc tóm tắt [cheap]
- TÌM KIẾM LAI dense + full-text + trigram ─▶ RRF
- RERANK chấm 0–10, giữ 6 [cheap]
- MỞ RỘNG CHA (nếu bật parent–child) ── trả lời ──
- GHÉP NGỮ CẢNH đánh số [1][2]…
- PROMPT thứ tự cố định
- SINH stream từng token [main] ── sau đó ──
- LƯU trích dẫn · debug · tiêu đề · tóm tắt · ký ức
Bước 0: kiểm tra trước khi tiêu tiền
Ngân sách tháng còn không. Agent có system prompt không: agent thiếu system prompt thì từ chối trả lời, không dùng prompt dự phòng nào. Sau đó lưu tin nhắn của người dùng và đọc 6 lượt gần nhất.
Bước 1–2: bộ nhớ
Tầng 1, working memory: giữ nguyên văn các lượt gần nhất, tối đa 3000 token. Vượt trần thì bỏ nguyên lượt cũ nhất, không cắt giữa lượt. Riêng lượt ngay trước câu hỏi luôn được giữ, vì đại từ trong câu mới gần như chắc chắn trỏ về nó.
Nhắc lại ký ức (episodic): mỗi lượt hỏi–đáp đã xong đều được embed và lưu lại. Câu hỏi mới được so với các lượt đã rời cửa sổ tầng 1. Tối đa 3 lượt có độ giống cosine từ 0,35 trở lên được nhắc lại. Nhờ vậy "cái học phí bạn nói lúc đầu" vẫn hiểu được ở lượt thứ 20 mà không phải gửi lại cả 20 lượt.
Bước này chạy trước bước viết lại, để bước viết lại đọc được ký ức.
Bước 3: viết lại câu hỏi
"còn lớp 11 thì sao?" embed ra một vector chẳng giống đoạn nào. Model rẻ đọc lịch sử, tóm tắt cuộn và ký ức vừa nhắc lại, rồi trả về hai thứ:
question: một câu độc lập, ví dụ "Học phí lớp 11 là bao nhiêu?";keywords: 3–8 từ và từ đồng nghĩa mà một đoạn văn khớp thật sự sẽ chứa.
Bước này chạy cả ở câu đầu tiên, vì người hỏi hiếm khi dùng đúng chữ của tài liệu: "sĩ số lớp 10A1" phải tìm ra một bảng có cột tên là "Số HS".
Mỗi phiên bản câu hỏi đi một nơi khác nhau:
| Bước | Dùng |
|---|---|
| tìm vector, trigram, rerank | question đã viết lại |
| full-text | question + keywords |
| model trả lời | câu gốc người dùng gõ, kèm lịch sử |
Model trả lời đọc câu gốc. Câu viết lại chỉ là công cụ để tìm, nó có thể sai sắc thái.
Bước 4: router
Model rẻ phân loại ý định:
| Ý định | Khi nào | Xử lý |
|---|---|---|
chitchat | chào hỏi, cảm ơn, hỏi trợ lý làm được gì | không tìm kiếm |
semantic_search | thông tin hay con số có sẵn trong tài liệu | tìm kiếm lai + rerank |
structured_query | phải tự tính trên nhiều dòng | SQL trên sheet + tìm kiếm |
document_summary | tài liệu nói về gì, có những file nào | tóm tắt từng file + tìm kiếm |
multi_hop | so sánh hai thứ ở hai chỗ | tách câu hỏi con |
chitchat bỏ qua toàn bộ phần tìm kiếm: không embedding, không search, không nhồi 3000 token ngữ cảnh. Với một trang chat công khai, nơi rất nhiều tin nhắn là "xin chào", đây là khoản tiết kiệm lớn nhất.
Ranh giới khó nhất là giữa semantic_search và structured_query. "Sĩ số mỗi lớp là bao nhiêu?" có chữ "bao nhiêu" nhưng là semantic_search, vì con số đã nằm sẵn trong tài liệu. Chỉ khi phải tự cộng, đếm, lấy trung bình hay xếp hạng trên nhiều dòng thì mới là structured_query. Prompt của router có ví dụ cho đúng ranh giới này.
Bước 5: xử lý riêng theo ý định
structured_query → SQL. "Tổng doanh thu Q3 theo vùng" không phải bài toán tìm kiếm. Nếu coi nó là tìm kiếm, model sẽ cộng những con số tình cờ nằm trong ba chunk tìm được và cho ra một đáp án sai mà trông như đúng. Thay vào đó, sheet được nạp vào DuckDB, model rẻ viết một câu SELECT, hệ thống chạy câu đó rồi trả lời từ kết quả.
SQL do model viết vẫn bị coi là đầu vào thù địch:
- model chỉ thấy bảng và cột của đúng tài liệu này;
- câu lệnh phải parse ra đúng một
SELECT, kiểm tra bằng parser của DuckDB chứ không bằng regex; - mọi tên bảng và tên cột phải nằm trong danh sách cho phép;
- kết nối chỉ đọc, trên một cơ sở dữ liệu trong bộ nhớ dựng từ riêng tài liệu này;
- có
LIMITbắt buộc và giới hạn thời gian chạy.
multi_hop → câu hỏi con. Tách thành 2–3 câu hỏi con, tìm và rerank riêng từng câu rồi gộp lại. Mỗi câu con giữ ít nhất kết quả tốt nhất của nó, để câu này không lấn mất câu kia.
document_summary → tóm tắt từng file viết sẵn ở bước 7 của luồng A, đặt trước các đoạn tìm được.
Bước 6: tìm kiếm lai, ba nhánh
Mỗi nhánh hỏng đúng chỗ nhánh khác làm tốt:
| Nhánh | Mạnh ở | Yếu ở | Số ứng viên |
|---|---|---|---|
| dense (vector) | cách diễn đạt khác: "chi phí vận hành" với "operating expenses" | mã sản phẩm, tên riêng | 30 |
| full-text | đúng từng chữ | cách nói khác | 30 |
| trigram | gõ sai, gõ không dấu, không cần tách từ | nghĩa | 20 |
Trigram đặc biệt quan trọng với tiếng Việt: PostgreSQL không tách được từ tiếng Việt, còn trigram thì không cần tách từ.
Ba danh sách được gộp bằng Reciprocal Rank Fusion:
RRF dùng hạng, không dùng điểm. Cosine 0,62 và ts_rank 0,0004 là hai con số không so sánh được với nhau, nhưng "hạng ba ở nhánh này" và "hạng ba ở nhánh kia" thì so được. Trọng số đến từ một núm semanticBalance (mặc định 0,5): 0 là chỉ từ khoá, 1 là chỉ vector.
Bước 7: rerank, chỗ quyết định chất lượng
RRF cho biết một đoạn hay xuất hiện đến đâu. Nó không cho biết đoạn đó có trả lời câu hỏi không. Hai điều này lệch nhau thường xuyên, nên sau tìm kiếm lai, rerank là đòn bẩy chất lượng lớn nhất.
OpenAI không có endpoint rerank, nên reranker là một model rẻ đóng vai giám khảo:
- tối đa 30 ứng viên, chia lô 10 đoạn, các lô chạy song song vì mọi độ trễ ở đây cộng thẳng vào thời gian người dùng chờ;
- mỗi đoạn chỉ gửi khoảng 350 token. Với đoạn dài, đó là những dòng khớp câu hỏi nhất cộng dòng đầu tiên (tên bảng hay tên mục), không phải phần mở đầu;
- model trả về điểm 0–10 theo JSON schema chặt;
- giữ 6 đoạn tốt nhất, loại đoạn dưới ngưỡng 0,3 (tức 3/10). Không còn đoạn nào thì câu trả lời là "không tìm thấy" thay vì để model đoán.
Phần hướng dẫn và schema nằm ở đầu prompt, giống hệt nhau mọi lần, để prompt cache có tác dụng.
Chọn model cho reranker là một bài học đắt giá. Tier cheap từng là gpt-4.1-nano, rẻ hơn. Với cùng một đoạn trả lời trực tiếp câu hỏi, temperature 0, nano chấm 10, 1, 10, 10, 10 khi chấm riêng, và 5/10 khi nằm trong lô 10 đoạn. gpt-4o-mini chấm 10 cả năm lần và 9–10 trong lô. Reranker chấm thấp nghĩa là đoạn đúng bị loại và người dùng nhận "không tìm thấy". Vì vậy trả thêm khoảng 1,5 lần giá ở các bước phụ là đáng.
Bước 8–9: ghép ngữ cảnh
Nếu bật parent–child, các chunk con được thay bằng chunk cha. Sau đó các đoạn được đánh số theo thứ tự trong tài liệu, không theo điểm. Xếp theo điểm thì đọc như ghi chú bị xáo trộn, còn xếp theo tài liệu thì đọc như một văn bản, và model tóm tắt tốt hơn.
Ngữ cảnh có ngân sách token riêng: khoảng một nửa cửa sổ dành cho đoạn tìm được, phần còn lại chia cho system prompt, tóm tắt, lịch sử và phần chừa cho câu trả lời. Thừa ngân sách thì bỏ nguyên đoạn xếp hạng thấp nhất, không bao giờ cắt giữa đoạn. Nửa đoạn sẽ sinh ra một trích dẫn trỏ tới đoạn văn mà người đọc không tìm thấy.
Bước 10: prompt có thứ tự cố định
[system prompt nguyên văn][tóm tắt hội thoại][ký ức nhắc lại][lịch sử tầng 1][ngữ cảnh + câu hỏi GỐC]
Thứ tự này không phải ngẫu nhiên. Phần đứng yên nằm trước, phần thay đổi nằm sau. Prompt cache của OpenAI chỉ có tác dụng khi 1024 token đầu giống hệt nhau giữa các lần gọi. System prompt của agent vì vậy được đặt đúng nguyên văn ở đầu, không chèn thêm gì phía trước, và có test chặn việc ai đó vô tình chèn vào. Hệ quả: cache chỉ có tác dụng khi prompt của agent dài từ 1024 token trở lên.
Bước 11: stream
Model main sinh câu trả lời, từng token được đẩy về trình duyệt qua Server-Sent Events. Trong suốt quá trình, trình duyệt còn nhận các sự kiện retrieval_step ("Tìm đoạn liên quan", "Tính trực tiếp trên bảng dữ liệu"…), nên người dùng thấy hệ thống đang làm gì thay vì nhìn một vòng xoay.
Câu trả lời được hiển thị bằng một renderer Markdown tự viết, chỉ hỗ trợ một tập phần tử giới hạn. Văn bản này do model sinh ra từ tài liệu mà người ngoài có thể tác động, nên HTML trong đó chỉ được hiển thị, không bao giờ được thực thi. Mỗi [2] trong câu trả lời là một nút mở đúng đoạn nguồn.
Bước 12: sau khi trả lời
Câu trả lời được lưu cùng trích dẫn và retrieval_debug. Sau đó là ba việc phụ:
- đặt tiêu đề cho hội thoại, chỉ ở lượt đầu;
- tóm tắt cuộn khi hội thoại quá 6 lượt, chỉ gộp phần tin nhắn mới vào bản tóm tắt cũ (tối đa 400 token) thay vì tóm tắt lại từ đầu;
- embed lượt vừa xong vào bộ nhớ episodic.
Cả ba đều best-effort. Nếu hỏng, hệ thống chỉ mất trí nhớ, còn câu trả lời đã được stream và lưu xong. Cuối cùng trình duyệt nhận sự kiện sources (danh sách trích dẫn) và usage (token vào, token ra, token được cache).
Một lượt chat tốn bao nhiêu lần gọi model
| Gọi | Số lần | Ghi chú |
|---|---|---|
| embedding | 2–3 | câu hỏi để nhắc lại, câu hỏi để tìm, lượt vừa xong để lưu (có cache) |
cheap | 3–5 | viết lại, router, rerank (một lần mỗi 10 đoạn), có thể thêm SQL hoặc tách câu hỏi |
cheap (thỉnh thoảng) | 0–2 | đặt tiêu đề, tóm tắt cuộn |
main | 1 | sinh câu trả lời |
Model đắt chỉ được gọi một lần. Mọi việc "suy nghĩ" khác đều đổ về tier rẻ, và tier rẻ bị cấm dùng reasoning model, vì token suy luận tính tiền mà không nhìn thấy được. Registry kiểm tra luật này lúc khởi động: cấu hình sai thì API không chạy.
Người lạ chat chung một hệ thống
Chat công khai, không cần đăng nhập. Mỗi trình duyệt nhận một cookie rag_guest ngẫu nhiên, HttpOnly, và cơ sở dữ liệu chỉ lưu sha256 của nó. Hội thoại, tin nhắn và ký ức đều gắn với khoá này, và mọi truy vấn đều lọc theo nó. Có test bảo đảm ký ức của người này không bao giờ lọt vào prompt của người khác.
Vì không có tài khoản, giới hạn chi phí nằm ở cấp hệ thống: ngân sách tháng, rate limit theo cookie và theo IP, trần token cho mỗi câu hỏi, và tier strong chỉ dành cho admin.
Khi một câu trả lời sai
Mỗi câu trả lời mang theo retrieval_debug, và admin xem được nó trong khung Nguồn. Thứ tự kiểm tra hay dùng:
intent: router có phân loại đúng không?query,keywords: câu hỏi đã bị viết lại thành gì?branchHits: mỗi nhánh có tìm ra đoạn đúng không?hitssau rerank: đoạn đúng có bị loại không?
Nếu đoạn đúng không có trong branchHits, vấn đề nằm ở cách chia đoạn hoặc ở câu hỏi đã viết lại. Nếu nó có mặt nhưng không được giữ, vấn đề nằm ở reranker hoặc ngưỡng. Hai câu này đã chỉ đúng nguyên nhân của hầu hết các lỗi kể trong bài.
Nhìn lại
Không bước nào trong pipeline này phức tạp nếu đứng riêng. Cái khó là mỗi bước sửa một kiểu sai rất cụ thể, và nhiều kiểu sai không báo lỗi gì: overlap bằng 0, một dòng FAQ bị giấu trong chunk, một reranker chấm thất thường, một prompt ngắn hơn 1024 token khiến cache không bao giờ có tác dụng. Chúng chỉ lộ ra qua câu trả lời "không tìm thấy" hoặc qua hoá đơn.
Bước tiếp theo là thêm một đồ thị tri thức cho những câu hỏi mà tìm theo đoạn văn không với tới. Kế hoạch ở bài GraphRAG: kế hoạch tích hợp đồ thị tri thức vào RAG Chat.