Bỏ qua đến nội dung
← Dự án

RAG Chat

Chat với tài liệu của riêng bạn: tìm kiếm lai vector + full-text + trigram gộp bằng RRF, LLM rerank, router theo ý định (cả SQL trên bảng tính), bộ nhớ hội thoại 3 tầng, trả lời stream có trích dẫn.

Bài toán

Mô hình ngôn ngữ không biết nội dung tài liệu riêng của bạn, và dễ bịa khi thiếu ngữ cảnh. RAG Chat cho mô hình đọc đúng những đoạn liên quan trước khi trả lời, và chỉ rõ từng ý lấy từ đoạn nào.

Hệ thống phải xử lý được những thứ mà một RAG "tách đoạn, embed, lấy top-k" thường làm hỏng:

  • câu hỏi viết không dấu hoặc sai chính tả, và mã sản phẩm hay tên riêng mà embedding không hiểu;
  • câu hỏi phải tính toán trên bảng tính (tổng, trung bình, xếp hạng), không tra được bằng tìm kiếm;
  • câu hỏi nối tiếp như "còn cái thứ hai thì sao?", cần nhớ cuộc hội thoại;
  • chat công khai nhưng chi phí phải nằm trong ngân sách.

Nạp tài liệu

Việc nạp chạy nền trong một worker (Redis + ARQ), không chạy trong request upload. Parse và embed một file có thể mất vài phút. Redis chết thì upload trả lỗi rõ ràng chứ không âm thầm chạy ở chỗ khác.

  1. Parse: loại file xác định bằng magic bytes, đối chiếu với đuôi file. Tên file người dùng gửi không được tin.
  2. Chia đoạn theo loại file:
    • PDF, DOCX, HTML, Markdown, TXT: theo heading nếu có, không thì cắt theo câu, khoảng 700–800 token, overlap 100. Heading luôn đi cùng đoạn đầu của mục, không bao giờ đứng một mình.
    • Excel, CSV: một chunk tóm tắt (tên cột, kiểu, thống kê) cộng các nhóm dòng, header lặp lại ở mỗi chunk. Bảng dạng văn bản như FAQ được nhận ra tự động và để mỗi dòng một chunk.
  3. Tuỳ chọn: contextual retrieval (thêm một câu ngữ cảnh vào đầu mỗi chunk) và parent–child (tìm bằng chunk nhỏ, đưa cho model đọc chunk cha khoảng 2500 token).
  4. Embed bằng text-embedding-3-small (1536 chiều), có cache theo hash nội dung.
  5. Index trong một transaction: vector vào pgvector với index HNSW, văn bản vào cột tsvector đã bỏ dấu tiếng Việt.
  6. Tóm tắt mỗi tài liệu một đoạn, dùng cho câu hỏi kiểu "tài liệu này nói về gì".

Mỗi số chiều vector có bảng riêng. pgvector không cho index HNSW trên kiểu vector quá 2000 chiều, nên các mô hình 3072 chiều dùng halfvec.

Trả lời một câu hỏi

câu hỏi ├─ bộ nhớ: cắt lịch sử vào 3000 token · nhắc lại các lượt cũ giống câu hỏi ├─ hiểu: viết lại thành câu độc lập + từ khoá · router phân loại ý định ├─ tìm: dense (30) + full-text (30) + trigram (20) ─▶ RRF ─▶ LLM rerank ─▶ giữ 6 ├─ trả lời: system prompt · tóm tắt · ký ức · lịch sử · ngữ cảnh đánh số ─▶ stream └─ sau đó: lưu trích dẫn + debug · tóm tắt cuộn · lưu ký ức

Tìm kiếm lai

Mỗi nhánh tìm kiếm hỏng ở chỗ nhánh khác làm tốt:

  • Dense (vector) bắt được cách diễn đạt khác, như "chi phí vận hành" với "operating expenses", nhưng không hiểu một mã sản phẩm.
  • Full-text bắt đúng từ, nhưng bỏ lỡ cách nói khác.
  • Trigram bắt được cả khi gõ sai hay gõ không dấu, và không cần tách từ, việc mà PostgreSQL không làm được với tiếng Việt.

Ba danh sách được gộp bằng Reciprocal Rank Fusion: mỗi nhánh góp trọng số / (60 + hạng). RRF dùng hạng chứ không dùng điểm, vì cosine 0,62 và ts_rank 0,0004 không so sánh được với nhau, còn "hạng ba" thì so được.

Sau đó một model rẻ chấm điểm 0–10 từng đoạn, theo lô 10 đoạn chạy song song. Với đoạn dài, reranker nhận những dòng khớp câu hỏi nhất chứ không chỉ phần đầu đoạn. Đoạn dưới ngưỡng bị loại. Nếu không còn đoạn nào, hệ thống trả lời "không tìm thấy" thay vì để model đoán.

Router theo ý định

Ý địnhKhi nàoXử lý
chitchatchào hỏi, cảm ơnkhông tìm kiếm
semantic_searchthông tin hay con số có sẵn trong tài liệutìm kiếm lai + rerank
structured_queryphải tự tính trên nhiều dòng: tổng, đếm, trung bìnhmodel sinh SQL DuckDB chạy trên sheet, kèm tìm kiếm
document_summarytài liệu nói về gì, có những file nàođọc tóm tắt từng file
multi_hopso sánh hai thứ ở hai chỗtách 2–3 câu hỏi con, tìm riêng từng câu

SQL do model sinh ra phải parse được thành đúng một câu SELECT trước khi chạy.

Bộ nhớ hội thoại 3 tầng

  1. Working memory: 6 lượt gần nhất, nguyên văn, tối đa 3000 token. Vượt trần thì bỏ nguyên lượt cũ nhất, không cắt giữa lượt.
  2. Viết lại câu hỏi: đọc lịch sử, tóm tắt và ký ức để biến "cái bạn nói lúc đầu" thành danh từ cụ thể trước khi tìm.
  3. Dài hạn: một bản tóm tắt cuộn giữ ý chính của phần cũ, và bộ nhớ episodic embed từng lượt hỏi–đáp để nhắc lại những lượt cũ giống câu hỏi mới.

Mọi phần bộ nhớ đều best-effort: hỏng thì chỉ mất trí nhớ, câu trả lời vẫn được sinh ra.

Prompt

Prompt luôn có cùng một thứ tự: [system prompt][tóm tắt][ký ức nhắc lại][lịch sử][ngữ cảnh + câu hỏi gốc]. System prompt là đúng nguyên văn prompt của agent, không chèn thêm gì phía trước, để phần đầu prompt giống hệt nhau giữa các lượt và prompt cache của OpenAI có tác dụng. Ngữ cảnh được đánh số [1][2]…, và trên giao diện mỗi số là một nút mở đúng đoạn nguồn.

Model trả lời đọc câu hỏi gốc người dùng gõ. Câu hỏi đã viết lại chỉ dùng để tìm kiếm.

Model và chi phí

Mã không ghi cứng tên model. Logic chỉ hỏi theo tier, file models.yaml trả lời:

TierModelDùng cho
cheapgpt-4o-miniviết lại câu hỏi, router, rerank, SQL, tóm tắt
maingpt-4.1-minisinh câu trả lời
strongmodel có reasoningchỉ admin

Tier cheap bị cấm dùng reasoning model, vì token suy luận tính tiền mà không nhìn thấy được. Registry kiểm tra điều này lúc khởi động. Mọi lần gọi model đều được ghi vào rag_usage_logs kèm mục đích và chi phí. Hệ thống có ngân sách tháng, rate limit theo cookie và theo IP, và trần token cho mỗi câu hỏi công khai.

Truy cập và bảo mật

  • Chat công khai, không cần đăng nhập. Mỗi trình duyệt có một cookie HttpOnly ngẫu nhiên, cơ sở dữ liệu chỉ lưu sha256 của nó. Hội thoại và ký ức luôn được lọc theo khoá này, không bao giờ lộ sang người khác (có test chặn).
  • Tạo agent, upload, đổi cấu hình, xem chi phí: chỉ admin. Parser PDF và Office là bề mặt tấn công, và mỗi file nạp vào đều tốn tiền embedding.
  • Câu trả lời của model được hiển thị bằng một renderer Markdown tự viết với tập phần tử giới hạn. HTML trong câu trả lời chỉ được hiển thị như văn bản, không bao giờ được thực thi.

Gỡ lỗi

Mỗi câu trả lời lưu kèm retrieval_debug: ý định, câu hỏi đã viết lại, số đoạn mỗi nhánh tìm được, điểm rerank, câu SQL đã chạy, và trạng thái bộ nhớ. Khi một câu trả lời sai, thứ tự kiểm tra là: router phân loại đúng chưa → câu hỏi viết lại thế nào → các nhánh có tìm ra đoạn đúng không → reranker có loại nhầm không.

Toàn bộ pipeline, từng bước một: Bên trong RAG Chat: hành trình của một câu hỏi.

Kiến trúc

nạp: file → parse (magic bytes) → chunk theo loại file → embed → pgvector (HNSW) + tsvector
hỏi: nhắc lại ký ức → viết lại câu hỏi → router ý định
   → dense + full-text + trigram → RRF → LLM rerank → ngữ cảnh có trích dẫn → stream SSE
model chọn theo tier (cheap / main / strong) trong models.yaml, mọi lần gọi đều ghi chi phí