GraphRAG: kế hoạch tích hợp đồ thị tri thức vào RAG Chat
Hiện tại RAG Chat làm được gì
RAG Chat đang tìm kiếm theo đoạn văn: ba nhánh dense, full-text, trigram gộp bằng RRF, một LLM rerank, và một router phân loại ý định. Router đã có multi_hop (tách câu hỏi con) và document_summary (đọc tóm tắt từng file).
Cách này tốt khi câu trả lời nằm gọn trong vài đoạn văn giống câu hỏi. Nó yếu ở hai kiểu câu hỏi.
Câu hỏi phải nối quan hệ. "Những dự án nào dùng chung nhà cung cấp với dự án X?" Đoạn nói về nhà cung cấp của X và đoạn nói về một dự án Y khác có thể nằm ở hai tài liệu khác nhau, và đoạn thứ hai không hề giống câu hỏi. multi_hop hiện tại tách câu hỏi con trước khi tìm, nên nó phải đoán trước bước nhảy thứ hai là gì. Ở đây bước thứ hai phụ thuộc vào kết quả của bước thứ nhất.
Câu hỏi toàn cục. "Các tài liệu này nói chung về những chủ đề gì, và chúng liên quan nhau thế nào?" Không có top-k đoạn nào chứa câu trả lời. document_summary tóm tắt từng file riêng lẻ, chứ không thấy mối nối giữa các file.
Ý tưởng
Trong lúc nạp tài liệu, trích ra thực thể (người, tổ chức, sản phẩm, khái niệm…) và quan hệ giữa chúng để dựng một đồ thị. Khi hỏi, thay vì chỉ tìm đoạn giống câu hỏi, hệ thống tìm các thực thể nhắc trong câu hỏi rồi đi theo cạnh sang các thực thể lân cận. Các đoạn văn gắn với những cạnh đó trở thành ngữ cảnh, kể cả khi chúng không giống câu hỏi chút nào.
Hai hướng tham khảo chính:
- Microsoft GraphRAG (Edge và cộng sự, 2024, From Local to Global): dựng đồ thị bằng LLM, chia đồ thị thành cộng đồng bằng thuật toán Leiden, rồi viết tóm tắt cho từng cộng đồng. Câu hỏi toàn cục được trả lời từ các tóm tắt đó.
- LightRAG: nhẹ hơn, tìm theo hai mức (thực thể cụ thể và chủ đề rộng), cập nhật đồ thị theo từng tài liệu thay vì dựng lại cả đồ thị.
Thiết kế dự kiến
Nguyên tắc: thêm vào, không thay thế. Đồ thị là một nhánh tìm kiếm mới, cùng đi qua RRF, rerank, trích dẫn và ghi chi phí như các nhánh hiện có.
Lúc nạp tài liệu
PARSE ─▶ CHUNK ─▶ EMBED ─▶ INDEX (giữ nguyên) └─▶ TRÍCH XUẤT THỰC THỂ + QUAN HỆ [cheap, mỗi chunk] ─▶ GỘP THỰC THỂ TRÙNG ─▶ GHI NÚT + CẠNH (mỗi cạnh trỏ về chunk nguồn) ─▶ (sau) PHÂN CỘNG ĐỒNG + TÓM TẮT CỘNG ĐỒNG
- Trích xuất. Tier
cheapđọc từng chunk và trả về JSON theo schema cố định: danh sách thực thể (tên, loại, mô tả ngắn) và danh sách quan hệ (nguồn, đích, loại quan hệ, mô tả). Output không đúng schema thì bỏ, không sửa đoán. - Gộp thực thể trùng. "Công ty ABC", "ABC" và "abc corp" phải là một nút. Bước đầu: chuẩn hoá tên (bỏ dấu, chữ thường), so embedding của tên kèm mô tả, chỉ gộp khi cùng loại và đủ giống. Gộp sai làm hỏng đồ thị nặng hơn là để sót, nên ngưỡng sẽ đặt chặt.
- Nguồn gốc của từng cạnh. Mỗi cạnh lưu id của chunk mà nó được trích ra. Đây là điểm quan trọng nhất: nhờ vậy câu trả lời đi qua đồ thị vẫn trích dẫn được đoạn văn gốc, giống hệt như bây giờ.
- Tóm tắt cộng đồng để sau, khi phần tìm kiếm cục bộ đã chạy ổn.
Lưu ở đâu: PostgreSQL trước, Neo4j nếu cần
Lựa chọn đầu tiên là hai bảng mới trong PostgreSQL (nút và cạnh), không thêm cơ sở dữ liệu thứ hai:
- cùng transaction với
rag_chunks: index lại một tài liệu thì xoá và ghi lại nút, cạnh của nó trong cùng một lần, không lệch nhau; - đi 1–2 bước trên đồ thị làm được bằng recursive CTE;
- tên thực thể dùng được ngay các index trigram và full-text đã có;
- bớt một dịch vụ phải chạy, sao lưu và bảo vệ.
Nếu sau này cần thuật toán đồ thị nặng (đi nhiều bước, phân cộng đồng trên đồ thị lớn), lúc đó mới cân nhắc Neo4j.
Lúc trả lời
- Router thêm một ý định cho câu hỏi toàn cục. Các câu
multi_hopdùng thêm nhánh đồ thị. - Liên kết thực thể. Tìm các nút khớp với thực thể trong câu hỏi đã viết lại (khớp tên bằng trigram, khớp nghĩa bằng embedding).
- Mở rộng 1–2 bước từ các nút đó, giới hạn số cạnh và ưu tiên cạnh xuất hiện ở nhiều chunk.
- Nhánh thứ tư của RRF. Các chunk nguồn của những cạnh tìm được trở thành một danh sách xếp hạng, gộp cùng dense, full-text và trigram. Phần còn lại giữ nguyên: rerank, ngưỡng, ghép ngữ cảnh đánh số.
- Ghi debug. Thực thể nào được nhận ra và đã đi qua những cạnh nào được ghi vào
retrieval_debug, cạnh các trường hiện có, để gỡ lỗi được như bây giờ.
Chi phí và cách bật
Trích xuất tốn thêm một lần gọi LLM cho mỗi chunk lúc nạp, đây là phần đắt nhất. Vì vậy:
- đồ thị là tuỳ chọn theo từng agent, mặc định tắt, giống
contextualRetrievalvàparentChildhiện tại; - mọi lần gọi trích xuất đều ghi vào
rag_usage_logsvới mục đích riêng, và tính vào ngân sách tháng như các lần gọi khác; - lúc chat, liên kết thực thể và đi trên đồ thị là truy vấn SQL, không thêm lần gọi model nào ngoài những lần đã có.
Đo thế nào trước khi tin
Không bật cho mọi người chỉ vì nghe hay. Kế hoạch đánh giá:
- Dựng một bộ câu hỏi chia ba nhóm: tra một sự kiện, nối quan hệ nhiều bước, và toàn cục. Mỗi câu ghi rõ những đoạn nào là đúng.
- Chạy cùng bộ câu hỏi với đồ thị bật và tắt, trên cùng tài liệu.
- So sánh: tỉ lệ đoạn đúng lọt vào ngữ cảnh, câu trả lời đúng hay sai, chi phí và độ trễ mỗi lượt.
- Chỉ giữ lại nếu nhóm nhiều bước và nhóm toàn cục tốt lên rõ, và nhóm tra một sự kiện không tệ đi.
Rủi ro đã thấy trước
- Trích xuất sai thì đồ thị sai, và lỗi khó thấy hơn một đoạn văn tìm nhầm. Phải xem được đồ thị trong trang quản trị.
- Thực thể trùng hoặc gộp nhầm làm đứt hoặc nối nhầm quan hệ.
- Cập nhật: sửa một tài liệu thì phải xoá đúng các nút và cạnh chỉ đến từ tài liệu đó, giữ lại những nút mà tài liệu khác cũng nhắc tới.
- Prompt injection đi vào đồ thị: tài liệu có thể chứa câu lệnh nhằm vào model trích xuất. Mô tả thực thể phải được coi là dữ liệu, không bao giờ là chỉ thị, giống cách các đoạn văn đang được xử lý.
Tiến độ sẽ được cập nhật ở trang dự án GraphRAG.