Đề xuất kiến trúc xử lý tài liệu thông minh đa tầng cho trích xuất thông tin hồ sơ nhập học sử dụng Florence-2 và TrOCR

Abstract

Cùng với xu thế số hóa trong giáo dục đại học, quy trình tiếp nhận hồ sơ nhập học trực tuyến phát sinh nhu cầu xử lý tài liệu số một cách tự động và có cấu trúc. Hồ sơ của thí sinh thường gồm nhiều loại giấy tờ như căn cước công dân, giấy khai sinh, học bạ, giấy chứng nhận kết quả thi, chứng chỉ ngoại ngữ và giấy khen. Các tài liệu này thường được nộp dưới dạng ảnh chụp hoặc PDF với chất lượng không đồng nhất, đồng thời có thể chứa chữ in, chữ viết tay và bảng biểu trên cùng một trang, gây khó khăn cho quá trình kiểm duyệt thủ công. Xuất phát từ thực tế đó, đề án đề xuất kiến trúc xử lý tài liệu thông minh đa tầng nhằm tự động trích xuất thông tin từ hồ sơ nhập học. Pipeline gồm năm giai đoạn: tiền xử lý ảnh, phân tích bố cục, định tuyến kiểu chữ, nhận dạng ký tự chuyên biệt và cấu trúc hóa đầu ra. Trong đó, Florence-2 được fine-tune để phân loại tài liệu và định vị trường thông tin; EfficientNet-B0 phân loại vùng ảnh thành chữ in hoặc chữ viết tay; VietOCR xử lý chữ in tiếng Việt; TrOCR được fine-tune cho chữ viết tay; và OpenCV hỗ trợ phục hồi cấu trúc bảng biểu. Kết quả thực nghiệm cho thấy Florence-2 đạt Accuracy 98,55% và F1-score 99,01% trên 484 mẫu kiểm thử. EfficientNet-B0 đạt 99,80% ở các chỉ số Accuracy, Precision, Recall và F1-score trên 7.506 mẫu. Với chữ viết tay, TrOCR đạt CER 4,19%, WER 8,26% và Exact Match Accuracy 83,77%. Ở cấp pipeline trang đơn, hệ thống đạt F1-score 95,7%, Exact Match 77,5% và latency trung bình 2078 ms/mẫu. Các kết quả này cho thấy kiến trúc IDP lai ghép là hướng tiếp cận khả thi để chuyển đổi hồ sơ nhập học phi cấu trúc thành dữ liệu JSON có cấu trúc, phục vụ lưu trữ, kiểm tra và đối sánh nghiệp vụ về sau.