Ứng dụng máy học và xử lý ngôn ngữ tự nhiên trong phân loại tự động yêu cầu khách hàng

Abstract

Phân loại yêu cầu khách hàng là khâu quan trọng trong hệ thống chăm sóc khách hàng ở hầu hết doanh nghiệp kinh doanh thương mại, cũng như với công ty Journeyhorizon. Hiện nay, giải pháp phổ biến cho vấn đề này sử dụng xử lý ngôn ngữ tự nhiên kết hợp mô hình máy học hoặc học sâu. Hạn chế chung của các mô hình máy học là chất lượng phân loại chưa cao. Trong khi đó, các mô hình học sâu yêu cầu cao về tài nguyên tính toán và chi phí triển khai. Trong nghiên cứu này, tác giả xây dựng quy trình phân tích, kiểm định các mô hình trí tuệ nhân tạo cho vấn đề đặt ra dựa trên dữ liệu thu thập từ hoạt động kinh doanh thực tiễn, từ đó đề xuất giải pháp tối ưu, khả thi với các doanh nghiệp vừa và nhỏ (VVN). Quy trình đề xuất bao gồm 3 thành phần chính: (1) Hệ thống các phương pháp máy học và học sâu có chất lượng và cấu hình phù hợp với điều kiện doanh nghiệp VVN trên cơ sở đảm bảo cân bằng giữa chi phí và hiệu quả; (2) Quy trình thu thập và xử lý bộ dữ liệu hội thoại thực tế với tính đại diện cao, làm cơ sở cho quá trình kiểm định; (3) Hệ thống độ đo với các chỉ số đánh giá chuẩn (Accuracy, Precision, Recall, F-Score, ROC, và AUC) cho phép đánh giá mô hình một cách toàn diện, đảm bảo tính khách quan và khoa học trong việc so sánh giữa các mô hình với nhau. Quy trình này đã được thử nghiệm tại công ty Journeyhorizon. Kết quả thực nghiệm cho thấy giải pháp sử dụng mô hình học sâu DistilBERT được đánh giá tốt nhất. Xét về độ chính xác, giải pháp này cùng với giải pháp sử dụng BERT là hai giải pháp có độ chính xác cao nhất, với các chỉ số F1-Score, Accuracy, Precision, Recall đều đạt mức trên 95%. Tuy nhiên, DistilBERT yêu cầu ít hơn về tài nguyên tính toán cũng như thời gian thực thi. Giải pháp được lựa chọn không chỉ thích ứng với thực trạng của công ty, góp phần nâng cao trải nghiệm khách hàng mà còn phù hợp với các doanh nghiệp VVN khác.