Dữ liệu dùng để ước lượng tham số hoặc hiệu chỉnh mô hình không nên đồng thời là dữ liệu chính để đánh giá hiệu năng cuối cùng. Với dữ liệu rang theo thời gian, cần đặc biệt tránh chia ngẫu nhiên từng điểm đo nếu những điểm gần nhau thuộc cùng một mẻ. Cách đó làm tập kiểm tra quá giống tập huấn luyện. Tách theo mẻ hoặc theo nhóm điều kiện thường phản ánh tốt hơn tình huống dự báo một mẻ mới.
Xác định biến cần dự báo
Mô hình có thể dự báo nhiệt độ hạt, độ ẩm, khối lượng hoặc một trạng thái khác. Mỗi biến có thang đo và mức sai số khác nhau. Nếu mục tiêu là điều khiển quá trình, cần xem cả sai lệch theo thời gian chứ không chỉ sai số cuối mẻ. Nếu mục tiêu là nghiên cứu cơ chế, khả năng mô tả xu hướng có thể quan trọng hơn độ chính xác tại từng điểm. Tiêu chí đánh giá phải đi từ mục tiêu sử dụng.
Kiểm tra nhiều điều kiện
Một mẻ có kết quả đẹp không chứng minh mô hình tổng quát. Fabbri và cộng sự kiểm tra mô hình truyền nhiệt và truyền ẩm bằng dữ liệu thực nghiệm; Bottazzi và cộng sự sử dụng dữ liệu tham chiếu để đánh giá mô hình ở các điều kiện vận hành khác nhau. Logic quan trọng là phải tạo đủ biến thiên để kiểm tra phạm vi mà mô hình tuyên bố có thể sử dụng. Nếu chỉ kiểm tra một điều kiện, giới hạn tổng quát hóa vẫn chưa được biết.
Đánh giá theo giai đoạn
Một mô hình có thể có sai số trung bình thấp nhưng vẫn thất bại tại một giai đoạn quan trọng. Vì vậy, nên xem sai lệch theo thời gian và theo các mốc vật lý của quá trình. Có thể báo cáo độ lệch trung bình, sai số tuyệt đối và phần dư theo giai đoạn. Khi cần, có thể so sánh cả hình dạng đường cong. Cách đọc này giúp nhận ra mô hình sai ở đâu thay vì chỉ biết một con số tổng hợp.
Kiểm tra khi đầu vào thay đổi
Khả năng dự báo cần được thử trên nguyên liệu, khối lượng hoặc điều kiện thiết bị khác trong phạm vi dự kiến. Nếu mô hình chỉ hoạt động ở một khoảng rất hẹp, phạm vi sử dụng phải được ghi rõ. Không nên dùng ngoại suy như bằng chứng tổng quát. Khi dữ liệu mới nằm ngoài phân bố huấn luyện, hệ thống nên báo rằng mức tin cậy đã giảm thay vì tiếp tục đưa ra dự báo với cùng cách diễn giải.
Báo cáo giới hạn và điều kiện áp dụng
Một mô hình được xác thực tốt vẫn là mô hình trong một phạm vi cụ thể. Báo cáo cần nêu dữ liệu dùng để xây dựng, dữ liệu kiểm tra, điều kiện thử, biến dự báo, chỉ số đánh giá và những trường hợp mô hình chưa được kiểm tra. Điều này giúp người dùng biết khi nào có thể dựa vào kết quả và khi nào cần đo hoặc kiểm tra bổ sung. Xác thực tốt không làm mô hình trở thành chân lý chung; nó làm ranh giới sử dụng trở nên rõ ràng.
Xác thực không phải chỉ là chia dữ liệu
Một phép chia huấn luyện–kiểm tra đúng vẫn chưa đủ nếu dữ liệu kiểm tra không đại diện cho tình huống sử dụng. Nếu mô hình dự kiến dùng cho mẻ tương lai, dữ liệu kiểm tra nên phản ánh những mẻ tương lai. Nếu dự kiến chuyển sang nguyên liệu khác, cần có thử nghiệm tương ứng. Tiêu chí xác thực vì thế phải bắt đầu từ kịch bản sử dụng, sau đó mới quyết định cách chia dữ liệu.
Khi kết quả không đạt
Nếu mô hình thất bại trên một nhóm điều kiện, không nên xóa nhóm đó chỉ để tăng điểm hiệu năng. Nhóm thất bại có thể cho biết giới hạn thật của mô hình. Có thể bổ sung biến đầu vào, điều chỉnh giả định hoặc xây mô hình cho một phạm vi hẹp hơn. Quan trọng là mọi thay đổi sau xác thực phải được đánh giá lại trên dữ liệu độc lập; nếu dùng lại cùng dữ liệu để chứng minh cải thiện, kết quả sẽ khó còn là kiểm tra độc lập.
Xác thực cần lặp lại khi mô hình thay đổi
Nếu bổ sung biến, thay đổi cấu trúc mô hình hoặc cập nhật tham số, phiên bản mới phải được xem như một mô hình cần xác thực lại. Không nên dùng kết quả của phiên bản cũ làm bằng chứng trực tiếp cho phiên bản mới. Lịch sử phiên bản giúp biết mô hình nào đã được kiểm tra trên dữ liệu nào. Đây là yêu cầu quan trọng khi mô hình trở thành một phần của quy trình sản xuất.
Một mô hình tốt phải có hồ sơ phạm vi
Hồ sơ mô hình nên ghi nguồn dữ liệu, điều kiện huấn luyện, biến đầu vào, biến đầu ra, phương pháp đánh giá và giới hạn đã biết. Nếu người dùng không biết mô hình được xây trên loại hạt hoặc máy nào, họ khó biết kết quả có phù hợp hay không. Hồ sơ phạm vi không làm giảm giá trị của mô hình; ngược lại, nó biến một kết quả nghiên cứu thành một công cụ có thể sử dụng có trách nhiệm.
Đánh giá độc lập sau triển khai
Sau khi mô hình được đưa vào sử dụng, dữ liệu mới vẫn cần được theo dõi để phát hiện khi hiệu năng thay đổi. Xác thực vì thế không phải một dấu mốc duy nhất ở cuối nghiên cứu mà là một phần của vòng đời mô hình.
Tài liệu tham khảo
- Fabbri, A. et al. (2011). Numerical modeling of heat and mass transfer during coffee roasting process. Journal of Food Engineering, 105, 264–269. DOI: 10.1016/j.jfoodeng.2011.02.030.
- Bottazzi, D. et al. (2012). A numerical approach for the analysis of the coffee roasting process. Journal of Food Engineering, 112, 243–252. DOI: 10.1016/j.jfoodeng.2012.04.009.
- Catão, E. C. et al. (2022). Coffee-roasting variables associated with volatile organic profiles and sensory evaluation using multivariate analysis. Applied Food Research, 2, 100223. DOI: 10.1016/j.afres.2022.100223.
Data used to estimate parameters or calibrate a model shouldn't also be the main data used to evaluate final performance. For time-based roasting data, you especially need to avoid randomly splitting individual measurement points if nearby points belong to the same batch. Doing so makes the test set too similar to the training set. Splitting by batch or by condition group usually fits better.
Defining the variable to predict
A model can predict bean temperature, moisture, mass, or another state. Each variable has a different scale and error level. If the goal is process control, you need to look at deviation over time, not just the final-batch error. If the goal is mechanistic research, the ability to describe a trend can matter more than accuracy at each individual point. The evaluation criteria need to be defined based on the intended use of the model.
Testing across multiple conditions
One good-looking batch doesn't prove a model generalizes. Fabbri and colleagues tested a heat- and moisture-transfer model using experimental data; Bottazzi and colleagues used reference data to evaluate the model under different operating conditions. The important logic is creating enough variation to test the range the model claims to cover. If the model is only tested under narrow conditions, its claimed scope of use should be correspondingly narrow.
Evaluating by stage
A model can have low average error but still fail at an important stage. So it's worth looking at deviation over time and at physical process milestones. You can report average deviation, absolute error, and residuals by stage. When needed, curve shapes can also be compared. This way of reading helps identify where the model is wrong, rather than only knowing that it is wrong somewhere.
Testing when inputs change
Predictive ability needs to be tested on different raw material, mass, or equipment conditions within the intended scope. If the model only works within a very narrow range, that scope of use needs to be clearly stated. Extrapolation shouldn't be used as evidence of general validity. When new data falls outside the training distribution, the system should signal reduced confidence rather than continuing to give predictions at the same confidence level.
Reporting limits and conditions of application
A well-validated model is still a model within a specific scope. A report needs to state the data used to build it, the test data, test conditions, predicted variables, evaluation metrics, and cases the model hasn't been tested on. This helps users know when they can rely on the result and when additional measurement or checking is needed. Good validation doesn't make a model universal — it makes clear exactly where the model is trustworthy.
Validation isn't just splitting data
A correct train-test split still isn't enough if the test data isn't representative of the intended use case. If the model is meant for future batches, the test data should reflect future-like batches. If it's meant to extend to different raw material, a corresponding test is needed. So the validation criteria must start from the usage scenario before deciding on a splitting method.
When results fall short
If a model fails on a group of conditions, that group shouldn't be removed just to boost the performance score. A failing group can reveal the model's real limits. You can add input variables, adjust assumptions, or build a model for a narrower scope instead. What matters is that any change made after validation must be re-evaluated on independent data; reusing the same data to both fix and re-confirm the model doesn't count as valid re-validation.
References
- Fabbri, A. et al. (2011). Numerical modeling of heat and mass transfer during coffee roasting process. Journal of Food Engineering, 105, 264–269. DOI: 10.1016/j.jfoodeng.2011.02.030.
- Bottazzi, D. et al. (2012). A numerical approach for the analysis of the coffee roasting process. Journal of Food Engineering, 112, 243–252. DOI: 10.1016/j.jfoodeng.2012.04.009.
- Cataão, E. C. et al. (2022). Coffee-roasting variables associated with volatile organic profiles and sensory evaluation using multivariate analysis. Applied Food Research, 2, 100223. DOI: 10.1016/j.afres.2022.100223.