Trước hết phải xác định biến cần đối chiếu: nhiệt độ hạt, nhiệt độ môi trường, độ ẩm, khối lượng hoặc một biến quá trình khác. Cùng một biến nhưng khác vị trí đo cũng không nhất thiết tương đương. Fabbri và cộng sự mô phỏng nhiệt độ và độ ẩm bên trong hạt rồi so với dữ liệu thực nghiệm. Cách đối chiếu này rõ hơn so với việc lấy nhiệt độ hiển thị của máy làm đại diện cho mọi trạng thái trong hạt.
Sai số mô hình khác sai số đo
Nếu cảm biến có sai số vài độ, chênh lệch nhỏ giữa mô hình và dữ liệu đo chưa chắc phản ánh hạn chế của mô hình. Ngược lại, một sai lệch lớn lặp lại theo cùng giai đoạn của nhiều mẻ có thể là dấu hiệu mô hình thiếu một cơ chế quan trọng. Cần có ước lượng độ tin cậy của phép đo để biết khoảng chênh lệch nào có thể được giải thích bởi hệ đo. Điều này làm cho đánh giá mô hình gắn với metrology thay vì chỉ nhìn khoảng cách số học.
Sai lệch thay đổi theo giai đoạn rang
Rang không phải quá trình có một cơ chế duy nhất từ đầu đến cuối. Bay hơi ẩm, truyền nhiệt và phản ứng rang thay đổi theo thời gian. Vì vậy, sai lệch nên được xem theo từng giai đoạn thay vì chỉ tính một RMSE cho toàn mẻ. Một chỉ số tổng hợp có thể che giấu việc mô hình rất chính xác ở đầu mẻ nhưng lệch rõ ở giai đoạn sau. Phân tích theo thời gian giúp tìm nơi mô hình bắt đầu mất khả năng mô tả.
Chọn chỉ số và cách trực quan hóa
RMSE hoặc MAE có thể mô tả độ lệch trung bình, nhưng không cho biết hướng sai lệch. Biểu đồ phần dư theo thời gian có thể cho thấy mô hình luôn cao hơn hoặc thấp hơn dữ liệu ở một vùng. So sánh đường cong cũng giúp nhận ra sai lệch về thời điểm, biên độ hoặc hình dạng. Không có một chỉ số duy nhất đủ cho mọi mục tiêu. Nếu mô hình dùng để điều khiển, sai lệch ở một mốc quá trình quan trọng có thể nghiêm trọng hơn cùng một sai lệch ở giai đoạn ít ảnh hưởng.
Ngưỡng chấp nhận phải gắn với mục tiêu
Một sai lệch có thể chấp nhận cho mục đích nghiên cứu cơ chế nhưng không chấp nhận khi dùng để dự báo sản phẩm hoặc điều khiển máy. Bottazzi và cộng sự sử dụng mô hình để phân tích điều kiện vận hành và khả năng dự báo, cho thấy giá trị của mô hình phụ thuộc mục tiêu sử dụng. Vì vậy, ngưỡng không nên chọn chỉ vì nó làm tỷ lệ đạt cao. Cần xác định trước sai lệch nào có hậu quả đối với quyết định mà mô hình hỗ trợ.
Khi mô hình vẫn hữu ích dù còn sai lệch
Không mô hình thực tế nào phải khớp tuyệt đối mọi điểm đo mới có giá trị. Nếu sai lệch được hiểu rõ, ổn định trong phạm vi xác định và không ảnh hưởng đến quyết định cần đưa ra, mô hình vẫn có thể hữu ích. Ngược lại, sai lệch không ổn định hoặc tăng mạnh khi điều kiện thay đổi là dấu hiệu cần hiệu chỉnh hoặc giới hạn phạm vi sử dụng. Kết quả cuối cùng nên là một tuyên bố về mức độ phù hợp, không phải nhãn “đúng” hoặc “sai”.
Độ lệch có cấu trúc và độ lệch ngẫu nhiên
Một phần dư dao động quanh không với không có xu hướng có thể khác về ý nghĩa so với phần dư liên tục tăng trong một giai đoạn. Độ lệch có cấu trúc thường gợi ý mô hình bỏ sót một quan hệ hoặc một điều kiện vận hành. Độ lệch ngẫu nhiên có thể phù hợp hơn với giới hạn đo hoặc biến thiên tự nhiên. Vì vậy, phân tích phần dư nên xem cả hình dạng theo thời gian, không chỉ giá trị trung bình.
So sánh theo nhiều mẻ
Một mẻ lệch không đủ để quyết định mô hình thất bại. Cần xem liệu kiểu lệch có lặp lại ở những mẻ khác hay chỉ xuất hiện trong một điều kiện đặc biệt. Nếu sai lệch lặp lại cùng giai đoạn, đó là bằng chứng mạnh hơn về một vấn đề trong mô hình hoặc dữ liệu. Nếu chỉ xuất hiện một lần, cần kiểm tra nguyên liệu và thiết bị trước khi sửa mô hình.
Sai lệch nên được đặt trong bối cảnh vật lý
Một mô hình truyền nhiệt có thể lệch vì giả định về hình học hạt, tính chất vật liệu hoặc điều kiện biên. Fabbri và cộng sự đã xét các hình học khác nhau của hạt trong mô hình truyền nhiệt và truyền ẩm. Điều này nhắc rằng sai lệch không chỉ là vấn đề thuật toán; nó có thể phản ánh mức độ đơn giản hóa vật lý. Khi phân tích phần dư, cần quay lại giả định của mô hình để tìm lời giải thích.
Sai lệch có thể thay đổi theo thiết bị
Một mô hình được xây trên máy thử nghiệm có thể không giữ cùng sai lệch khi chuyển sang máy khác. Bottazzi và cộng sự đã xem xét mô hình trong điều kiện vận hành và dùng dữ liệu tham chiếu để đánh giá khả năng dự báo. Vì vậy, thiết bị là một phần của phạm vi xác thực. Nếu mục tiêu là chuyển mô hình, cần có dữ liệu của thiết bị đích thay vì chỉ suy luận từ máy ban đầu.
Tài liệu tham khảo
- Fabbri, A. et al. (2011). Numerical modeling of heat and mass transfer during coffee roasting process. Journal of Food Engineering, 105, 264–269. DOI: 10.1016/j.jfoodeng.2011.02.030.
- Burmester, K. et al. (2008). Analysis of the heat and mass transfer during coffee batch roasting. Journal of Food Engineering, 78, 1141–1148.
- Bottazzi, D. et al. (2012). A numerical approach for the analysis of the coffee roasting process. Journal of Food Engineering, 112, 243–252. DOI: 10.1016/j.jfoodeng.2012.04.009.
First, you need to define the variable being compared: bean temperature, ambient temperature, moisture, mass, or another process variable. The same variable measured at a different position isn't necessarily equivalent either. Fabbri and colleagues simulated temperature and moisture inside the bean, then compared against experimental data. This comparison is clearer than taking a machine's displayed temperature and treating it as the bean's actual state.
Model error differs from measurement error
If a sensor has an error of a few degrees, a small gap between the model and measured data may not reflect a model limitation. Conversely, a large deviation repeating at the same stage across many batches can signal the model is missing an important mechanism. You need an estimate of measurement reliability to know what range of difference the measurement system itself could explain.
Deviation changes by roasting stage
Roasting isn't a process with a single mechanism from start to finish. Moisture evaporation, heat transfer, and roasting reactions change over time. So deviation should be viewed stage by stage rather than calculating a single RMSE for the whole batch. A combined indicator can hide the fact that the model is very accurate early in the batch but clearly off later.
Choosing indicators and visualization
RMSE or MAE can describe average deviation but don't reveal the direction of error. A residual plot over time can show the model consistently running higher or lower than the data in one region. Comparing curve shapes also helps reveal timing, amplitude, or shape mismatches. No single indicator suffices for every goal.
Acceptance threshold needs to match the goal
A deviation acceptable for mechanistic research may not be acceptable when used for product prediction or machine control. Bottazzi and colleagues used the model to analyze operating conditions and predictive ability, showing the model's value depends on its intended use. So a threshold shouldn't be chosen just because it produces a high pass rate.
When a model is still useful despite deviation
No practical model needs to match every measured point exactly to be valuable. If the deviation is well understood, stable within a defined range, and doesn't affect the decision that needs making, the model can still be useful. Conversely, deviation that's unstable or grows sharply as conditions change is a sign it needs recalibrating or its scope of use needs limiting.
Structured deviation versus random deviation
A residual oscillating around zero with no trend can have a different meaning than a residual continuously increasing over a stage. Structured deviation usually suggests the model is missing a relationship or an operating condition. Random deviation may fit better with measurement limits or natural variation. So residual analysis should look at shape over time, not just the average value.
Comparing across multiple batches
One deviating batch isn't enough to decide the model has failed. You need to see whether the pattern of deviation repeats in other batches or only appears under a special condition. If the deviation repeats at the same stage, that's stronger evidence of a problem in the model or the data. If it appears only once, raw material and equipment should be checked before revising the model.
References
- Fabbri, A. et al. (2011). Numerical modeling of heat and mass transfer during coffee roasting process. Journal of Food Engineering, 105, 264–269. DOI: 10.1016/j.jfoodeng.2011.02.030.
- Burmester, K. et al. (2008). Analysis of the heat and mass transfer during coffee batch roasting. Journal of Food Engineering, 78, 1141–1148.
- Bottazzi, D. et al. (2012). A numerical approach for the analysis of the coffee roasting process. Journal of Food Engineering, 112, 243–252. DOI: 10.1016/j.jfoodeng.2012.04.009.