Tập dữ liệu của cả dây chuyền phải bắt đầu từ đơn vị quan sát
Một tập dữ liệu lớn không tự động trở thành tập dữ liệu tốt. Với một dây chuyền cà phê hòa tan, nếu dữ liệu được gom thành hàng trăm cột nhưng không xác định rõ mỗi hàng đại diện cho mẻ, thời điểm, dòng vật chất hay mẫu phân tích nào, việc mô hình hóa sẽ nhanh chóng trở nên khó kiểm soát.
Vì vậy, trước khi chọn cột dữ liệu, cần chọn đơn vị quan sát. Có thể có bảng theo mẻ sản xuất, bảng theo thời gian, bảng theo dòng vật chất và bảng theo mẫu phòng thí nghiệm. Chúng không nên bị ép vào một bảng duy nhất. Một mẻ có thể có hàng nghìn điểm đo nhiệt độ và lưu lượng, trong khi chỉ có vài kết quả phân tích hóa học. Hai loại dữ liệu này có tần suất khác nhau nhưng vẫn phải liên kết được bằng mã mẻ, thời gian và vị trí.
Mục tiêu của tập dữ liệu toàn dây chuyền không phải chỉ để dựng một mô hình dự báo. Nó còn phải cho phép truy ngược một kết quả về nguyên liệu, điều kiện vận hành và mẫu phân tích đã tạo ra kết quả đó. Vì thế, định danh và quan hệ giữa các bảng quan trọng không kém bản thân giá trị đo.
Lớp dữ liệu cần phủ từ nguyên liệu đến sản phẩm
Lớp đầu tiên là nguyên liệu: loại cà phê, lô nguyên liệu, trạng thái nguyên liệu, thông tin rang và những chỉ tiêu được đo trước khi đưa vào sản xuất. Lớp thứ hai là điều kiện công nghệ: thời gian, nhiệt độ, áp suất, lưu lượng, nồng độ, mức bồn, tốc độ thiết bị và trạng thái vận hành ở từng công đoạn.
Lớp thứ ba là dòng vật chất. Đây là phần nối trực tiếp với cân bằng vật chất: khối lượng hoặc lưu lượng đầu vào, dòng trung gian, dòng phụ, nước, chất khô và sản phẩm. Mỗi dòng cần một định danh ổn định để có thể nối dữ liệu giữa các công đoạn.
Lớp thứ tư là chất lượng. Nó có thể gồm độ ẩm, hoạt độ nước, độ hòa tan, màu, hàm lượng hóa học, chỉ tiêu cảm quan hoặc các kết quả phân tích chuyên sâu. Không phải chỉ tiêu nào cũng cần đo liên tục; điều quan trọng là biết mẫu lấy ở đâu, khi nào và đại diện cho đối tượng nào.
Lớp cuối là trạng thái vận hành và sự kiện. Khởi động, dừng máy, vệ sinh, thay đổi nguyên liệu, thay đổi thiết lập hoặc sự cố đều có thể làm thay đổi cách đọc dữ liệu cảm biến. Nếu những sự kiện này bị mất, mô hình có thể coi một đoạn dữ liệu bất thường là biến động tự nhiên của quá trình.
Một nghiên cứu về dây chuyền sấy phun cà phê hòa tan sử dụng dữ liệu vận hành thực tế để lập cân bằng khối lượng, năng lượng và exergy (mức khả dụng của năng lượng). Ví dụ này cho thấy dữ liệu thiết bị chỉ thực sự có ý nghĩa khi được đặt trong cấu trúc của cả quá trình.
Siêu dữ liệu, nguồn gốc dữ liệu và đồng bộ thời gian quyết định khả năng tái sử dụng
Một tập dữ liệu nghiên cứu dài hạn cần lưu siêu dữ liệu ngay từ lúc tạo dữ liệu. Mỗi biến nên có tên, định nghĩa, đơn vị, phương pháp đo, vị trí đo, tần suất, thiết bị hoặc phương pháp phân tích, giới hạn phát hiện khi có liên quan và quy tắc xử lý giá trị thiếu. Nếu một cột “temperature” xuất hiện mà không biết đó là nhiệt độ sản phẩm, khí hay thành thiết bị, giá trị của hàng triệu điểm đo giảm mạnh.
Nguồn gốc dữ liệu cũng phải được lưu. Một giá trị có thể đến trực tiếp từ cảm biến, được tính từ hai biến khác, được nhập từ phòng thí nghiệm hoặc được chỉnh sửa sau khi kiểm tra. Các trạng thái này không nên bị trộn lẫn. Khả năng truy nguyên giúp người dùng sau này biết đâu là dữ liệu gốc và đâu là dữ liệu đã qua xử lý.
Đồng bộ thời gian là một vấn đề lớn. Cảm biến có thể ghi theo giây, hệ thống điều khiển theo phút, phòng thí nghiệm theo mẫu và sản xuất theo mẻ. Không có một phép nội suy chung nào phù hợp cho mọi biến. Cần xác định biến nào có thể lấy trung bình, biến nào cần giữ cực đại hoặc cực tiểu, và biến nào phải gắn với thời điểm lấy mẫu chính xác.
Các nguyên tắc FAIR nhấn mạnh bốn yêu cầu: dữ liệu phải có thể tìm thấy, truy cập, liên thông và tái sử dụng. FAIR cũng nhấn mạnh định danh ổn định, siêu dữ liệu phong phú, thông tin nguồn gốc và điều kiện sử dụng. Với tập dữ liệu công nghiệp, những nguyên tắc này đặc biệt hữu ích vì dữ liệu thường sống lâu hơn một dự án nghiên cứu cụ thể.
Thiết kế tập dữ liệu để phục vụ mô hình mà không khóa tập dữ liệu vào một mô hình
Một lỗi phổ biến là thiết kế tập dữ liệu theo đúng cấu trúc của mô hình học máy đầu tiên. Cách đó có thể thuận tiện trong ngắn hạn nhưng làm mất khả năng tái sử dụng khi câu hỏi nghiên cứu thay đổi. Tập dữ liệu nền nên giữ dữ liệu đo và siêu dữ liệu tương đối nguyên bản; các bảng đặc trưng, dữ liệu huấn luyện và tập kiểm tra có thể được tạo ra như những lớp dẫn xuất.
Đối với dây chuyền sản xuất, có thể tổ chức dữ liệu theo các thực thể: nguyên liệu, mẻ, công đoạn, thiết bị, dòng vật chất, mẫu phân tích, kết quả chất lượng và sự kiện. Các thực thể liên kết bằng mã ổn định. Cách tổ chức này gần với tư duy mô hình hóa sản xuất hơn là một bảng tính phẳng khổng lồ. ISA-95, chẳng hạn, cung cấp một khung khái niệm để mô tả quan hệ giữa các hoạt động sản xuất và trao đổi thông tin giữa các lớp điều khiển và doanh nghiệp.
Một tập dữ liệu mở cũng không nhất thiết phải công khai mọi dữ liệu. Dữ liệu thương mại nhạy cảm có thể cần hạn chế quyền truy cập, nhưng siêu dữ liệu, cấu trúc, từ điển biến và thông tin về nguồn gốc vẫn có thể được công bố ở mức phù hợp. FAIR cho phép phân biệt khả năng tìm thấy siêu dữ liệu với quyền truy cập vào dữ liệu chi tiết.
Nếu tập dữ liệu được thiết kế từ đầu với định danh, siêu dữ liệu, quan hệ giữa các dòng và lịch sử biến đổi rõ ràng, nó có thể phục vụ nhiều việc: cân bằng vật chất, phát hiện bất thường, dự báo chất lượng, phân tích nguyên nhân, đánh giá năng lượng và xây dựng mô hình quá trình. Giá trị của tập dữ liệu vì thế nằm ở kiến trúc dữ liệu bền vững, không phải ở số lượng cột.
International Society of Automation. ISA-95 Series of Standards: Enterprise-Control System Integration.
GO FAIR. FAIR Principles and FAIRification guidance.
Tài liệu tham khảo
- Wilkinson, M. D. et al. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data, 3, 160018. DOI: 10.1038/sdata.2016.18.
- Vallejo-Castillo, D. et al. (2020). Conventional and Advanced Exergy and Exergoeconomic Analysis of a Spray Drying System: A Case Study of an Instant Coffee Factory in Ecuador. Energies, 13, 5622.
A whole-line dataset must start from the unit of observation
A large dataset doesn't automatically become a good dataset. For an instant-coffee line, if data is gathered into hundreds of columns without clearly defining what each row represents — a batch, a point in time, a material stream, or an analytical sample — modeling from that data can lead to serious misinterpretation.
So before choosing data columns, you need to choose the unit of observation. There can be a table by production batch, a table by time, a table by material stream, and a table by laboratory sample. These shouldn't be forced into a single table. A batch can have thousands of continuously logged points but only a handful of chemical-analysis results, and merging them into one row per batch can lose a great deal of information.
The goal of a whole-line dataset isn't just to build a prediction model. It also needs to allow tracing a result back to the raw material, operating conditions, and analytical sample that produced it. So identifiers and the relationships between observation tables need to be designed from the very start.
Data layers need to cover from raw material to product
The first layer is raw material: coffee type, raw-material lot, raw-material state, roasting information, and indicators measured before entering production. The second layer is process conditions: time, temperature, pressure, flow rate, concentration, tank level, equipment speed, and other operating parameters.
The third layer is material streams. This connects directly with mass balance: input mass or flow rate, intermediate streams, side streams, water, dry matter, and product. Each stream needs a stable identifier so data can be linked between stages.
The fourth layer is quality. This can include moisture, water activity, solubility, color, chemical content, sensory indicators, or in-depth analytical results. Not every indicator needs continuous measurement; what matters is knowing where, when, and how each sample was taken.
The final layer is operating state and events. Startup, shutdown, cleaning, raw-material changes, setting changes, or incidents can all change how sensor data should be read. If these events are lost, a model can treat an abnormal data segment as if it were normal operation.
A study on an instant-coffee spray-drying line used real operating data to build mass, energy, and exergy balances. This example shows equipment data only becomes truly meaningful once placed within a proper structure linking it to the other layers described above.
Metadata, data provenance, and time synchronization determine reusability
A long-term research dataset needs metadata recorded from the moment data is created. Each variable should have a name, definition, unit, measurement method, measurement location, frequency, equipment or analytical method, detection limit where relevant, and rules for handling missing values.
Data provenance also needs recording. A value can come directly from a sensor, be calculated from two other variables, be entered from the lab, or be edited after review. These states shouldn't be mixed together. Traceability helps future users know exactly how reliable a given number is.
Time synchronization is a major issue. Sensors may log by the second, control systems by the minute, the lab by sample, and production by batch. There's no single universal interpolation method suited to every variable. You need to determine which variables can be averaged, which need summing, and which shouldn't be interpolated at all.
FAIR principles emphasize four requirements: data must be findable, accessible, interoperable, and reusable. FAIR also emphasizes stable identifiers, rich metadata, provenance information, and clear conditions of use. For an industrial dataset, these principles help ensure data remains usable long after the original team has moved on.
Design the dataset to serve modeling without locking it into one model
A common mistake is designing the dataset to match exactly the structure of the first machine-learning model built. This can be convenient short-term but loses reusability once the research question changes. The underlying dataset should keep measured data and metadata separate from any model-specific transformation.
For a production line, data can be organized by entity: raw material, batch, process stage, equipment, material stream, analytical sample, quality result, and event. Entities are linked through stable codes. This organizing approach is close to the thinking behind standards like ISA-95 for integrating enterprise and control systems.
An open dataset also doesn't need to make every piece of data public. Sensitive commercial data may need restricted access, but metadata, structure, variable dictionary, and provenance information can still be published at an appropriate level. FAIR allows for authentication and access-control mechanisms where needed.
If a dataset is designed from the start with clear identifiers, metadata, relationships between streams, and change history, it can serve many purposes: mass balance, anomaly detection, quality prediction, root-cause analysis, energy assessment, and future digital-twin development. This is the real value of investing properly in dataset design from the beginning.
References
- Wilkinson, M. D. et al. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data, 3, 160018. DOI: 10.1038/sdata.2016.18.
- Vallejo-Castillo, D. et al. (2020). Conventional and Advanced Exergy and Exergoeconomic Analysis of a Spray Drying System: A Case Study of an Instant Coffee Factory in Ecuador. Energies, 13, 5622.
- International Society of Automation. ISA-95 Series of Standards: Enterprise-Control System Integration.
- GO FAIR. FAIR Principles and FAIRification guidance.