关于农产品质量安全追溯数据对接的深入探讨

一    引言

近年来，随着国务院和国家部委一系列意见和政策的出台，我国农产品质量安全追溯体系建设进入了实质性推进阶段。各部委纷纷出台相关政策，划拨专用经费用于农产品质量安全追溯体系的建设，并逐渐总结、完善、形成了一套高效适用的工作流程和方法。典型的如农业部国家农产品质量安全追溯平台、商务部牵头的重要产品追溯体系及平台等。

国家平台的建立，从某种程度上能够起到规范追溯体系建设、充分发挥政府公信力保障农产品质量安全的作用，但也遇到了非常棘手的问题。随着全国如火如荼的追溯体系建设的快速推进，各地各级政府部门、行业协会、电商服务机构、甚至企业与合作社都先后建立起了农产品追溯体系和平台系统，如直接弃用这些系统改用国家平台，势必造成巨大浪费，且数据的重新录入与迁移工作量巨大。那么唯一的选择就是将各级平台对接到国家平台当中，实现追溯数据的分布存储和集中对接，并在中心端实现不同环节、不同责任主体农产品追溯数据的衔接，完成追溯链的联通。这样才能在保证现有软硬件设施及数据资产效益的情况下，实现追溯体系投入产出效益的最大化。

由此引出追溯数据对接的概念，不同于普通的数据项目中的数据同步和数据ETL（指数据的抽取、转换和装载）过程。追溯数据的对接是指将不同追溯平台和系统当中多源异构，标准各异的追溯数据统一对接到中心端，构建追溯数据统一数据湖，并能够在此基础上实现供应链中不同责任主体农产品追溯数据的“上下关联”，以保证农产品在供应链中流动过程的正向跟踪和反向溯源。

二    农产品质量安全追溯数据对接的实质

如果要更加深入地了解农产品质量安全追溯数据对接的实质，就必须要了解农产品内部追溯和外部追溯的关系。内部追溯是当前责任主体从收到其他责任主体的一个或多个可追溯农产品实体作为其内部生产/加工流程的输入，到该农产品实体转变为当前责任主体出产的农产品/加工/销售实体之间过程的跟踪与溯源。而外部追溯则是可追溯农产品实例从一个贸易伙伴（可追踪农产品来源）物理地移交给另一个（可追溯农产品收件人）的过程的跟踪和溯源[[1]]。只有将外部追溯和内部追溯关联起来，才能够实现真正的全过程追溯。因此，全过程追溯是覆盖整个供应链的、连接农产品生产经营主体内部生产/加工以及农产品在供应链中的流动，实现从农产品种/养殖环节到零售终端的正向跟踪，以及从零售终端到农产品种/养殖环节的反向溯源的过程。任何一个环节的缺失都会造成整个农产品追溯链条的断裂。

图1内部追溯、外部追溯与全过程追溯的关系

由此可明确一点，追溯数据的对接不同于单纯的数据ETL，除了将数据导入中央存储以外，追溯数据对接还担负着保证追溯数据能够保证实现跨责任主体、覆盖整个供应链的农产品实体的跟踪和溯源的责任，这也是追溯数据对接与普通的数据工程的关键差异。

三    追溯数据对接操作的核心含义

明确了追溯数据对接与普通数据导入的差异，再来了解对接本身的含义。汉语词典中“对接”一次的定义是：将各部分端部的对接部接合固定起来。可以想象并操作“对接”这个动作的过程，会发现在实际对接的过程中，对接的对象或部分必定有且至少有一个是相对静止的，其他的对象或部分则处于运动中，去不断找寻静止的对象或部分，直至达到完全接合，则该部分的对接完成。再观察宇宙飞船或空间站的对接，也是同样的过程。由此可以总结出一个规律：如果要实现对接，那么对接各方中至少要有一个是相对固定或静止的，才能保证对接过程的实现。

数据的对接也是如此。如果参与一次对接的两个数据集的数据元[[2]]都在变化着，那么数据对接的过程是不可能完成的。只有其中一个数据集的数据元固定，其他数据集才有可能依据相应规则将数据存储到这个数据集当中来。而这个数据元固定的数据集一定是中心端的数据集，因为所有其他第三方的数据集都要对接到这里。除了数据元相对固定，中心端数据集的数据元在设计上还必须能够保证整个追溯数据链的连接。更确切地说，按照国际公认的“One up, one down”[[3]]追溯最低要求，保证每个责任主体都至少能追溯到其上游原料供应责任主体，并向下游生产流通责任主体共享追溯数据，以通过每个责任主体追溯数据的前后衔接“串”起整个追溯数据链条。而其中的关键就是追溯数据元的设计。

四    追溯数据对接的实施步骤

通过以上分析，可以归纳出追溯数据对接的实施步骤：

1、数据元方案设计

为保证农产品质量安全追溯数据的顺利对接，实现数据集中与追溯数据关联的目标，需要预先根据所要对接的产品性质设计一套通用的追溯数据元标准，用于规范第三方数据向中心端数据湖上传数据。该数据元标准通常是中心端为保证跨供应链的追溯数据联通的最小数据元集合。

图2追溯数据对接的实施步骤

2、数据检验

需对要对接的第三方追溯数据进行整体检验，确定其是否满足对接要求。最重要的是第三方追溯数据是否包含了步骤1中所指定的核心追溯数据元标准。因为核心追溯数据元标准规定了保证追溯数据关联的最小数据集合，因此哪怕是一个数据元的缺失都可能造成整个追溯链的断裂。因此不满足要求的第三方追溯数据提供者需要对相关系统进行改造后，使之能够满足核心追溯数据元的要求，才能实施数据对接。

3、建立数据元映射

满足要求的第三方追溯数据集需要依据追溯核心数据元标准，建立第三方数据集与中心端数据湖数据元的一一映射关系，以保证第三个数据以规范统一的格式进入数据湖，以便开展后续的数据关联和分析工作。

4、数据上传

映射关系建立完成，则可启动第三方追溯数据的上传。为保证数据上传不会重复，需要对该上传过程进行控制，如设计数据同步的CDC (change data capture)）功能，仅实现增量数据的及时上传与同步。

5、数据连接与分析

数据上传同步完成，在中心端数据湖当中就有了农产品在供应链不同环节、不同责任主体间流动的追溯数据，就能够实现以全过程追溯为目的的追溯数据关联查询与分析了，也就是通常所讲的全过程追溯。

五    中央存储与分布式存储之争

追溯数据对接与同步的中央存储与分布存储之争由来已久。追溯数据上传至统一的中心端数据存储，能够最大程度保证数据的规范性，确保追溯数据的连通性，有利于全过程追溯的实现。但相应地，会在很大程度上丧失灵活性。目前GS1（GDSN，全球数据同步网络）和大多数国家追溯平台都采用这种方式。

而分布式存储则采用一种追溯数据“按需存取”的方式。追溯数据依照相关标准存放在第三方数据存储上，需要数据查询时，由数据代理通过互联网发出请求到相应的第三方追溯系统，调取权限范围允许的数据，由数据代理返回给查询发起者。这种方式的优点是相对灵活，但由于农产品生产经营责任主体对追溯本能的抗拒，如果缺乏有效的机制作为保障，实现预期效果有一定难度。欧盟提出的“Generic Enabler”以及现阶段如火如荼的区块链就是采用这样的思路。目前可见的成功案例除了一些内部供应链完整且完全可控的大型企业（如沃尔玛），尚未见其他成功案例。

具体采用何种方式进行追溯数据对接，最终还是取决于具体的项目需求，权衡利弊后做出选择。

六    智云天地在追溯数据对接方面所做的工作

预料到追溯数据对接会成为农产品追溯领域的刚性需求，智云天地农业信息技术（北京）有限公司在三年前就开始布局并实现追溯数据对接的技术实现。所做的具体工作包括：

1、参照发达国家全过程追溯系统及其标准制定中央端核心数据元（最小集合）标准。为农产品质量安全追溯数据对接提供规范参考；

2、制定了第三方追溯系统对接数据接口规范。通过“推”模式，基于微服务架构，实现第三方追溯系统数据上传、转换与存储；

3、开发通用农产品追溯第三方数据对接平台，检验第三方数据合法性，开发第三方（企业和服务商）数据对接微服务接口，实现农产品生产经营责任主体统一注册备案、第三方追溯数据的数据元映射管理、数据上传，以及中心端基于统一追溯业务模型的全过程追溯数据的关联与可视化分析呈现等功能。

图3智云通用农产品质量安全追溯数据对接示意图

图4智云通用追溯数据对接平台中心端和第三方客户端界面

图5智云通用追溯数据对接平台中心端和第三方客户端界面

目前智云天地农业信息技术（北京）有限公司已经在北京市农业局“北京蔬菜”市域质量安全追溯平台建设项目中实现了大兴区、平谷区、昌平区、密云区、怀柔区、延庆区、顺义区、通州区等30余家企业内部追溯平台追溯数据与市域追溯平台的对接，实现了部分企业/合作社跨供应链的蔬菜产品追溯。

追溯体系的建设是一项复杂的系统工程，涉及到组织结构、追溯数据、软硬件系统和技术实现等多个必要条件。追溯数据对接作为数据与技术的重要组成部分，其重要性将会逐渐显现出来，特别对于我国追溯体系建设分散、缺乏统一性和规范性的情况下，已经成为我国追溯体系建设的主要瓶颈，并在某种程度上制约了追溯体系的可持续发展与规范化过程。因此，这一问题应该且必须得到解决。

本文只是讨论了追溯数据对接过程中的一些关键问题。由于水平所限，缺陷和问题在所难免，恳请各位领导专家批评指正。

侯宁

2018年12月13日