智慧农贸市场监管信息大数据该如何建

汇聚该地区各区智慧农贸平台数据，包括全市及各行政区的农贸市场GIS地图分布信息、基础信息、交易信息、快速检测信息、设备设施信息、常态化监管（含防疫监管）信息、消费者投诉信息、台账信息以及各市场详细信息，通过数据接入、清洗转换、关联融合，形成数据资源库，为农贸市场运行监测、决策分析提供数据支撑。

（1）数据梳理

针对具体数据应用需求、每项资源情况进行资源的梳理，针对资源的字段、共享的情况进行整理确定。

Ø 前置机数据接入

采用前置交换模式，各区智慧农贸平台业务数据库通过前置交换方式，按照所需数据需求，将业务数据以安全的方式传输到前置交换机，同时进行一定的数据格式转换、数据质量调优，实现农贸业务数据的采集。

Ø 数据读取

从源系统抽取数据或从指定位置读取数据，检查数据是否与数据定义一致：

不一致的停止接入，并重新进行数据的探查和定义；并对数据进行字符集转换等，将其转成符合数据处理要求的格式。

Ø 数据对账

针对数据接入环节，对数据提供方和数据接入方在某一对账节点的完整性、一致性、正确性进行核对和检验的过程。

Ø 任务管理

通过任务管理方式，实现多种场景的任务调度机制，对数据接入的任务进行多角度的任务监控，及时解决存在问题，恢复数据传输。

（2）数据处理

Ø 数据清洗

数据清洗是对业务数据中不符合标准规范或者无效的数据进行相关操作。在进行数据整合之前先定义数据的清洗规则，并对符合清洗规则的数据设置数据的错误级别。当进行数据整合过程中遇到符合清洗规则的数据时，系统将把这些业务数据置为问题数据，并根据错误的严重程度进行归类。

Ø 数据转换

不同系统有不同的数据结构定义，数据汇聚在一起后就会产生数据格式不规范统一、数据命名不规范统一、数据编码不规范统一、数据标识不规范统一。需要对汇集的数据进行数据格式规范统一、数据命名规范统一、数据编码规范统一、数据标识不规范统一等数据转换处理。

Ø 数据关联

数据关联需要完成在不同数据集之间的关联，实现在不同数据集的联动， 为数据治理、业务应用的需求提供支撑。

Ø 数据比对

通过数据比对实现对两个数据集中的数据内容、数据格式的比较核查，找出相同的数据或不同的数据。

Ø 数据融合

标准化去噪后的数据需要采取必要的数据融合手段，按照数据应用需要的方式组织，以支撑农贸平台可视化的数据需求。

Ø 数据共享

对内部用户提供数据资源共享服务。

1.1.1 视频接入可视化系统

对农贸市场视频试点接入，预估视频量为200路，市级视频汇聚平台提供标准接口，由各区汇聚后的视频平台按规范上传相关视频，最终将视频接入市级智慧农贸可视化展现平台。

（1）视频接入前置条件

Ø 视频接入采取平台与平台对接的方式进行，即智慧农贸视频接入到相关平台后，视频汇聚平台与区平台之间对接，诸如已接入区级视频平台、政数局视频平台、或者第三方对互联网开放的视频云平台，未完成平台接入的视频，暂无法实现接入。

Ø 被接入的视频应为国标协议视频，私有协议视频将导致后续的视频应用，甚至视频的播放出现问题，无法实现。

Ø 相关对接的平台，需满足接入互联网或者政务外网的网络要求。

（2）视频接入方案

Ø 通过统一视频接入接口，采取推送的方式，获取监控视频，相关接口主要相关视频平台进行开发，市局视频平台进行农贸业务的统一接口开发，并配合进行对接调试。

Ø 依据接入方平台对外接口由平台进行开发（接入方为政数局视频平台时，可能采用此方式），从对方平台获取监控视频，实现接入。

Ø 初步评估接口所涉及的字段信息包括：农贸市场信息、商铺信息、监控视频信息等。

Ø 完成视频接入后，市级智慧农贸可视化大屏对接市视频平台，完成视频对接，将监控视频展示在大屏。