非传统数据统计应用指导意见

                   为贯彻落实中央《关于深化统计管理体制改革提高统计数据真实性的意见》，积极适应非传统数据大量涌现、应用不断扩大的新变化，拓展非传统数据在政府统计中的应用深度和广度，构建现代统计调查体系，特制定本指导意见。一、目的本指导意见“立足统计、着眼数据”，大力推动非传统数据在政府统计工作中的应用，积极促进数据开放共享，进一步增强统计工作科学性和有效性，拓展非传统数据的统计应用领域，规范应用标准，夯实应用基础，提高非传统数据的统计应用能力和水平，充分发挥非传统数据在经济社会管理中的重要作用。二、非传统数据类型本指导意见界定的非传统数据，包括大数据但不限于大数据。大数据是非传统数据的主体，在很多情形下可以代指非传统数据。具体而言，非传统数据是指通过非传统政府统计调查获取的数据（国外一些机构也称之为“二手数据”），包括政府部门的行政记录数据，商业记录数据，互联网数据，电子设备感应数据以及其他非传统数据。（一）行政记录数据。指政府部门在行使行政管理职能过程中产生的大量信息数据。（二）商业记录数据。指企业和个人在生产经营管理过程中的商业记录。（三）互联网数据。指基于互联网使用而产生的数据，包括社交网络数据、媒体数据和搜索引擎数据等。（四）电子设备感应数据。指通过电子设备感应而生成的数据，包括遥感数据、传感数据、卫星定位数据、通讯信号数据、物联网数据、地理空间数据等。（五）其他非传统数据。包括政府统计机构以外有关单位（如行业协会、高校、科研院所、咨询机构、市场调查公司等）搜集、加工、发布的数据信息等。三、非传统数据应用标准根据不同类型非传统数据的内容特点，分别研究建立在政府统计中非传统数据内容、管理、应用等数据及元数据标准体系。规范界定各类非传统数据的范围口径、术语规范；统一定义非传统数据的数据来源、管理机构、质量评估、采集处理、分析发布等属性信息；统一规定非传统数据的存储方式、导入导出格式、访问交换接口、安全保密等技术标准，为非传统数据质量评估、开发应用、交换共享等提供标准依据。四、非传统数据获取方式非传统数据的获取方式主要有：（一）法定获取。依照有关法律法规无偿获取各种非传统数据，包括政务信息资源等。（二）抓取方式。从互联网上利用软件工具合法抓取或人工搜集数据信息。（三）合作方式。通过签订协议等制度化方式，与政府部门、数据公司和研究机构建立数据互联共享机制，实现信息资源共享，合作开发、编制和发布统计产品。（四）购买方式。以政府采购服务方式从行政管理部门、商业企业、互联网公司等购买各种非传统数据。五、非传统数据整合管理打破信息孤岛，推进政府统计机构与部门行政记录、企业生产经营记录数据的无缝对接，建立信息互联、开放共享的合作开发机制。以***《促进大数据发展行动纲要》《政务信息资源共享管理暂行办法》等文件为依托，力争将统计工作需要的政府、社会组织和企业等各类主体生产的数据，整合接入到统一的共享平台，为非传统数据的统计应用创造条件。（一）充分依托国家统一数据共享开放平台，与全国一体化国家大数据中心体系相衔接，推动非传统数据的融合应用。整合分散的非传统数据资源，将获取的非传统数据及时接入到国家大数据中心、国家统计数据库等数据开放共享平台，进行统一管理。坚持“逻辑集中、物理分散、有效协同”原则，做好非传统数据的清洗、积累、扩充和管理，以供不同项目交叉开发和综合利用，积极推动非传统数据的融合应用。（二）充分利用部门行政登记资料，探索利用互联网上的社会公共信息，提高名录库维护更新频率。抓住法人和非法人组织统一社会信用代码登记制度改革契机，及时获取税务、工商、民政、编办等登记部门关于单位的注册登记资料，加强部门间信息共享，完善并及时更新基本单位名录库，提高基础数据质量。（三）运用现代信息技术变革统计生产方式，加大非传统数据的应用力度，构建现代统计调查体系。运用互联网、统计云、大数据技术再造统计生产方式和业务流程，加快实现统计生产全流程数字化、网络化、智能化和云端化。逐步将非传统数据作为基础统计资料来源纳入统一管理，通过数据转换技术建立规范兼容的非传统数据交换平台，更大范围、更深层次地推动部门、社会组织、企业之间信息共享、互联互通，减少重复调查和直接调查，减轻调查对象负担。六、非传统数据的质量评估质量评估是科学应用非传统数据的前提。必须在质量评估的基础上，做出采集和应用的决定，确保以非传统数据为来源开发的统计产品真实可靠、客观准确。规范非传统数据评估程序和标准，应从完整性、适用性、准确性、及时性、可获得性、可比性、一致性、有效性等方面，对非传统数据源、元数据进行质量评估，确保评估过程和评估结果的可追溯、可核查，并形成正式的评估记录。记录要真实、准确、完整，并妥善保管。具体评估内容包括：（一）对数据源机构的质量评估。对数据源机构进行筛选评估，包括机构组织信誉、合法性、管理、制度环境等对数据源产生重大影响的相关因素，确保数据源的可持续性、可获得性、独立性、透明性、安全性。（二）对元数据的质量评估。对数据信息范围、计量单位、变量定义、频率、标准标识、格式、接口等进行全面检查，确保元数据的完整性、清晰性、兼容性、有效性和稳定性。（三）对数据的质量评估。通过对非传统数据的挖掘、转换和清洗，运用关联分析、相关分析、趋势分析、实时分析、可视化分析等方法进行评估，确保数据的准确性、有用性、代表性、时效性。七、非传统数据的应用流程非传统数据来源分散、类型多样、应用技术性强，要加强顶层设计，结合业务特点，依托不同的统计项目，制定具体应用流程和实施方案。原则上以具体统计项目的方式，从确定需求、方案论证、审批备案、数据获取、数据处理、分析发布、存储归档、反馈优化等环节开展应用工作。具体包括：（一）数据需求。根据统计需求，提出非传统数据的应用目标、预期成果、应用效果以及技术支持保障等方面的需求。（二）方案论证。研究制定统计应用方案，对方案进行必要性、可行性和科学性论证。论证时既要征求相关方面对方案的意见，又要比较不同渠道的统计成本。（三）审批备案。按照规定将统计应用方案报送相关管理部门审批备案。（四）数据获取。发现数据源，进行质量评估，提出获取数据方式。根据非传统数据的特点以及获取的具体方式，按约定的方式、渠道，获取非传统数据。（五）数据处理。运用现代信息技术和科学方法对非传统数据进行清洗、审核、验收、加工、推算和汇总等，挖掘发现隐含在海量数据中可能的新趋势、新关联、新规律，评估数据的准确性、一致性等。（六）分析发布。对经过数据处理环节获得的非传统数据进行分析，撰写相关分析报告，以更及时、更灵活的方式发布统计数据，进行数据的解读和诠释。（七）存储归档。对文件、制度、方案、原始数据、综合数据和评估报告等资料和文献及时保存和更新。（八）反馈优化。收集应用的反馈意见，分析应用效果，进一步优化应用方案。八、非传统数据在经济社会管理中的应用非传统数据是政府统计基础数据的重要来源，在经济社会管理中将发挥越来越重要的作用。（一）拓展统计范围，丰富统计内容，提高统计效能。拓展统计调查领域，通过多渠道获取非传统数据，为统计调查提供海量原始数据，使电子化行政记录和各类交易、交互、传感等非传统数据日益成为政府统计重要基础数据来源。极大拓展和丰富政府统计调查的范围和内容，变革统计生产方式，优化政府统计业务流程。推动统计工作采用“传统调查数据+网络数据”的新型数据采集模式，缩短数据生产时间，减少报表填报，提升统计调查效能。完善数据质量控制体系，加强宏观微观数据相互印证，强化非传统数据对传统统计数据的验证和补充作用，进一步增强统计数据的稳定性和匹配性。融合非传统数据和传统数据，夯实国民经济核算的数据基础，提高国民经济核算数据的及时性、全面性和准确性。（二）深度开发非传统数据，拓宽宏观经济管理视野。综合运用科学分析方法，深度开发非传统数据，开展如经济增长、就业形势、价格走势、对外贸易、市场风险揭示及防范、政策效应反馈、公众情绪等关键领域的预测预警，增强宏观决策的信息基础。以非传统数据为来源，编制统计新产品，以可视化形式发布数据，实时反映和监测不同行业、不同领域经济社会发展状况。（三）借助现代信息技术，挖掘发现经济运行新关联、新规律、新知识。现代信息技术是应用非传统数据不可或缺的工具。综合运用可视化、交互联动、大数据挖掘等现代技术方法，深入开展非传统数据分析研究，揭示经济运行的深层次关联，发掘数据背后的新规律、新知识，增强宏观决策的科学性和针对性。九、非传统数据应用的合作共享加强政府统计机构与国内相关单位在非传统数据应用的共享合作。政府统计机构要与国内各政府部门、企业、高校、科研院所等相关单位在非传统数据应用方面，积极开展合作研究，发挥各自优势，开展知识技能、专业方法和经验做法的共享和交流，不断提升统计应用能力和水平。加强非传统数据应用的国际合作。进一步加大我国与各国政府统计机构和国际组织在非传统数据应用方面的学习交流。通过多边和双边渠道，积极借鉴国际先进经验，互学互鉴，提高我国非传统数据的应用能力，增强我国在制定相关统计应用规则和标准方面的国际话语权。十、非传统数据的秘密及隐私保护加强非传统数据统计应用的相关政策制度制定工作，增强信息安全技术保障能力，建立健全安全防护体系，保障信息安全和个人隐私。非传统数据的统计应用开发要严格遵守统计法、统计法实施条例和保密法、网络安全法等相关法律法规和国家统计局的相关规定，明确界定和规范非传统数据统计应用中各类主体的法律行为，安全交换共享，切实保护商业秘密、个人隐私，保障个体身份信息不被识别辨认和对外泄漏，不得用于统计以外的目的。加强对非传统数据统计应用管理工作的纪律监督，加大执纪问责力度，对应用中可能存在的违法违纪问题，依法严肃追究当事人和相关人员责任。十一、非传统数据应用的人才培养政府统计机构在推进非传统数据应用过程中兼具统计数据生产者、应用者和管理者的多重角色，要逐步实现从“生产―管理”型向“管理―生产”型的职能转变。通过定向培养、在职学习、委托培养等方式，做好非传统数据统计应用相关人才的培养和引进工作，将具备较强的非传统数据抓取、清洗、分析等方面的人才吸引充实到统计机构中。努力培养既具备良好统计思维、又娴熟掌握现代信息技术的新型大数据人才，全面提升政府统计工作者的整体素质。同时，政府统计机构应坚持“内外兼修、借用外脑、形成合力”的用人原则，整合借助外部技术力量，充实政府统计机构非传统数据应用人才队伍。十二、非传统数据在地方和部门统计中的应用各地方、部门政府统计机构应认真贯彻实施本指导意见，积极推进非传统数据在政府统计中的应用，充分发挥非传统数据在拓宽统计范围、丰富统计内容、验证补充数据、提高统计分析水平中的作用。鼓励各地区和部门在本指导意见基础上，结合本地区和部门实际情况，制定地区和部门非传统数据统计应用办法。