使用数据接口需要拥有数据的数据库用户权限管理对吗?

2018年夏天,经过调研之后最终选择将BI平台定为使用Apache Superset实现。Superset在GitHub上有20K+Star,其综合能力可见一斑,但是经过深入了解和使用之后,只觉得并不能达到该有的预期,倒是很符合(incubating)的附加标签,同时也从某种程度上说明好用又免费的BI产品少之又少。毕竟Superset是免费开源产品,虽然对它不是很满意,但是本着不白嫖的原则也给Superset贡献了Star,同时将Superset这一阶段的二次开发告一段落,整理并分享本篇文章。

 

[新增]查询结果展示数据条数

 
 
Superset查询结果展示中没有数据条数信息。
 
 

[改进]解决图表边界遮挡坐标轴刻度值问题

 
 
Superset图表中如果刻度值较大,可能存在被边界遮挡的情况。
 
          
 
          

[修复]解决SQL Lab中字段包含中文报错问题

          
 
          
 
SQL Editor中查询如果字段名称包含中文,则查询报错。
          
 
          
 
          

[新增]查询结果集支持复制

          
 
          
 
一种常见的使用场景是将查询结果复制出来,用来查看或作他用。
          
 
支持将查询结果集复制到剪贴板。
          
 
          

[改进]查询强制LIMIT,防止大数据量结果集造成内存飙升

          
 
          
 
Superset在日常使用过程中,偶尔会出现因查询SQL返回大量结果集,造成服务器内存飙升甚至耗尽的情况。
          
 
拦截将要执行的SQL使用limit对其进行包裹,即可将SQL查询的最大数据集控制在指定范围内。
          
 
        

一. 云上贵州系统平台项目情况

云上贵州系统平台是我省自主搭建的全国首个实现政府数据“统筹存储、统筹共享、统筹标准和统筹安全”的关键信息基础设施,是全省政府数据“集聚、融通、应用”的重要支撑,平台采用阿里云飞天操作系统和国产硬件产品搭建,为政府、企业事业单位提供自主、安全、可控的云计算、云存储、数据库、云安全及数据共享开放等服务。云上贵州系统平台已建成统一管控,互为灾备的双节点,支持同城数据灾备和应用系统双活部署。

截止目前,云上贵州系统平台已承载共计563个应用系统,其中77家政务用户总计部署533个应用系统,12个非政务用户部署30个应用系统。计划于2017年底,省市两级政府应用系统全部接入云上贵州系统平台。

根据用户性质不同,系统平台分为政务用户服务区和互联网用户服务区。政务用户区提供基于电子政务外网和互联网的云计算服务,互联网用户区提供基于互联网的公有云服务,主要供企业用户和个人用户使用。

(三) 产品特点及优势

系统平台目前提供ECS(弹性计算服务)、RDS(关系型数据库服务)、SLB(负载均衡服务)、OSS(开放存储服务)四大产品。

1. ECS:支持用户依据业务需求在线弹性伸缩增降配;支持用户服务器自动和手动备份机制;提供对服务器实例CPU、网络、磁盘等监控。

2. RDS:支持用户根据业务场景在线弹性伸缩增降配;提供数据自动备份和手动备份方式;采用主从热备机制;提供数据库监控。RDS和ECS实现内网连接,数据传输快且不产生任何数据传输费用。

3. SLB:提供内外网负载均衡,配置简单,根据用业务场景可选择按固定带宽或按照使用流量计费方式申请。使用主从热备机制确保用户应用不中断。支持会话保持、健康检查等,可满足用户各种业务场景。

4. OSS:开放存储服务提供海量存储空间,用户可通过OSS存储非关系型数据或静态数据,支持通过API调用到服务器使用。OSS内存储的数据分三份存储,数据碎片化离散存储,确保用户数据安全。

(四) 系统平台安全体系

云上贵州系统平台为保障平台安全,建立了全方位的安全防护体系,包括:

1. 技术上的安全防护措施

1) 采用由阿里云自主研发的“云盾”产品,提供抗DDoS、网络入侵、云服务器网络端口安全体检、分布式虚拟化防火墙、暴力破解、网站后门检测、异地登录提醒等多项安全防护措施,保障平台层的安全防护。

2) 采取了符合规范的网络隔离措施,在平台电子政务外网区和互联网区部署了网闸进行隔离,满足国家电子政务外网管理要求。

3) 与贵州省电子证书公司合作合作共建第三方的安全加密认证服务,以服务方式对外提供安全加密、CA认证服务。

4) 增加了出口流量监测和安全审计,在平台互联网网络出口处通过旁路镜像方式部署了流量监测、DNS检测和Web应用审计设备,可对平台互联网流量进行实时监测和审计。

5) 建立黑洞路由联动清洗机制,对10Gbps-40Gbps范围内的的攻击流量,采取黑洞方式进行引流清洗,可有效抵御网络大规模DDOS攻击。

6) 联合包括深信服SSL/IPSec VPN、山石网科虚拟防火墙VFW、杭州安恒网站卫士、杭州安恒云堡垒机等第三方云安全服务产品。

7) 建设了检测和感知暴力破解、Web漏洞发现、异地登录监测、后门监测等网络安全事件的动态感知系统,基本实现了对平台整体安全状况的实时监测。

2. 日常安全监测管理制度

1) 通过对IDC机房采取轮班巡检、平台实施动态监控和人工检测等多种方式,确保实时动态掌握平台安全状况;

2) 通过7*24小时运维值班对平台用户问题进行实时响应和处置,将平台安全运维工作列入重点保障,确保平台安全稳定运行;

3) 设立了网络信息安全领导小组,明确了安全责任分工和具体工作岗位职责,形成全员参与,重点负责的安全组织保障机制。

3. 平台密码使用情况

平台使用的云计算相关产品,符合国家三级信息安全等级保护的相关要求,各类专线通过https和对称加密进行身份验证和数据加密,ECS通过SSH2进行数字签名和密钥交换,RDS通过SSL进行客户端连接加密,SLB通过SSL连接进行流量加密,OSS通过AES256进行存储加密,云盾通过https进行OpenAPI调用加密。

二. 云上贵州数据共享交换平台项目情况

为进一步扩大云上贵州系统平台的应用价值,为实现政府数据的“聚、通、用”提供技术支撑的平台,以云上贵州系统平台统一的数据资源为基础,云上贵州数据共享交换平台应运而生。

2015年,云上贵州大数据产业发展有限公司依托云上贵州系统平台,开始自主研发并搭建完成了全省统一的数据共享交换平台。

2016年3月,完成数据共享平台升级改造,并开展数据共享池等相关功能开发和完善工作。

2016年8月2日,云上贵州大数据产业发展有限公司与合资公司贵州中软云上数据技术服务有限公司共同申请获得云上贵州数据共享交换平台计算机软件著作权。

2016年12月31日,云上贵州数据共享交换平台正式启用。

云上贵州数据共享交换平台底层分为交换层,共享层以及应用层:

1) 交换层采用数据接口封装、认证、调用等技术实现不同数据库间的数据交换,对各部门数据资源目录、数据集、交换审计等实施全过程化管理,满足部门间数据共享交换需要。

2) 共享层采用数据处理平台,搭建共享基础数据库,逐步建设各类专题数据库和应用数据库,实现共享基础数据库的集中管理,最终实现数据共享和关联应用。

3) 应用层提供用户管理、数据管理、数据目录管理、数据需求管理、统计报表、日志管理及消息通知功能,满足各部门对数据共享交换的应用需求。

平台支持对数据资源目录的管理,包括目录标准化编目、目录注册、发布、检索等功能。通过平台可以实现政府数据资源目录快速的定位和检索,使数据需求方在各自的权限内获取全面、准确的信息,从而更好的进行数据资源的查询、检索和定位。

4. 数据集、数据管理

政府部门如果需要面向其他政府部门共享已有的数据,可以通过平台创建数据集并添加数据,对数据集上架发布并管理该数据集、数据。平台支持以文件、外部链接、接口API、数据服务API、共享资源池以及数据推送六种类型数据。提供数据集上架审核、数据集数据修改以及数据下架等一系列操作流程并且对数据集、数据进行生命周期管理。

政府部门如果需要其他政府部门的数据来提升政务治理及服务社会的能力,可以将数据需求信息通过平台简单快捷地上架发布并管理需求生命周期。其他政府部门通过平台可以看到已发布的数据需求,并通过平台进行数据需求响应,实现政府数据资源共享。

政府部门如果需要使用数据拥有方在平台已发布上架的数据,可以通过平台快速搜索,标签及主题过滤等功能快速检索定位所需的数据,并通过平台申请该数据的使用授权,经过二级审批(需求方管理员审核、拥有方管理员审核)流程可以获取该数据的使用授权进而挖掘数据价值。

平台充分考虑了用户管理功能,实现不同角色管理系统不同的账号,将账号号分门别类,由对应管理员进行管理,并对功能赋权等。主要提供:账号启用/停用,修改密码,增加子帐号,权限调整等功能。

(七) 主要数据交换方式

云上贵州数据共享交换平台支持六种共享数据接入方式,分别为:文件,接口(API),外部链接,数据服务API,交换库,数据推送。

数据提供方将要共享的数据整理成结构化文档的形式,提供其他部门进行数据使用。文件支持xlsx、txt和csv等格式。此种方式支持更新周期较长的共享数据,对数据的更新频率要求高的数据不建议采用此种方式。

数据提供方通过发布API接口供数据使用方通过接口地址及接口参数调用数据。此种方式的优点是支持任何数据库类型的数据存储方式,可以实现数据实时调用,同时底层数据更新则接口所访问的数据也实时更新。需要数据提供方根据共享数据业务内容进行接口开发 。

数据提供方将共享数据生成URL链接地址,在共享交换平台上通过共享生成的URL地址来供其他部门调用数据。此种方式支持更新周期较长的共享数据,对数据的更新频率要求高的数据不建议此种方式共享数据。

数据提供方通过平台封装数据接口的功能,将共享数据所在的数据库地址,数据库管理员账号和密码填写完成后,通过平台工具,选中需要共享的数据表并填写配置条件后由平台自动生成接口信息。此种方式支持MySQL数据库,单个接口对应单个数据库表。

数据提供方通过平台生成数据包接收共享数据的地址后,提供共享数据的部门须将共享的数据以XML包的方式推送至该地址,平台通过消息队列的方式发送给订阅该数据并获取授权的部门。适合业务协调时同步数据变更状态或增量获取实时更新数据的数据共享场景。需要数据提供方和数据接收方约定业务数据内容后,根据共享数据业务内容进行接口开发。

数据提供方通过平台创建交换库,将共享数据同步至该交换库中,数据使用放获取数据授权后,可以获取交换库的只读账号并访问共享数据。适合需要共享全量数据的业务场景。需要数据提供方定期更新数据内容,确保共享数据和业务数据的一致性。平台提供MySQL类型交换库。

(八) 平台使用及运维情况

截至2016年12月31日,已有贵安新区及遵义市、六盘水市、安顺市、毕节市、铜仁市、黔西南州、黔东南州、黔南州8个市(州)政府,省政府办公厅、省委政法委、省交通厅、省教育厅、省科技厅、省旅发委、省工商局、省食药监局等69个省直部门及单位都已不同程度开展了目录梳理和数据整理工作。贵州省各部门总计梳理数据资源目录181个,数据子目录804个元目录14951个,共享数据集242个。

“五证合一”业务8月底完成开发,通过云上贵州数据共享交换平台,实现了工商、质监、统计、社保等业务数据在线实时共享。省旅发委与省扶贫办、省交通厅等单位通过数据共享交换平台实现数据共享协同应用。

三. 贵州省政府数据开放平台项目情况

贵州省数据开放平台是全省政府数据基于互联网统一对外开放的平台,由云上贵州公司基于云上贵州系统平台自主研发,于2016年9月正式上线运行。面向公众开放包括省卫计委、省人社、省统计局、省住建厅等33个省直部门共178项数据资源,开放实时的、可下载、可进行二次开发的数据集。

图1. 贵州省政府数据开放平台展示图

贵州省政府数据开放平台采用云技术架构,与传统系统架构相比更加灵活、可靠、稳定,同时采用SLB负载均衡、CDN静态缓存、MQ消息队列处理、碎片化分布式存储等先进云架构体系,能够有效的避免传统架设计的弊端,让贵州省政府数据开放平台实现近乎于100%的完全可靠运行。

在产品设计上我们依照互联网前沿设计理念,界面遵循简约、扁平的设计风格,通过模拟互联网用户行为习惯,设计实用方便简单的操作界面,让互联网用户在产品体验上达到舒适便捷的感受。

在产品功能上,针对不同群体我们提供多样化的数据开放形式,从简单的文件下载,到技术要求较复杂的接口程序调用,开放平台考虑到每一类用户群体的需求,满足并提供各类群体真正需要、方便的绿色政府开放数据。

下一步,各级政府将陆续梳理和发布各类数据,丰富数据开放平台数据资源。同时,通过盘活政府数据资源,带动企业、行业协会、科研机构、社会组织等依法采集并开放数据,探索建立形成政府和社会合作开发利用大数据机制,将能挖掘出更多“钻石”。

本文章向大家介绍微信公众平台数据接口正式对所有认证公众号开放,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

  经过10多天的微信公众平台数据接口内测,现在正式对所有认证公众号开放了。微信公众平台数据接口正式向所有已微信认证(通过资质认证即可)的服务号和订阅号开放。通过数据接口,公众号开发者可以便利地获取更详细、更灵活的运营数据。

  1、用户分析数据接口

  通过该接口可以获取公众号的用户增减数据和累计用户数据。

  2、图文分析数据接口

  通过该接口可以获取公众号群发的图文消息的阅读、分享、收藏等数据。

  3、消息分析数据接口

  通过该接口可以获取用户向公众号发送消息的数据,包括消息发送人数、次数,以及消息发布次数的分布等。

  4、接口分析数据接口

  通过该接口可以获取公众号在通过接口响应用户消息时的性能数据,包括接口回复次数、耗时等。


微信公众平台数据接口开发者文档

微信公众平台于2015年1月6日启动了数据接口的邀请内测。通过数据接口,开发者可以获取与公众平台官网统计模块类似但更灵活的数据,还可根据需要进行高级处理。

邀请内测期间,为保证服务质量,数据接口仅向第三方平台开发者开放。在微信开放平台接入公众号登录授权即可成为第三方平台开发者,第三方平 台可帮助运营者管理公众号,帮助已授权公众号调用数据接口。在公众号登录授权机制的权限集划分中,用户分析数据接口属于用户管理权限集。

向所有公众号开发者开放数据接口的时间将另行通知。

1、接口侧的公众号数据的数据库中仅存储了2014年12月1日之后的数据,将查询不到在此之前的日期,即使有查到,也是不可信的脏数据;
2、请开发者在调用接口获取数据后,将数据保存在自身数据库中,即加快下次用户的访问速度,也降低了微信侧接口调用的不必要损耗。

用户分析数据接口指的是用于获得公众平台官网数据统计模块中用户分析数据的接口,具体接口列表如下(暂无用户属性数据接口):

最大时间跨度是指一次接口调用时最大可获取数据的时间范围,如最大时间跨度为7是指最多一次性获取7天的数据。access_token的实际值请通过“获取access_token”来获取。

用户分析数据接口(包括接口列表中的所有接口)需要向相应接口调用地址POST以下示例数据包:

获取数据的起始日期,begin_date和end_date的差值需小于“最大时间跨度”(比如最大时间跨度为1时,begin_date和end_date的差值只能为0,才能小于1),否则会报错

获取数据的结束日期,end_date允许设置的最大值为昨日

正常情况下,获取用户增减数据接口的返回JSON数据包如下:

正常情况下,获取累计用户数据接口的返回JSON数据包如下:

用户的渠道,数值代表的含义如下: 0代表其他 30代表扫二维码 17代表名片分享 35代表搜号码(即微信添加朋友页的搜索) 39代表查询微信公众帐号 43代表图文页右上角菜单

取消关注的用户数量,new_user减去cancel_user即为净增用户数量

我要回帖

更多关于 用户权限管理 的文章

 

随机推荐