第一部分、目标分析
1.1 目标系统
本次要采集的任务是SCM的SRM系统相关业务数据。使用SCM系统对上游供应商进行管理,为其配套的零部件供应商有几百家!SCM主要功能如下图,其中大纲计划、送签单是业务计划有关的数据,使用频率最高。
SCM-SRM采集范围
SCM登录页面
SCM系统首页
1.2 业务痛点
对于使用SRM的供应商来说,他们频繁登录SRM系统多有不便,SRM数据无法与自己公司信息系统对接,导致业务沟通不畅。
业务痛点分析
1.3 业务诉求
对于供应商来说,希望采集SAP-SRM数据,存入数据库,建立业务模型,实现客户计划、生产计划、库存占用之间的数据联动,从而提高效率,降低成本。
数据方面的诉求
第二部分 Python爬虫定制(数据采集)
2.1 爬虫定制+数据采集
数据采集集成是一门专业的技术,不同的网站采集方法不一样,不同的业务需求数据加工处理方法也不一样。网络爬虫,数据采集程序,不仅仅是采集数据,还要实现数据清洗、数据加工,数据对比分析,数据存储。数据采集程序可以按需运行,也可以按指定频率运行。新增业务数据可以通过企业微信进行提醒。所以数据采集环节,存在很大的定制成分。

网络爬虫,数据采集定制,一般有五个环节需要实现,具体可参考:爬虫+数采定制采集工具的五个环节
2.2 待采集数据(SCM系统的SRM模块)
要采集的数据有《大纲计划》、《送签单明细》

大纲计划

送签单明细
2.3 已采集数据(存入数据库)
数据采集工具运行后,将异构业务系统数据同步到本地数据库中。我们只使用数据状态为1的记录(为0的数据代表已经过期或者作废)。

采集数据存入数据库
第三部分、数据展示
3.1 采集数据展示(大纲计划)

3.2 采集数据展示(送签单)

3.3 业务模型建立
3.3.1 业务规则
采集并合理利用数据,最大限度发挥数据价值才是我们本案例的宗旨。本案例的业务模型就是业务规则。

3.3.2 数据编程
由于数据之间取数、计算关系复杂,本案例客户协同计划看板数据,大部分通过数据库存储过程编程实现。本案例只展示核心存储过程代码,其他存储过程在程序运行中自动调用,其他存储过程代码本案例不展示。

3.3.3 数据计算结果
通过数据库编程,调用程序计算,最终生成需要的数据。

3.3.4 数据使用
制作帆软报表,调用存储过程、使用数据库表


3.3.5 数据展示
将制作完毕的决策报表挂接到报表平台,分配权限,即可完成报表发布。

四、案例视频介绍
想了解整个过程,可以参考:案例视频(爬虫+数据库+帆软报表) |