
当我还是一只基层数据狗的时候,每日上班第一件事就是需要从系统导出车辆数据整理成当天的日报,再通过邮件推送给各个部门。日复一日的机械工作让我怀疑自己只是个公司电脑配的一个工具人。

不久在我掌握了python之后,编写了定时爬取系统数据并自动邮件推送日报的脚本。现在每天上班第一件事就是喝着茶查收到了当天的日报数据,从此接了公司所有部门需要自动推送数据的需求,走上升职加薪的道路。


项目思路:分为三部分工作,第一部分为爬取系统数据(requests),第二部分为按需求处理数据(pandas),第三部分为发送邮件(SMtplib)。
requests 库是用来在Python中发出标准的HTTP请求。 它将请求背后的复杂性抽象成一个漂亮,简单的API,以便专注于与服务交互和在应用程序中使用数据。
数据爬虫思路分析:
分析网页数据接口及参数
请求接口得到数据并解析数据
例如我们要爬取某滴的车辆系统,使用chrome浏览器登陆系统后打开浏览器开发者工具-Network,刷新数据后查找获取数据的接口,通过观察可得知getPageList为网页车辆数据的数据接口





数据接口返回数据格式为JSON格式,类似python的字典格式,pandas包可直接转化为DataFrame表格格式
数据爬取代码:

pandas是python第三方库,提供高性能易用数据类型和分析工具。
上一步我们使用requests访问数据接口得到的数据的JSON格式可以用pandas读取转化为DataFrame格式并统计每个城市的车辆数及车辆出租情况
转化pandas表格代码:


统计数据代码:


SMTP(Simple Mail Transfer Protocol)即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则,由它来控制信件的中转方式。python的SMtplib提供了一种很方便的途径发送电子邮件。它对SMtp协议进行了简单的封装。
发送邮件代码:



刚刚的邮件发出来的表格格式是不是丑不忍睹

这个有个技巧可以美化邮件的格式。因为邮件内容实际是html格式,通过加上css格式美化一下就可以得到很好看的表格了


如果需要每天定时自动运行脚本,通过把脚本部署到linux服务器,通过crontab设置定时任务即可,每天上班喝茶等数据自动发出来吧

