这是我自研许久的爬虫管理平台,本人在职也是做Python开发的,平日里有200+脚本需要定时运行,一直没有一个能够满足我需要的平台,所以开发了这个兼容性极好的平台、秒启动、不卡顿、日志完整、报警完善等方便功能,能够让我们专心于写代码,而不用去分心运维调度的问题。
基本介绍:爬虫管理系统,分布式爬虫管理平台,可视化操作,完整监控,灵活的Python环境管理,环境隔离,资源占用小,支持 Scrapy 等主流爬虫框架,支持 Selenium、Playwright、DrissionPage 等浏览器自动化工具,支持node环境下的js逆向代码,支持windows分布式调度等等
更多详细可线上搜索taskpyro即可找到官网地址,因为会被啊B吞地址
文档在这里:docs.taskpyro.cn