投稿

Python web advanced (scrapy selenium redis)

1.2万

7

2019-09-22 22:39:05

__rec 发消息

抱歉 , 私信不回 ;

我用AI建模了自己

即刻体验Meshy！

1万人感兴趣

01_git_简介

09:47

02_git_版本创建

05:58

03_git_版本回退

11:41

04_git_工作区和暂存区

11:25

05_git_管理修改

04:21

06_git_撤销修改

04:41

07_git_对比文件不同

05:51

08_git_删除文件

06:29

09_git_基本操作小结

05:17

10_补充_删除文件

01:55

01_git分支_基本操作

16:13

02_git分支_解决冲突

11:02

03_git分支_分支管理策略

16:57

04_git分支_bug分支

08:18

05_git分支_小结

03:42

01_github_创建仓库

08:17

02_github_添加ssh账户

05:10

03_github_克隆项目

02:58

04_github_推送代码

04:37

05_github_跟踪远程

03:37

06_github_拉取代码

01:03

07_工作git使用流程

05:10

01_redis_nosql和redis简介

13:56

02_redis_redis安装

06:13

03_redis_redis配置

07:59

04_redis_启动服务端和客户端

06:43

01 Redis数据类型简介-1

02:24

02_redis数据类型_string和键命令

12:12

03_redis数据类型_hash命令mp4

08:19

04_redis数据类型_list命令

11:06

05_redis数据类型_set和zset命令

09:21

06_redis数据类型_小结

04:27

01_redis_python和redis交互

15:08

02_redis_redis存储session信息

12:40

01_redis_主从配置

10:17

02_redis_主从概念

06:18

01_redis_集群概念

05:35

02_redis_集群配置

28:33

03_redis_python和集群交互

04:21

01_天天生鲜_商业模式

07:07

02_天天生鲜_web项目开发流程

15:37

03_天天生鲜_需求分析

13:30

04_天天生鲜_架构预览

04:06

05 天天生鲜架构设计-1

11:09

01_天天生鲜_数据库设计1

43:51

02_天天生鲜_数据库设计2

13:36

03天天生鲜模型类设计-1

18:34

04_天天生鲜_连接远程数据库

10:36

05_天天生鲜_choices选项和富文本编辑器

12:51

06_天天生鲜_项目框架搭建

24:55

01_注册基本逻辑

31:40

02_显示注册页面和注册处理使用同一个url地址

03:30

03_类视图使用

06:34

04_类视图原理

04:29

05_生成激活用户token

17:01

06_注册用户激活流程

10:26

07_django内置函数发送激活邮件

21:26

08_用户注册流程小结

07:23

09_celery异步发送邮件

35:59

10_celery使用流程小结

08:09

01_登录基本逻辑

13:36

02_配置redis作为Django缓存和session存储后端

10:19

03_记住用户名

06:38

01_父模板页抽象

30:54

02 用户中心页面显示-1

10:31

03_登录装饰器和登录后页面跳转

14:56

04_LoginRequiredMixin类的使用

07:00

05 Loginrequiredmixin类的原理-1

02:55

06_登录后欢迎信息

08:14

07_退出用户登录

05:50

08_登录判断_欢迎信息_退出登录小结

09:59

09_用户中心_地址页

19:44

10_模型管理器类方法封装

08:22

11_用户中心_个人信息页

03:41

12_历史记录存储格式设计

14:38

13_获取用户历史浏览记录

20:03

01_FastDFS文件系统简介

17:27

02_FastDFS上传文件和下载文件流程

02:15

03_FastDFS的安装和配置

11:29

04_Nginx配合FastDFS使用的安装和配置

13:19

05_python和FastDFS交互

03:23

06_虚拟机中FastDFS配置文件的修改

04:26

07_项目中上传和使用图片的流程

11:35

08_自定义文件存储类

18:39

09_amdin页面测试文件存储类

13:48

10_改进自定义文件存储类

06:13

11_FastDFS上传图片小结

02:50

01_页面静态化_celery生成首页静态页面

22:05

02_配置nginx提交静态页面

11:16

03_admin管理更新首页数据表数据时重新生成index静态页面

15:57

04_静态index页面和IndexView的调度说明

10:11

05_首页数据缓存设置和获取

17:59

06_首页缓存数据的更新

03:51

07_页面静态化和缓存数据_小结

03:28

08_商品模型模型类概述

12:28

09_首页内容获取和展示

25:45

10_首页内容获取和展示小结

03:46

11_redis存储购物车记录分析

12:28

12_首页获取购物车商品数目

07:44

01_用户历史浏览记录的添加

12:17

02_商品详情信息的获取和显示

26:54

03 获取同一spu的其他规格的商品信息-1

06:49

01_列表页页码控制

07:38

02_商品列表页内容的获取和显示

40:36

01_商品搜索_全文检索概念

11:27

02_商品搜索_全文检索框架和引擎的安装和配置

06:57

03_商品搜索_生成索引文件

14:30

04_商品搜索_全文检索的使用

15:28

05_商品搜索_更改分词方式

11:23

06_商品搜索_小结

06:30

01_商品详情页js代码

15:30

02_购物车记录添加后台view

25:38

03_购物车记录添加前端js

19:08

04_购物车记录添加_小结

05:45

05_购物车页面显示

19:24

01_购物车js_全选_全不选_商品的选中和不选中

24:54

02_购物车记录更新_后台view

08:00

03_购物车记录更新_前端数目增加js

22:46

04_购物车记录更新_前端数目减少_手动输入js

12:07

05_购物车记录删除_后台view

06:48

06_购物车记录删除_前端js

09:23

07_购物车模块_小结

17:50

01_订单生成_mysql事务概念

16:14

02_订单生成_django中使用事务

10:30

03_提交订单页面显示

31:46

04_创建订单前端js

17:04

05_创建订单后台view

37:06

01_订单生成_订单并发问题

07:00

02_订单并发_悲观锁

11:43

03_订单并发_乐观锁

28:50

04_订单并发_总结

04:07

01 订单支付获取支付结果-1

31:17

02_用户中心-订单页面

26:36

03 订单支付支付宝简介-1

29:58

04_订单支付_网站对接支付宝流程图

19:52

05_订单支付_订单支付代码

36:10

01_订单评论代码走读

21:35

02_部署_uwsgi作为web服务器

12:38

03_部署_基本部署架构解析

09:17

04_部署_nginx转交请求给uwsgi

06:31

05_部署_nginx配置处理静态文件

12:02

06_部署_nginx转交请求给其他地址

15:34

07_部署_nginx配置upstream实现负载均衡

12:56

08_部署_小结

02:33

01_天天生鲜项目_总结

01:02:53

01_回顾http通讯

23:42

02 认识flask-1

13:17

03_虚拟环境工具说明

16:12

04_第一个flask程序

14:31

01_flask应用对象初始化参数说明

13:36

02_静态文件目录与路由说明

05:33

03 Flask的配置参数设置-1

11:24

04_读取配置参数的方式

06:23

05_app的run使用说明

04:42

01_视图函数的路由规则设置说明

24:34

02_路由提取参数与自定义路由转换器

24:51

03_路由转换器的进阶使用

31:08

01_request的form_data_args用法

46:50

02_上传文件

17:42

03 With使用-1

16:38

01_abort函数的使用

10:57

02_自定义错误处理方法

06:13

03_设置响应信息的方法

11:56

04_返回json数据的方法

13:29

01_cookie的使用

10:50

02_postman的安装

03:48

03_session机制说明

39:44

01_请求钩子的补充说明

05:50

02_flask的上下文对象

24:33

03_请求钩子

15:48

04_flask_script脚本扩展的使用

12:48

01_模板与自定义过滤器

32:54

02 引入表单扩展-1

15:06

03_创建表单模型类与模板使用

24:35

04_使用表单接受并检验参数

13:38

05_关于表单的补充说明

07:08

06_模板宏的使用

09:57

07_宏定义在外部的使用

04:09

08_模板的闪现使用

11:33

01_使用sqlalchemy的配置

23:33

02_创建模型类

26:16

03_创建数据库表

06:47

04_保存数据

08:41

05_sqlalchemy数据库查询

35:32

06_关联查询与自定义显示信息

08:18

07_数据的修改与删除

08:34

01_图书作者小案例

01:08:46

02_图书作者小案例2

10:42

01数据库migrate扩展的使用简介-1

07:50

02_migrate扩展的使用

14:20

03 使用flask发送邮件-1

08:02

01_循环引用

14:42

02_使用装饰器解决模块分割问题

13:40

01 蓝图的基本定义与使用-1

11:19

02_以目录形式定义蓝图

17:54

03_蓝图里模板目录的处理

07:55

01_单元测试引入

08:25

02_assert断言的使用

11:06

03_实现简单的单元测试

31:13

04_单元测试的setUp与flask的测试模式

15:09

05_数据库测试

13:49

01_flask部署

28:44

02_sqlalchemy操作mysql提示警告的问题

05:37

01_认识微信公众号

10:19

02_了解微信公众号开发

18:04

03_微信公众号开发的配置说明

14:34

04_学校服务器使用说明

17:24

05_接入微信公众号服务器开发

24:52

01_开发者服务器收发微信消息的流程

16:46

02_xmltodict工具的使用

10:32

03_收发微信消息数据开发

25:05

04_其他消息与事件消息

04:26

05测试消息接口

02:40

01_网页获取微信用户资料开发

49:45

02_获取微信用户资料流程说明

01:43

01_项目资料说明

03:57

02_前后端分离的认识

18:39

03_前端后分离对于搜索引擎的缺点

14:27

04_项目业务说明

19:14

01_在单一文件中构建所有依赖工具

25:09

02_创建工程目录1

26:14

03_创建工程目录2

30:13

04_循环导入的解决

06:31

05 日志功能-1

21:47

01_项目数据库设计

44:01

02_项目模型类说明

13:36

03_日志级别bug处理

03:22

01_提供静态文件的蓝图编写

26:27

04_数据库迁移处理

02:56

02_csrf防护机制

29:19

03_在静态路由中添加生成csrf_token的cookie值

09:37

01_图片验证码的使用流程

14:31

02_restful风格介绍

21:25

03_图片验证码后端接口编写

43:37

04_开发流程与接口文档编写

12:11

05_图片验证码的前端编写

19:04

01_云通讯使用介绍

16:42

02_云通讯发送短信工具封装

19:34

03_发送短信验证码后端编写

40:11

04_测试发送短信验证码

07:15

05_补充防止对同一个图片验证码进行校验的逻辑

08:55

06_后端补充禁止60秒重复操作的逻辑

16:36

07发送短信验证码前端编写

20:35

01注册的后端编写

35:15

02密码加密与property装饰器使用

27:44

03_密码作为只允许设置的逻辑编写

08:45

04_注册后端测试

07:54

05_注册前端编写

14:10

06_补充csrf的逻辑

16:20

07作业说明

05:46

01_登录后端逻辑编写

38:06

02_登录测试与前端代码

07:56

03_检查登录状态与退出代码

09:22

04_登录验证装饰器

22:04

01_图片存储服务的引入

15:18

02_七牛上传图片的使用

18:47

03_保存头像后端编写

21:37

04_上传图片的前端代码

09:39

05_图片表单的使用说明

05:22

06_作业接口说明

03:25

01_城区信息后端编写

14:20

02_缓存机制的介绍

07:41

03_为城区信息补充缓存

15:14

04_缓存数据同步的问题

04:47

05_用户模块修改用户名_获取个人资料_实名认证代码说明

18:20

06_城区信息前端编写与前端模板的使用

25:00

01_保存房屋基本信息数据后端编写

45:28

02_保存房屋图片后端接口编写

14:52

03_保存房屋基本信息前端代码

25:05

04_保存房屋图片前端代码与测试

08:32

05_map函数的使用

11:17

01_celery模型说明

19:22

02_celery的基本使用

19:33

03_celery的目录结构使用

12:49

04_celery独立的目录使用

07:09

05_celery接收返回值

18:24

01_房屋管理后端接口后端说明

29:35

02_房屋管理前端代码说明

17:32

01_房屋列表页业务分析

05:12

02_房屋列表后端参数判断编写

18:01

03_构造时间条件

37:39

04_房屋列表页分页补充与测试

20:30

05_等号参数的说明

10:49

06_房屋列表页缓存处理

21:18

07redis的pipeline使用

04:56

08_房屋列表页前端代码

20:46

01_订单模块后端代码讲解

36:49

02_订单模块前端代码讲解

07:59

01_支付宝接入流程

13:27

02_支付宝手机网站支付流程

17:08

03_支付宝秘钥说明与sdk工具使用

28:15

04_支付宝支付的后端接口编写

33:15

05_支付宝支付测试

11:45

06_获取支付宝支付结果修改订单数据

36:01

01_csrf_token缺失bug的解决

13:56

02_数据库优化介绍1

49:22

03数据库优化介绍2

16:57

04_工作账号介绍

13:53

01字符换知识点的复习

10:26

02http和http的概念

08:24

03markdown介绍

05:42

04URL格式和http请求格式

30:05

05爬虫的流程

08:58

06爬虫课程的介绍和概念

33:57

07搜索引擎的工作原理及robots协议

25:53

01requests模块发送带headers的请求和带参数的请求

32:12

02贴吧爬虫

26:58

03requests模块发送post请求

34:24

04requests模块使用代理

24:32

05requests模拟登陆的三种方式

28:58

06requests模块发送请求和获取网页的字符串

16:33

07requests保存图片

04:20

01寻找post的地址

41:34

02寻找js和分析js

14:45

03requests的小技巧

30:09

01数据的分类

08:12

02json模块的学习01

38:10

03json模块的学习02

10:26

04kr的练习

15:05

05豆瓣爬虫练习-1

30:54

01正则和原始字符串r

35:58

02内涵段子爬虫

25:24

01xml的了解

06:25

02xpath的学习01

27:10

03xpath模块的学习02

10:18

04lxml模块的学习

21:22

01贴吧爬虫01

30:24

02贴吧爬虫02

30:33

03糗百爬虫01

04:42

04糗百爬虫02

20:22

05爬虫思路总结

22:51

06csv和作业

07:27

07多线程爬虫的实现

25:28

01分析

15:49

02后续代码的建议和动态hemlt的介绍

09:40

03selenium的入门使用

23:43

01豆瓣登录

05:38

02打码平台的使用

18:46

03验证码识别总结

15:31

04元素定位的方法和iframe的切换和selenium使用的注意点

36:33

01tesseract的使用

08:31

02driver的安装

05:14

03斗鱼爬虫

27:15

01Mongodb的介绍-1

15:29

02mongodb的安装和启动

06:35

03mongodb的增删改查

30:47

04mongodb的高级查询

30:30

05mongodb的备份恢复

04:01

06mongodb的聚合命令

37:41

01sort skip limit的方法

05:47

02unwind的使用

07:13

03索引的建立

33:40

04mongodb豆瓣练习

01:34

05mongdb的豆瓣练习02

08:23

06pymongo的操作

14:54

01scrapy的介绍

09:02

02scrapy的流程

16:17

01pipeline的介绍

09:04

02logging模块的使用

20:54

03sacrapy的入门使用

29:21

03构造请求和腾讯爬虫

21:51

04Item的介绍和使用-1

16:13

05阳光政务平台爬虫

20:34

06debug信息的认识

09:51

07scrapy shell的使用

06:30

08scrapy ettings和管道的深入

28:11

01苏宁图书爬虫01

28:05

02苏宁图书爬虫02

27:17

01crawlspider爬虫案例

25:45

02crawlspdier爬虫介绍

09:07

01携带cookie登录

16:35

02下载中间件的学习

19:20

03发送post请求登录

27:04

04介绍和总结

22:48

01贴吧爬虫和crawlspider爬虫

34:11

01scrapyredis的介绍

11:29

02 Redis复习-1

19:31

03domz程序介绍

19:41

04scrapy_redis的源码介绍

44:36

05 jd爬虫

36:25

01当当爬虫01

43:27

02当当爬虫02

05:26

03当当爬虫运行演示

04:30

04亚马逊爬虫

02:50

05亚马逊爬虫02

15:22

06亚马逊爬虫03

26:58

07pycharm发布代码

11:22

08crontab的使用

20:59

1-网络爬虫概述

23:06

2-Http协议和chrome抓包工具（1）-1

16:30

3-http协议和chrome抓包工具（2）

24:50

1-urllib库之urlopen函数用法

09:44

2-urllib库之urlretrieve函数用法

04:36

3-urllib库之参数编码和解码函数

10:02

4-urllib库之urlparse和urlsplit函数用法

10:18

5-【实战】用Request爬取拉勾网职位信息

18:37

6-【作业】内涵段子爬虫作业

02:15

7-ProxyHandler实现代理ip

23:09

8-cookie原理和格式详解

13:02

9-【实战】爬虫使用cookie模拟登录

14:06

10-【实战】爬虫自动登录访问授权页面

22:28

11-cookie信息的加载与保存

12:36

12-requests库的基本使用

18:37

13-requests发送post请求

08:15

14-requests使用代理ip

11:22

15-requests处理cookie信息

08:59

16-Requests处理不信任的ssl证书-1

02:04

1-xpath简介以及工具安装

09:01

2-xpath语法详解

22:58

3-lxml解析html代码和文件

20:10

4-lxml和xpath结合使用详解

36:39

5-【实战】豆瓣电影爬虫

24:12

6-【实战】电影天堂爬虫之网页分析

18:36

7-【实战】电影天堂爬虫之爬取详情页url

09:31

8-【实战】电影天堂爬虫之解析详情页

38:35

9-【实战】电影天堂爬虫之爬虫完成

11:30

10-【作业】腾讯招聘网爬虫作业

04:12

11-BeautifulSoup4库的基本介绍

08:17

12-Beautifulsoup4库的基本使用-1

08:38

13-BeautifulSoup4库提取数据详解

37:24

14-css常用选择器介绍

21:56

15-Select和css选择器提取元素-1

14:00

16-BeaufifulSoup拾遗

22:50

17-【实战】中国天气网爬虫之页面分析

09:36

18-【实战】中国天气网爬虫之华北城市数据爬取

17:09

19-【实战】中国天气网爬虫之所有城市数据爬取

19:24

20-【实战】中国天气网爬虫之数据可视化

21:33

22-正则表达式之匹配多个多个字符

08:30

21-正则表达式之单个字符匹配规则-1

26:42

23-正则表达式之多个小案例

12:37

24-正则表达式之开始结束和或语法-1

20:34

25-正则表达式之转义字符和原生字符串

14:47

26-正则表达式之group分组

08:00

27-正则表达式之re模块常用函数

14:24

28-【实战】正则表达式之古诗文网爬虫实战

31:40

29-【作业】正则表达式之糗事百科爬虫作业-1

01:30

1-json字符串介绍

07:36

2-dump成json字符串以及编码问题

11:13

3-load成Python对象

03:54

4-读取csv文件的两种方式

15:33

5-写入csv文件的两种方式

11:15

1-多线程概念和threading模块介绍

13:15

2-使用Thread类创建多线程

06:41

3-多线程共享全局变量以及锁机制

15:07

4-Lock版生产者和消费者模式

27:04

5-Condition版生产者与消费者模式

20:20

6-Queue线程安全队列讲解

20:34

7-【实战】多线程下载表情包之同步爬虫完成

24:15

8-【实战】多线程下载表情包之异步爬虫完成

18:24

9-GIL全局解释器锁详解

12:39

10-【作业】多线程下载百思不得姐段子爬虫作业

04:14

11-ajax介绍和爬取ajax数据的两种方式

21:38

12-selenium+chromedriver安装和入门

11:19

13-selenium关闭页面和浏览器

03:37

14-selenium定位元素的方法详解

12:00

15-selenium操作表单元素

17:26

16-selenium行为链

05:39

17-selenium操作cookie

05:44

18-selenium的隐式等待和显式等待

10:22

19-selenium打开多窗口和切换窗口

10:39

20-selenium使用代理ip

08:35

21-selenium中的WebElement类补充

06:41

22-【实战】selenium完美实现拉勾网爬虫之列表页解析

21:13

23-【实战】selenium完美实现拉勾网爬虫之详情页解析

20:15

24-【实战】selenium完美实现拉勾网爬虫之跑通流程

32:02

25-【实战】selenium完美实现拉勾网爬虫之细节处理

10:06

26-【作业】使用selenium实现boss直聘爬虫作业

05:02

27-tesseract库介绍

08:02

28-tesseract在终端下识别图片

13:10

29-Tesseract代码识别图片-1

08:12

30-tesseract处理拉勾网验证码

09:23

1-scrapy框架架构详解

09:22

2-scrapy框架快速入门

14:25

3-【实战】scrapy糗事百科之爬虫编写

24:36

4-【实战】scrapy糗事百科之pipeline保存数据

17:49

5-【实战】scrapy糗事百科之优化数据存储的方式

12:48

6-【实战】scrapy糗事百科之抓取多个页面

07:19

7-CrawlSpider讲解

06:15

8-【实战】CrawlSpider实现微信小程序社区爬虫

34:20

9-Scrapy Shell的使用

07:44

10-Request和Response对象讲解

07:12

11-【实战】scrapy模拟登录人人网

13:04

12-【实战】scrapy模拟登录豆瓣网

28:52

13-【实战】自动识别豆瓣网图形验证码

23:47

14-【实战】汽车之家宝马5系高清图片下载爬虫（1）

21:00

15-【实战】汽车之家宝马5系高清图片下载爬虫（2）

13:35

16-【实战】汽车之家宝马5系高清图片下载爬虫（3）

25:20

17-【实战】汽车之家宝马5系高清图片下载爬虫（4）-1

25:37

20-【反爬虫】开放ip代理池和独享代理配置

20:11

18-【反爬虫】下载器中间件讲解

10:55

19-【反爬虫】反爬虫-设置随机请求头

15:13

21-【Scrapy框架】实战-攻克BOSS直聘反爬虫之正常爬取

32:48

22-【Scrapy框架】实战-攻克BOSS直聘反爬虫之无限制爬取

19:59

23-Scrapy框架实战-简书网整站爬虫之页面解析

32:05

24-Scrapy框架实战-简书网整站爬虫之保存数据到MySQL

25:20

25-Scrapy框架实战-简书网整站爬虫之爬取ajax数据

25:30

26-分布式爬虫-分布式爬虫介绍

11:34

27-分布式爬虫-redis介绍

06:44

28-分布式爬虫-linux下安装redis

05:15

29-分布式爬虫-windows下redis安装与配置

08:08

30-分布式爬虫-配置其他机器连接本机redis服务器

08:03

31-分布式爬虫-redis的字符串操作

03:32

32-分布式爬虫-redis的列表操作

11:10

33-分布式爬虫-redis的集合操作

07:50

34-分布式爬虫-redis的哈希操作

05:23

35-分布式爬虫实战-房天下全国658城市所有房源信息抓取（1）

10:08

36-分布式爬虫实战-房天下全国658城市所有房源信息抓取（2）

11:08

37-分布式爬虫实战-房天下全国658城市所有房源信息抓取（3）

26:42

38-分布式爬虫实战-房天下全国658城市所有房源信息抓取（4）-1

38:18

39-分布式爬虫实战-房天下全国658城市所有房源信息抓取（5）

30:45

40-分布式爬虫实战-房天下全国658城市所有房源信息抓取（6）

12:46

41-分布式爬虫实战-房天下全国658城市所有房源信息爬取（7）

20:46

顶部