Python爬虫-蜗牛学苑

首页 / Python数据科学 · 第二阶段 / Python爬虫

发布于 2022-02-17 · 1854 次观看

课时列表
评论
课程介绍
资料列表
教师笔记

01-课程介绍及环境配置

31分钟 · 737次播放

02-爬虫基础知识介绍

63分钟 · 113次播放

03-用chrome进行抓包

49分钟 · 92次播放

04-requests库的使用

75分钟 · 66次播放

05-xpath库的使用

15分钟 · 41次播放

06-beautifulsoup库的使用

33分钟 · 39次播放

07-正则表达式的基本使用

52分钟 · 31次播放

08-蜗牛官网note抓取实战

74分钟 · 39次播放

09-简单爬虫框架讲解

67分钟 · 35次播放

10-常见反爬手段的介绍

17分钟 · 18次播放

11-身份验证1

56分钟 · 28次播放

12-身份验证2

21分钟 · 14次播放

13-验证码识别

65分钟 · 27次播放

14-IP代理基础知识

15分钟 · 14次播放

15-异步请求

33分钟 · 19次播放

16-JS混淆加密

60分钟 · 20次播放

17-代理池知识点讲解1

36分钟 · 15次播放

18-迭代器及生成器介绍

81分钟 · 13次播放

19-协程基本概念及实例

66分钟 · 13次播放

20-IP代理池结构及源码解读

28分钟 · 13次播放

21-scrapy框架介绍

24分钟 · 19次播放

22-scrapy安装

10分钟 · 17次播放

23-scrapy创建项目及结构介绍

41分钟 · 20次播放

24-scrapy selector的使用

14分钟 · 9次播放

25-scrapy抓取蜗牛官网note文章

32分钟 · 24次播放

26-请求间参数传递

15分钟 · 15次播放

27-scrapy pipeline组件

33分钟 · 18次播放

28-scrapy middleware

11分钟 · 17次播放

29-数据分析基本概念和流程介绍

38分钟 · 17次播放

30-数据分析简单例子演示

32分钟 · 13次播放

31-Series对象简介

42分钟 · 12次播放

32-dataframe简介和基本操作

51分钟 · 11次播放

33-缺失值的处理方式

41分钟 · 10次播放

34-数据清理实战

29分钟 · 9次播放

35-数据格式转换及重塑

40分钟 · 8次播放

36-数据统计及可视化操作

54分钟 · 248次播放

共有条回复

{{replyComment.createTime | dateForMat(replyComment.createTime)}}

课程目标

主要是针对不了解爬虫、数据分析的学员，用案例实战的形式带领大家了解和入门爬虫和数据分析可视化这个行业，为以后进入机器学习、数据挖掘行业打下基础

知识要点

day4.zip

Pythone爬虫第四天资料

12.72MB · 0次下载

day3-2scrapy_projects.zip

day3-1代理IP池实现架构中的主要技术点

0.08MB · 0次下载

day3-1代理IP池实现架构中的主要技术点.zip

day3-1代理IP池实现架构中的主要技术点

0.01MB · 0次下载

爬虫基础实战课程直播第2天资料.zip

爬虫基础实战课程直播第2天资料

0.49MB · 0次下载

爬虫基础实战课程直播第1天资料.zip

爬虫基础实战课程直播第1天资料.

0.85MB · 0次下载

授课讲师

卿淳俊

蜗牛学苑资深讲师

蜗牛学苑资深导师，15年测试开发及项目管理经验，认证敏捷项目Scrum Master，精通各种测试及开发工具、框架的设计和实现，在移动互联网、敏捷项目管理、电商测试等领域有丰富的项目经验。对大数据、机器学习、区块链等新兴技术均有深入研究。6年讲师经验铸就了深入浅出的授课风格，秉持着“授人以鱼不如授人以渔”的理念，让学员达到“知其然更要知其所以然”，真正掌握技术的本质。

看看TA的主页

推荐课程

MySQL数据库

邓乃文 · 162人观看 · 779分钟

MySQL数据库

深入理解数据库管理系统通用知识及MySQL数据库的使用与管理。为软件开发打下坚实基础。

Mysql配置、命令、CRUD操作、索引、约束、视图、存储过程、函数、触发器、事务、游标、建模工具

加入收藏

Python高阶

邓家军 · 6673人观看 · 760分钟

Python高阶

综合运用Python、WebDriver、正则表达式等技术，根据DDT，KDT等思想，设计开发出WoniuTest测试框架

HTML，CSS，Selenium WebDriver框架，基础框架，DDT，KDT，POM模型，WoniuTest框架

加入收藏

MySQL数据库-预科

张靖 · 736人观看 · 834分钟

MySQL数据库-预科

将项目中的用户信息及对战信息通过数据库保存及操作

数据库概念，MySQL配置，命令，建库建表，约束，数据的增删改查，视图，函数，事务，建模工具 JDBC操作数据库，开源工具DbUtils的使用

加入收藏

NodeJs项目实战

徐朝波 · 388人观看 · 152分钟

NodeJs项目实战

熟练掌握Express框架的使用和前后端开发流程。

1、Nodejs、 Npm、Vue框架的实战开发。 2、掌握 Nodejs项目设计，三层架构的搭建

加入收藏

微服务架构系统的性能测试实施

徐小兵 · 43人观看 · 150分钟

微服务架构系统的性能测试实施

切实理解微服务架构系统的性能测试实施重点与难点

1、微服务架构系统的性能测试实施流程规范 2、全链路压测与单节点压测的本质区别

加入收藏

Linux操作系统

邓强 · 4857人观看 · 1694分钟

Linux操作系统

1、掌握Linux操作系统的常用命令行、文件结构、用户权限、网络配置、Xampp配置、系统服务和防火墙配置策略 2、熟练应用Linux Shell、Cron、CURL、SSH、SCP、Expect等命令，完成各类常见网络及安全场景的批处理脚本开发 3、能够对Linux环境下的各类脆弱项和系统日志进行分析与加固，并理解Linux系统下的关键文件系统与核心文件 4、掌握Android移动端环境及各类潜在的安全威胁，熟练使用ADB命令，并熟练使用Shell脚本完成安全脚本开发。

Linux安装与配置、核心命令、网络配置、文件与文件夹操作、用户权限、进程与服务管理、网络相关命令、Tcudump流量监控，应用程序安装、Firewalld及IPTables防火墙配置、Shell脚本开发、Cron定时任务、字符串处理、Awk与Sed、Xampp环境配置、Nmon性能监控工具、Android移动端环境与命令、Windows命令对比、Shell实验场景：定时备份数据，站点可用性监控，性能指标监控，端口与进程监控，敏感文件监控，防火墙安全应急

加入收藏

Junit与TestNG单元测试

邓强 · 5592人观看 · 541分钟

Junit与TestNG单元测试

单元测试包，单元测试解析，模块测试分析

加入收藏

基于大数据平台Hive分析用户行为

胡登前 · 99人观看 · 258分钟

基于大数据平台Hive分析用户行为

Hive创建库、数据导入、数据分析

Hadoop(HDFS、Yarn、MapReduce) 、数据采集、数据ETL、数据分析

加入收藏

协议级接口测试自动化

邓强 · 3347人观看 · 1588分钟

协议级接口测试自动化

熟练掌握各种互联网常见协议标准及应用，能够从协议层面分析接口的定义，并且根据接口定义构造相关的请求完成接口自动化。能够自己编写接口自动化测试框架，实现全平台接口测试。

常见网络传输协议，视频播放协议，PostMan，接口压力测试

加入收藏

小程序开发

江岚 · 2213人观看 · 498分钟

小程序开发

uni-app：开发工具、基本使用、vuex、地图功能

微信小程序：基本介绍、开发工具、wxml和wxss、全局配置和页面配置、自定义组件、本地存储、网络请求、导航、云开发、小程序发布

加入收藏

Web系统SQL注入漏洞

邓强 · 2522人观看 · 1533分钟

Web系统SQL注入漏洞

1、熟练运用PHP完成基础测试环境的开发、并利用各类工具完成渗透测试与SQL注入的入侵与防御 2、能够熟练运用SQL注入的各类技术，对被测系统进行爆库爆表爆数据的处理，及进行服务器木马植入 3、熟练利用SQLMap扫描工具进行SQL注入测试、熟练使用菜刀和冰蝎等远程控制工具，熟悉常用的绕过手段 4、能够独立完成SQL注入靶场环境SQLi-Lab的65道关卡中的40道以上，并结合PHP代码完成50道以上

渗透测试基础扫盲、流程与方法、OWASP TOP10漏洞总结、BurpSuite与HackBar工具使用、系统登录漏洞及实现原理、登录漏洞基础防护、SQL注入漏洞防护、图片验证码的处理与识别、登录爆破与防护、SQL查询注入、基于查询注入的木马植入、远程控制工具菜刀和冰蝎、SQL报错注入、SQL盲注、更新注入、HTTP头注、二次注入、宽字节注入、堆叠注入、SQLMap工具的使用、SQL注入的防范、WAF绕过技巧、代码与命令注入、SQLi-Lab靶场实战

加入收藏

LoadRunner性能测试

邓强 · 287人观看 · 918分钟

LoadRunner性能测试

LoadRunner介绍，VuGen脚本开发，Controller指标监控，Analysis硬件指标分析，测试方案设计

加入收藏

基本信息

联系信息

上传资料