Python爬虫-蜗牛学苑

首页 / Python数据科学 · 第二阶段 / Python爬虫

发布于 2022-02-17 · 2269 次观看

课时列表
评论
课程介绍
资料列表
教师笔记

01-课程介绍及环境配置

31分钟 · 833次播放

02-爬虫基础知识介绍

63分钟 · 207次播放

03-用chrome进行抓包

49分钟 · 104次播放

04-requests库的使用

75分钟 · 77次播放

05-xpath库的使用

15分钟 · 114次播放

06-beautifulsoup库的使用

33分钟 · 52次播放

07-正则表达式的基本使用

52分钟 · 40次播放

08-蜗牛官网note抓取实战

74分钟 · 66次播放

09-简单爬虫框架讲解

67分钟 · 43次播放

10-常见反爬手段的介绍

17分钟 · 27次播放

11-身份验证1

56分钟 · 32次播放

12-身份验证2

21分钟 · 17次播放

13-验证码识别

65分钟 · 33次播放

14-IP代理基础知识

15分钟 · 17次播放

15-异步请求

33分钟 · 20次播放

16-JS混淆加密

60分钟 · 25次播放

17-代理池知识点讲解1

36分钟 · 16次播放

18-迭代器及生成器介绍

81分钟 · 14次播放

19-协程基本概念及实例

66分钟 · 14次播放

20-IP代理池结构及源码解读

28分钟 · 15次播放

21-scrapy框架介绍

24分钟 · 21次播放

22-scrapy安装

10分钟 · 19次播放

23-scrapy创建项目及结构介绍

41分钟 · 25次播放

24-scrapy selector的使用

14分钟 · 12次播放

25-scrapy抓取蜗牛官网note文章

32分钟 · 28次播放

26-请求间参数传递

15分钟 · 18次播放

27-scrapy pipeline组件

33分钟 · 22次播放

28-scrapy middleware

11分钟 · 19次播放

29-数据分析基本概念和流程介绍

38分钟 · 18次播放

30-数据分析简单例子演示

32分钟 · 14次播放

31-Series对象简介

42分钟 · 13次播放

32-dataframe简介和基本操作

51分钟 · 12次播放

33-缺失值的处理方式

41分钟 · 11次播放

34-数据清理实战

29分钟 · 10次播放

35-数据格式转换及重塑

40分钟 · 9次播放

36-数据统计及可视化操作

54分钟 · 252次播放

共有条回复

{{replyComment.createTime | dateForMat(replyComment.createTime)}}

课程目标

主要是针对不了解爬虫、数据分析的学员，用案例实战的形式带领大家了解和入门爬虫和数据分析可视化这个行业，为以后进入机器学习、数据挖掘行业打下基础

知识要点

day4.zip

Pythone爬虫第四天资料

12.72MB · 0次下载

day3-2scrapy_projects.zip

day3-1代理IP池实现架构中的主要技术点

0.08MB · 0次下载

day3-1代理IP池实现架构中的主要技术点.zip

day3-1代理IP池实现架构中的主要技术点

0.01MB · 0次下载

爬虫基础实战课程直播第2天资料.zip

爬虫基础实战课程直播第2天资料

0.49MB · 0次下载

爬虫基础实战课程直播第1天资料.zip

爬虫基础实战课程直播第1天资料.

0.85MB · 0次下载

授课讲师

卿淳俊

蜗牛学苑资深讲师

蜗牛学苑资深导师，15年测试开发及项目管理经验，认证敏捷项目Scrum Master，精通各种测试及开发工具、框架的设计和实现，在移动互联网、敏捷项目管理、电商测试等领域有丰富的项目经验。对大数据、机器学习、区块链等新兴技术均有深入研究。6年讲师经验铸就了深入浅出的授课风格，秉持着“授人以鱼不如授人以渔”的理念，让学员达到“知其然更要知其所以然”，真正掌握技术的本质。

看看TA的主页

推荐课程

数据预处理实战

周一 · 990人观看 · 800分钟

数据预处理实战

在实际项目中掌握特诊工程处理数据、提升分析信度、效度的方法

数据分析的基本过程、数据理解、数据清洗、特征构造。特征工程-标量、向量与空间、特征工程-计数、对数、缩放与归一化、特征工程-文本数据扁平化、过滤与分块。特征工程-数据降维概念、特征工程-PCA概念、特征工程-数据降维实战

加入收藏

小程序开发

江岚 · 2863人观看 · 498分钟

小程序开发

uni-app：开发工具、基本使用、vuex、地图功能

微信小程序：基本介绍、开发工具、wxml和wxss、全局配置和页面配置、自定义组件、本地存储、网络请求、导航、云开发、小程序发布

加入收藏

Web系统SQL注入漏洞

邓强 · 3906人观看 · 1533分钟

Web系统SQL注入漏洞

1、熟练运用PHP完成基础测试环境的开发、并利用各类工具完成渗透测试与SQL注入的入侵与防御 2、能够熟练运用SQL注入的各类技术，对被测系统进行爆库爆表爆数据的处理，及进行服务器木马植入 3、熟练利用SQLMap扫描工具进行SQL注入测试、熟练使用菜刀和冰蝎等远程控制工具，熟悉常用的绕过手段 4、能够独立完成SQL注入靶场环境SQLi-Lab的65道关卡中的40道以上，并结合PHP代码完成50道以上

渗透测试基础扫盲、流程与方法、OWASP TOP10漏洞总结、BurpSuite与HackBar工具使用、系统登录漏洞及实现原理、登录漏洞基础防护、SQL注入漏洞防护、图片验证码的处理与识别、登录爆破与防护、SQL查询注入、基于查询注入的木马植入、远程控制工具菜刀和冰蝎、SQL报错注入、SQL盲注、更新注入、HTTP头注、二次注入、宽字节注入、堆叠注入、SQLMap工具的使用、SQL注入的防范、WAF绕过技巧、代码与命令注入、SQLi-Lab靶场实战

加入收藏

MySQL数据库-预科

张靖 · 1059人观看 · 834分钟

MySQL数据库-预科

将项目中的用户信息及对战信息通过数据库保存及操作

数据库概念，MySQL配置，命令，建库建表，约束，数据的增删改查，视图，函数，事务，建模工具 JDBC操作数据库，开源工具DbUtils的使用

加入收藏

数据分析实战

赵勇文 · 101人观看 · 487分钟

数据分析实战

金融K线图绘制与优化

1.python数据可视化的江湖变革 2.plotly科学库的介绍和基本配置 3.牛刀小试：可视化基本图形制作（上） 4.牛刀小试：可视化基本图形制作（下）

加入收藏

Spring Boot+VUE

向伟 · 4305人观看 · 1655分钟

Spring Boot+VUE

完成项目中的核心功能开发

SpringBoot开发Web项目，使用VUE作为前端技术实现前后端分离开发

加入收藏

JavaScript高级编程

邓乃文 · 6696人观看 · 1849分钟

JavaScript高级编程

掌握高级特性概念以及运用，熟练使用ES6的新增特性

JavaScript高级特性：闭包、作用域链、递归、IIFE、立即函数等，ES6新增特性：解构赋值、扩展运算符，箭头函数等

加入收藏

SpringCloud微服务架构设计硬核实战

吕晨 · 101人观看 · 142分钟

SpringCloud微服务架构设计硬核实战

1. 微服务架构的理念及由来 2. 使用spring cloud组件搭建微服务架构 3. 落地微服务的一些实用原则

1. 微服务架构的理念及演变历程，了解为何微服务架构成为了历史的必然 2. 微服务架构主流落地方案sprongcloud的主要组件概念及使用 3. 微服务其他课题：服务划分、持续交付、监控等学到什么：

加入收藏

软件系统测试流程规范

胡名海 · 24564人观看 · 1082分钟

软件系统测试流程规范

理解软件工程的各类实际问题，树立清晰的学习目标，掌握测试用例设计的常用方法和综合运用

软件工程，软件质量，系统测试流程，方法，软件测试专业术语，测试用例设计，测试报告，缺陷管理

加入收藏

RobotFramework框架架构分析及应用实战

李利敏 · 120人观看 · 162分钟

RobotFramework框架架构分析及应用实战

1、独立部署RF环境。 2、深入理解RF架构的实现原理和架构。 3、熟练掌握RF脚本编写以及在实际测试应用中的使用。

1、认识RobotFramework基本结构和操作原理。 2、Python原生实现RF Like关键字驱动框架。 3、基于数据驱动完成web自动化测试实战

加入收藏

Python安全开发基础

邓强 · 3562人观看 · 1363分钟

Python安全开发基础

1、掌握Python编程语言的基础语法、文件读写操作、数据库操作、网络访问、爬虫开发、日志分析处理等功能 2、利用Python模拟攻击操作类安全脚本，如暴力破解、端口扫描、资产管理、地址扫描、流量泛洪等 3、借助Python各类内置库和第三方库，完成Python的威胁预警及各类安全运维相关场景的脚本开发 4、基本理解各类Hack Tool的实现原理，具备自主开发Hack Tool的能力，在企业保持更高的技术竞争力

Python开发环境配置、基础语法、列表与字典、函数与参数、包与模块、文件读写、操作CSV、操作JSON、异常处理、操作MySQL、Socket编程与聊天室开发、远程木马程序、多线程处理、开发端口扫描程序、Requests库处理HTTP协议、爬虫开发、URL地址扫描、多线程流量泛洪攻击、利用Selenium操作Web页面、基于AI的验证码识别、发送STMP邮件、Pyhton处理Redis和SSH、面向对象编程、模拟挖矿程序

加入收藏

HTML和CSS核心

张瑞 · 38000人观看 · 2692分钟

HTML和CSS核心

熟练运用HTML和CSS样式属性完成页面的布局和美化，基于PSD原稿完成页面像素级还原布局和设计

PhotoShop抠图、切片技巧、pxcook标注、Web前端开发环境、HTML常用标签、表单元素、CSS基础样式使用、字体图标设计

加入收藏

基本信息

联系信息

上传资料