logo
QQ一键登录
分类于: 编程语言 计算机基础 互联网 云计算&大数据

简介

精通Scrapy网络爬虫

精通Scrapy网络爬虫 6.5分

资源最后更新于 2020-03-28 17:09:52

作者:刘硕

出版社:出版社清华大学出版社

出版日期:2017-10

ISBN:9787302484936

文件格式: pdf

标签: 互联网 计算机 编程 程序设计 软件 工具

简介· · · · · ·

本书深入系统地介绍了Python流行框架Scrapy的相关技术及使用技巧。全书共14章,从逻辑上可分为基础篇和高级篇两部分,基础篇重点介绍Scrapy的核心元素,如spider、selector、item、link等;高级篇讲解爬虫的高级话题,如登录认证、文件下载、执行JavaScript、动态网页爬取、使用HTTP代理、分布式爬虫的编写等,并配合项目案例讲解,包括供练习使用的网站,以及京东、知乎、豆瓣、360爬虫案例等。本书案例丰富,注重实践,代码注释详尽,适合有一定Python语言基础,想学习编写复杂网络爬虫的读者使用。刘硕:硕士,曾就职于知名外企,从事一线开发工作10年,目前主要从事Python开发与教学工作,在慕课网开设有多门Python课程,深受学员欢迎。

想要: 点击会收藏到你的 我的收藏,可以在这里查看

已收: 表示已经收藏

Tips: 注册一个用户 可以通过用户中心得到电子书更新的通知哦

目录

  1. 内容简介
  2. 作者简介
  3. 前言
  4. 第1章 初识Scrapy
  5. 1.1 网络爬虫是什么
  6. 1.2 Scrapy简介及安装
  7. 1.3 编写第一个Scrapy爬虫
  8. 1.4 本章小结
  9. 第2章 编写Spider
  10. 2.1 Scrapy框架结构及工作原理
  11. 2.2 Request和Response对象
  12. 2.3 Spider开发流程
  13. 2.4 本章小结
  14. 第3章 使用Selector提取数据
  15. 3.1 Selector对象
  16. 3.2 Response内置Selector
  17. 3.3 XPath
  18. 3.4 CSS选择器
  19. 3.5 本章小结
  20. 第4章 使用Item封装数据
  21. 4.1 Item和Field
  22. 4.2 拓展Item子类
  23. 4.3 Field元数据
  24. 4.4 本章小结
  25. 第5章 使用Item Pipeline处理数据
  26. 5.1 Item Pipeline
  27. 5.2 更多例子
  28. 5.3 本章小结
  29. 第6章 使用LinkExtractor提取链接
  30. 6.1 使用LinkExtractor
  31. 6.2 描述提取规则
  32. 6.3 本章小结
  33. 第7章 使用Exporter导出数据
  34. 7.1 指定如何导出数据
  35. 7.2 添加导出数据格式
  36. 7.3 本章小结
  37. 第8章 项目练习
  38. 8.1 项目需求
  39. 8.2 页面分析
  40. 8.3 编码实现
  41. 8.4 本章小结
  42. 第9章 下载文件和图片
  43. 9.1 FilesPipeline和ImagesPipeline
  44. 9.2 项目实战:爬取matplotlib例子源码文件
  45. 9.3 项目实战:下载360图片
  46. 9.4 本章小结
  47. 第10章 模拟登录
  48. 10.1 登录实质
  49. 10.2 Scrapy模拟登录
  50. 10.3 识别验证码
  51. 10.4 Cookie登录
  52. 10.5 本章小结
  53. 第11章 爬取动态页面
  54. 11.1 Splash渲染引擎
  55. 11.2 在Scrapy中使用Splash
  56. 11.3 项目实战:爬取toscrape中的名人名言
  57. 11.4 项目实战:爬取京东商城中的书籍信息
  58. 11.5 本章小结
  59. 第12章 存入数据库
  60. 12.1 SQLite
  61. 12.2 MySQL
  62. 12.3 MongoDB
  63. 12.4 Redis
  64. 12.5 本章小结
  65. 第13章 使用HTTP代理
  66. 13.1 HttpProxyMiddleware
  67. 13.2 使用多个代理
  68. 13.3 获取免费代理
  69. 13.4 实现随机代理
  70. 13.5 项目实战:爬取豆瓣电影信息
  71. 13.6 本章小结
  72. 第14章 分布式爬取
  73. 14.1 Redis的使用
  74. 14.2 scrapy-redis源码分析
  75. 14.3 使用scrapy-redis进行分布式爬取
  76. 14.4 本章小结