飞污熊小站

每天15分钟玩转Scrapy - 部署与运维

XiongNeng 发布于 2026-09-13 收录于 Python

这一篇讲爬虫跑起来之后的事。

XiongNeng 发布于 2026-09-13 收录于 Python

前面几篇的爬虫都是手动跑的。一句 scrapy crawl，看着日志滚完，收工。

XiongNeng 发布于 2026-09-13 收录于 Python

前面几篇的爬虫，回调都写成同步的样子。def parse 里 yield 几个 Request，剩下的交给框架。

XiongNeng 发布于 2026-09-12 收录于 Python

性能这件事，我的经验是可以量出来的部分比想象中多。

XiongNeng 发布于 2026-09-12 收录于 Python

这一篇讲对方不想让你爬的时候，会发生什么，以及你能做什么。

XiongNeng 发布于 2026-09-12 收录于 Python

前面几篇取的都是文字。这一篇换个东西取，文件。