这2天看了下 nodeJs 的另外一种的爬虫方式,这个是利用 superagent 和 cheerio 的结合,这种方式与前面的【puppeteer爬虫】有所不同,puppeteer 可以达到模拟一个浏览器的效果。
而 superagent 和 cheerio 的实现思路...
zhanghui
3年前 (2018-03-08) 1438℃
今天是小实践了一下如何利用 nodeJS 的 HTTP API 来做个小爬虫,如果是以前做远端页面数据的抓取时均采用 PHP 语言来实现,现在既然在学习 nodeJS 所以就来尝试下吧。
首先做个简单的获取 HTML 源代码的实例吧。建立一个JS文件,然后在头部引入两个依赖的模块...
zhanghui
5年前 (2016-07-31) 1160℃