nodeJs爬虫的技术点总结

背景

最近打算把之前看过的nodeJs相关的内容在复习下，顺便写几个爬虫来打发无聊，在爬的过程中发现一些问题，记录下以便备忘。

依赖

用到的是在网上烂大街的cheerio库来处理爬取的内容，使用superagent处理请求，log4js来记录日志。

日志配置

话不多说，直接上代码：

const log4js = require('log4js');

log4js.configure({
 appenders: {
 cheese: {
 type: 'dateFile',
 filename: 'cheese.log',
 pattern: '-yyyy-MM-dd.log',
 // 包含模型
 alwaysIncludePattern: true,

 maxLogSize: 1024,
 backups: 3 }
 },
 categories: { default: { appenders: ['cheese'], level: 'info' } }
});

const logger = log4js.getLogger('cheese');
logger.level = 'INFO';

module.exports = logger;

以上直接导出一个logger对象，在业务文件里直接调用logger.info()等函数添加日志信息就可以，会按天生成日志。相关信息网络上一堆。

爬取内容并处理

 superagent.get(cityItemUrl).end((err, res) => {
 if (err) {
 return console.error(err);
 }

 const $ = cheerio.load(res.text);
 // 解析当前页面,获取当前页面的城市链接地址
 const cityInfoEle = $('.newslist1 li a');
 cityInfoEle.each((idx, element) => {
 const $element = $(element);
 const sceneURL = $element.attr('href'); // 页面地址
 const sceneName = $element.attr('title'); // 城市名称
 if (!sceneName) {
 return;
 }
 logger.info(`当前解析到的目的地是: ${sceneName}, 对应的地址为: ${sceneURL}`);

 getDesInfos(sceneURL, sceneName); // 获取城市详细信息

 ep.after('getDirInfoComplete', cityInfoEle.length, (dirInfos) => {
 const content = JSON.parse(fs.readFileSync(path.join(__dirname, './imgs.json')));

 dirInfos.forEach((element) => {
 logger.info(`本条数据为:${JSON.stringify(element)}`);
 Object.assign(content, element);
 });

 fs.writeFileSync(path.join(__dirname, './imgs.json'), JSON.stringify(content));
 });
 });
 });

使用superagent请求页面，请求成功后使用cheerio 来加载页面内容，然后使用类似Jquery的匹配规则来查找目的资源。

多个资源加载完成，使用eventproxy来代理事件，处理一次资源处罚一次事件，所有事件触发完成后处理数据。