You are here

使用Drupal抓取京东图书数据被封了IP

最近尝试使用Drupal抓取京东的图书数据,小规模的抓取,比如一次20多个图书没有问题,
当我尝试一次抓取1000多个页面的时候,被封了IP。
看来使用Drupal大规模的收集专题信息,还需要进一步的改进。

论坛:

Drupal版本: