淘先锋技术网

首页 1 2 3 4 5 6 7

爬虫软件需要什么配置的电脑?

爬虫软件需要的电脑配置,取决于爬虫使用者期望爬虫程序完成的任务 scope 和爬取网站的嵌套层次深度。

所谓爬虫,就是指编程人员开发出的一种模拟终端用户访问指定网页资源并进行持久化的程序。

爬虫程序需要爬取的网站列表规模越大,需要解析的网页嵌套层次越深,意味着爬虫工作量越大。

这种情况下,配置越好,CPU 计算能力越高的电脑,执行爬虫程序的效率就越高。