图片爬取工具(CrawlWorm Picture)

图片爬取工具CrawlWormPicture是一款功能强大的图片爬取工具，软件支持对任意网站的图片爬取和下载功能，主要运用于图片站使用，软件链接数据库，直接将某个站的图片全部下载并进行分类到数据库中，方便用户建站使用。

　　图片爬取工具(CrawlWorm Picture)是一款功能强大的图片爬取工具，软件支持对任意网站的图片爬取和下载功能，主要运用于图片站使用，软件链接数据库，直接将某个站的图片全部下载并进行分类到数据库中，方便用户建站使用。

基本简介

　　本软件属于网络类应用软件，在Windows平台使用的网络图片爬取工具，主要功能为根据提供的网站地址，分析网页源码获取网站的图片资源，能够实现简单分类并存储到数据库和硬盘中。

功能介绍

　　（1）本技术需配合SQL Server数据库使用

　　（2）获取图片

　　在获取图片时，需要用户自己输入要抓取的根网址，这里的根网址需要保证其真实存在，如果不存在则会提示网页源代码获取失败，从而导致任务启动失败。

　　（3）搜索参数设置

　　在搜索参数设置的时候，需要慎重考虑其各个参数之间的制约关系，有以下几种情况需要说明。

　　如果搜索深度设置过大，那么就需要将抓取数据容量设置的大一些，否则任务会因为抓取容量不足而被迫停止抓取工作。

　　如果能够保证自己的网络连接正常，则选择不使用代理服务器。因为使用代理服务器，在任务执行过程中，如果代理服务器失效或者停止活动，则需要重新选择代理服务器，这中间会耗费大量时间来更换代理服务器。

　　在选择开始执行时间时，不易将执行时间设置的过长，因为设置的过长会使任务长期处于等待状态，建议只有在任务较少的情况下这样设置。

　　（4）关键字管理

　　在关键字管理中，需要注意的是在添加主关键字的时候，要同时添加一个与主关键字名字相同的子关键字，因为在图片进行分类的时候，首先比对的是子关键字，只有子关键字匹配之后才能确定其分类归属。

　　另外需要注意的是，删除主关键字时会将与其相关的所有子关键字一同删除。

　　（5）多任务

　　鉴于对任务耗费资源的考虑，同时执行的任务个数设定为5个，超过5个的任务只能处于等待状态，只有5个被执行任务中有结束的，处于等待的任务才能被执行。