解析器
解析器是负责网络爬虫的首要部分，其负责的工作首要有：下载网页的作用，对网页的文本做好处理，如过滤作用，提取特殊HTML标签的作用，分析数据作用。
控制器
控制器是网页爬虫的中央控制器，它主要是负责依据系统传过来的URL链接，划分一线程，随后启动线程读取网络爬虫爬取网页的流程。
资源库主要是用于存储网页中下载下来的数据记录的容器，并给予生成索引的目标源。中大型的数据库产品有：Oracle、SqlServer等。