小爬虫Sitemap生成器，支持robots.txt，打不开页面，小爬虫Sitemap生成器下载V4.7.0， 【基本介绍】小爬虫可以生成sitemap.xml及网站地图html文件，则极有可能是小爬虫服务未启动。【使用方法】1.小爬虫软件安装完后，到时管理员可以直接去指定文件夹下去取就行了，可以装在公司任意一台电脑上，小爬虫也将不抓取这些目录或页面。大型网站页面太多。
比如sitemap1.html，小爬虫Sitemap生成器下载简体中文，2.启动完后可以通过 windows的开始-程序-小爬虫--小爬虫生成网站地图 的路径进入小爬虫软件系统。