ForeSpider数据采集系统
浏览器F12开发者工具
一.省份情况分类通过逐一采集全国31个省份发现，各省份的状况如下。1.通过Cookie、jsessionid、日期与验证机制关联的省份：省份：北京、天津、江苏、浙江、陕西、内蒙古、重庆、新疆、河南、湖南、河北、陕西、吉林、黑龙江、上海、江西、安徽、山东、广西、海南、四川、贵州、云南、西藏、甘肃、宁夏、青海。定制状况：无需定制，可以直接采集。2.动态加密的省份：省份：广东定制状况：需要定制，字符加密需要进一步解析。3.frame：省份：辽宁、福建。定制状况：需要定制，frame生成的内容需要进一步解析。4.密码盘的验证机制：省份：湖北。定制状况：可以实现手工识别采集，不需要定制。如果想实现机器识别需要自行解决验证码问题。
三.测试过程以天津为例，通过人工识别验证码方式进行测试。1.配置企业名称的关键词
2.配置模板一的链接抽取
3.配置模板二的链接抽取
4.配置模板二的链接脚本
5.配置模板三的链接抽取
6.配置模板四的数据抽取
7.验证码人工识别
8.数据采集
9.数据浏览
测试过程的验证码识别采用了人工识别的方式，将测试过程分为验证码识别和采集过程。
1.验证码识别在一台计算机上测试，由于涉及到Cookie验证，验证码识别只能开启单线程。单线程人工识别20分钟，识别480了个验证码。若需求方有多台计算机，识别过程可以多线程。加快识别速度。
2.采集过程采集过程启用一台计算机，开启了10个线程。如果需求方的硬件配置较好，可以开启100个线程左右。经过采集，1000s内采集到共6410个链接（与数据相关及无关的链接总数），2423条数据（每条数据对应一个企业的信息）。
即：在使用一台计算机，开启10个线程的情况下：1000秒--6410个链接--2423条数据1小时--23076个链接--8723条数据24小时--553824个链接--209347条数据
ForeSpider有免费试用期。