eclipse/idea
java环境
jsoup jar包
第一步:maven引入jsoup,或者从jsoup的官网下载jsoup导入编译器,官网下载地址:jsoup.org/download。因有依赖问题,这里建议使用maven
第二步:开始使用jsoup进行网络爬取,代码如下:Document document = Jsoup.connect('你的url').get();这是get请求,post请求如下:Document document = Jsoup.connect('你的url').post();是不是很简单
第三步:jsoup的爬取的其他方式:Connection conn = Jsoup.connect('').method(Connection.Method.GET);post如下:Connection conn = Jsoup.connect('').method(Connection.Method.POST);
第三步:分析不同点。返回值Document就是一个网页dom,也就是一个网页,请求到此结束,而Connection 返回的是一个连接,表示请求还没结束,Connection 常用方法如下:Document doc = response.parse(); Map
第五步:cookies的作用就是让网站记住你,告诉网站还是我,别验证了,所以如果再次请求的验证的网站,带上cookies就不用验证。代码如下:Connection.Response response = cget.execute(); Document doc = response.parse(); Map
第六步:下次开始讲代理,头部,get和Post的参数传递,并模拟登陆
保证网络畅通
学无止境