java爬虫系列：怎么用jsoup进行爬虫开发?(4)

eclipse/idea

jsoup

第一步：用jsoup进行请求，获取一个response对象，不懂请求的可以参考前几篇经验，代码如下：Connection.Response response = Jsoup.connect('http://127.0.0.1:8039/test/login.html')         .method(Connection.Method.GET).execute();

第二步：response的Document对象，这个Document对象很明显就是网页的Document，这个就是直接提取里面的文本，执行js，类似于jquery，代码如下：Document doc = response.parse(); System.out.println(doc.toString());

第三步：response的String对象，这个String就是一个单纯的字符串，和普通的字符串一样，不能进行dom操作，代码如下：String s = response.body(); System.out.println(s);

第四步：response的stream对象，这个是一个流，在很程序解析的过程中，有时候需要用流进行操作，代码如下：try(BufferedInputStream bufferedInput = response.bodyStream()){     byte[] buffer = new byte[1024];     int bytesRead = 0;     while ((bytesRead = bufferedInput.read(buffer)) != -1) {         String chunk = new String(buffer, 0, bytesRead);         System.out.print(chunk);     } }

第五步：response的byte对象，这个byte字节，代码如下：byte[] bytes = res.bodyAsBytes(); System.out.println(new String(bytes));

第六步：获取一些其他信息，状态码和信息，代码如下：int code = res.statusCode(); String msg = res.statusMessage(); System.out.println('code = ' + code + ', msg = ' + msg);