- `Jsoup`：用于析HTML文档，简化元素提取；
- `HttpClient`：处理HTTP请求，支持GET/POST等方法。
二、核心步骤
1. 发送HTTP请求获取网页内容
通过HttpClient向目标URL发送请求，获取网页HTML源码。 ```java CloseableHttpClient httpClient = HttpClients.createDefault(); HttpGet httpGet = new HttpGet("https://target-url.com"); CloseableHttpResponse response = httpClient.execute(httpGet); HttpEntity entity = response.getEntity(); String html = EntityUtils.toString(entity, "UTF-8"); ``` 关键：使用`HttpGet`发送请求，通过`EntityUtils`将响应转为字符串。2. 析HTML提取数据
用Jsoup析HTML，通过CSS选择器定位元素。 ```java Document doc = Jsoup.parse(html); Elements titles = doc.select("div.article-title"); // 提取class为article-title的div for (Element title : titles) { String text = title.text(); // 获取文本内容 String link = title.select("a").attr("href"); // 获取a标签的href属性 } ``` 核心：通过`Jsoup.parse()`加载HTML，`select()`方法定位元素，`text()`和`attr()`提取内容。3. 数据存储
将提取的数据保存到本地文件如TXT/CSV或集合。 ```java BufferedWriter writer = new BufferedWriter(new FileWriter("data.txt")); for (String title : titleList) { writer.write(title + "n"); } writer.close(); ``` 重点：使用`BufferedWriter`写入文件，确保IO流正确关闭。4. 简单反爬处理
避免被目标网站屏蔽：- 设置`User-Agent`伪装浏览器：`httpGet.setHeader("User-Agent", "Mozilla/5.0...")`；
- 添加请求延迟：`Thread.sleep(1000)`单位毫秒，降低请求频率。
三、案例演示：爬取网页标题
```java
// 1. 发送请求
CloseableHttpClient httpClient = HttpClients.createDefault();
HttpGet httpGet = new HttpGet("https://example.com");
httpGet.setHeader("User-Agent", "Mozilla/5.0");
CloseableHttpResponse response = httpClient.execute(httpGet);
String html = EntityUtils.toString(response.getEntity());
// 2. 析数据 Document doc = Jsoup.parse(html); String title = doc.select("title").first().text();
// 3. 存储数据 BufferedWriter writer = new BufferedWriter(new FileWriter("title.txt")); writer.write("网页" + title); writer.close(); ```
按以上步骤，新手可快速实现基础Java爬虫。重点掌握HTTP请求、HTML析和数据存储逻辑，逐步扩展功能即可。
新手如何编写Java爬虫？
新手小白如何编写一个Java爬虫
一、准备工作
编写Java爬虫需先搭建基础环境。安装JDKJDK 8及以上和开发工具如IntelliJ IDEA，确保环境变量配置正确。通过Maven管理项目依赖，在`pom.xml`中引入核心库：