时间:2023-1-20 作者:老大夫 分类: 传智JAVA爬虫学习笔记
链接里的key我用666挡住了,复制自己用京东搜索结果的链接就好.
package cn.itcast.jd.task;
import cn.itcast.jd.util.HttpUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;
@Component
public class ItemTask {
@Autowired
private HttpUtils httpUtils;
//当下在任务完成后,间隔多长时间进行性下一次的任务
@Scheduled(fixedDelay = 100*1000)
public void IteamTask()throws Exception{
//声明需要解析的初始地址
String url ="https://search.jd.com/Search?keyword=%E6%6666666E6%9C%BA&wq=%E6%89666666669C%BA&pvid=1666" +
"8a13a65366666664d9179bea983f&s=66&click=0&page=";
//按照页面对手机的搜索结果进行遍历
for (int i = 1; i < 10; i=i+2) {
String html = httpUtils.doGetHtml(url + i);
//使用解析页面获取商品数据并存储
this.parse(html);
}
System.out.println("手机数据抓取完成! ");
}
//使用解析页面获取商品数据并存储
private void parse(String html) {
}
}
推荐阅读:
02 入门程序
22 封装HttpClient
24 实现爬虫功能2
20 开发准备
18 selector选择器的组合使用获取元素
17 使用选择器获取元素
21 编写案例的引导类,Service,Dao,Pojo
19 idea工程文件打包
15 使用DOM的方式获取文档
16 获取元素中的数据
行动消除疑虑