23 实现爬虫功能1

时间:2023-1-20    作者:老大夫    分类: 传智JAVA爬虫学习笔记


Task任务

链接里的key我用666挡住了,复制自己用京东搜索结果的链接就好.

package cn.itcast.jd.task;

import cn.itcast.jd.util.HttpUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;

@Component
public class ItemTask {

    @Autowired
    private HttpUtils httpUtils;

    //当下在任务完成后,间隔多长时间进行性下一次的任务
    @Scheduled(fixedDelay = 100*1000)
    public void IteamTask()throws Exception{
        //声明需要解析的初始地址
        String url ="https://search.jd.com/Search?keyword=%E6%6666666E6%9C%BA&wq=%E6%89666666669C%BA&pvid=1666" +
                "8a13a65366666664d9179bea983f&s=66&click=0&page=";

        //按照页面对手机的搜索结果进行遍历
        for (int i = 1; i < 10; i=i+2) {
            String html = httpUtils.doGetHtml(url + i);

            //使用解析页面获取商品数据并存储
            this.parse(html);
        }

        System.out.println("手机数据抓取完成! ");
    }

    //使用解析页面获取商品数据并存储
    private void parse(String html) {

    }
}


扫描二维码,在手机上阅读

推荐阅读: