近期,有人将本人博客,复制下来,直接上传到百度文库等平台。
本文为原创博客,仅供技术学习使用。未经允许,禁止将其复制下来上传到百度文库等平台。如有转载请注明本文博客的地址(链接)
源码如有需要请联系:[email protected]
如下图所示,为所要爬取的阿里巴巴供应商数据。在爬取之前必须模拟登陆阿里巴巴网站。
如下程序,主要采用selenium工具进行模拟登陆。
/**
* @author:合肥工业大学 管理学院 sober_qian
* @email:[email protected]
* @
*/
public String click(String username, String password) throws InterruptedException {
System.setProperty("webdriver.gecko.driver", "chrome\\geckodriver.exe");
WebDriver webDriver = new FirefoxDriver();
// webDriver.manage().timeouts().implicitlyWait(30, TimeUnit.SECONDS);
String baseUrl = "https://login.1688.com/";
webDriver.get(baseUrl + "/member/signin.htm?spm=0.0.0.0.ijAHe8&Done=https%3A%2F%2Fs.1688.com%2Fcompany%2Fcompany_search.htm%3Fkeywords%3D%25B7%25FE%25D7%25B0%26button_click%3Dtop%26n%3Dy%26sortType%3Dpop%26pageSize%3D30%26offset%3D3%26beginPage%3D1");
webDriver.switchTo().frame(0);
webDriver.findElement(By.id("J_Quick2Static")).click();
//休息5秒
Thread.sleep(5000);
webDriver.findElement(By.cssSelector("span.ph-label")).click();
webDriver.findElement(By.id("TPL_username_1")).clear();
webDriver.findElement(By.id("TPL_username_1")).sendKeys(username);
webDriver.findElement(By.id("TPL_password_1")).clear();
webDriver.findElement(By.id("TPL_password_1")).sendKeys(password);
}