ChromeDriver中的PageSource返回 的问题

由于PhantomJS停止开发,爬虫改用ChromeDriver,遇到如题问题,与大家分享。

我觉得应该是ChromeDriver的问题,没有找到官方的方法,其他的driver或许也有类似问题,没有测试

如果请求页面里面包含空格占位符 ,PageSource不会返回 ,而是返回不可见字符来代替,这样做在页面渲染的时候没有问题,但是想取得页面source的时候就会导致页面不正确,该显示空格的地方显示成了?号。

获取页面html的代码通常这样写,html中 会被替换成不可见字符

            driver.Navigate().GoToUrl(url);
            string html = driver.PageSource;

在网上参照了下面的文章

https://github.com/GoogleChrome/puppeteer/issues/406

https://github.com/jeresig/puppeteer/commit/861d76dfbce9adbcaf4bf1061927396dadceea6a

代码修改如下,不用PageSource,而是通过js来获取source,代码中保留PageSource的目的是等待html加载完成

            driver.Navigate().GoToUrl(url);
            IJavaScriptExecutor js = (IJavaScriptExecutor)driver;

            string html = driver.PageSource;

            string getContent = @"
      let retVal = '';
      const doctype = document.doctype;
      if (doctype) {
        // DOCTYPE serialization algorithm based on:
        // https://stackoverflow.com/a/10162353
        retVal = '';
      }

      if (document.documentElement)
        retVal += document.documentElement.outerHTML;
      return retVal;
";
            html = (string)js.ExecuteScript(getContent);


你可能感兴趣的:(ChromeDriver中的PageSource返回 的问题)