爬虫基本需求记录

1.node获取重定向后的真正地址

//获取重定向后的真正地址
async function getFinalUrl(url) {
  try {
    const response = await axios.head(url);
    return response.request.res.responseUrl;
  } catch (error) {
    console.error('Error:', error.message);
  }
}

//实例
      const finalUrl = await getFinalUrl(url);
      console.log('Final URL:', finalUrl);