51job网页编码问题
- 请求51job页面时，在pychram显示的中文为乱码，因此初步判断为编码问题
请求51job页面时，在pychram显示的中文为乱码，因此初步判断为编码问题
问题展示
https://search.51job.com/list/010000,000000,0000,00,9,99,%2B,2,1.html
['ά¶àÀûÑǵÄÃØÃÜ-±±¾©ÈýÀïÍ͵êÆÌ-µêÆÌÖ÷¹Ü', 'Ò½Ò©ÏúÊÛ¾\xadÀí', 'Õ¹»áÒµÎñ×ܼࣨÉîÛÚ£©', '½»ÐÐÇþµÀ¹ó½ðÊô¸ºÔðÈË', '³õ¼¶ÁÔÍ·¹ËÎÊ£¨¸ßÌá³É£©', 'ÕÐƸÐÎÏó¸Úλ±£°²4.5kÆð', 'ÎÄ°¸´´ÒâºÍ¹ã¸æ²ß»®', 'Â¥Óî×Կؼ¼Êõ¹¤³Ìʦ', 'ÏúÊÛ¹ËÎÊ/´¢±¸¸É²¿(µ×н5k+Ìá³É+Éç±££©', 'ÉÌÎñÖúÀí', 'ÏúÊÛ´ú±í', '³öÄÉ', '2020½ìʵϰÉú', 'Qt¹¤³Ìʦ', 'ͼÊé·¢ÐÐÖúÀí', 'Òº¾§Ãæ°å É豸¹¤³Ìʦ', 'Á´¼Ò×ܲ¿Ö±Æ¸ °ÙÍò¾\xad¼ÍÈË ÖÃÒµ¹ËÎÊ ÏúÊÛ´ú±í', '¿Í»§Ö÷¹Ü', '¾«ÒæÔËÓª¾\xadÀí', 'Êг¡ÖúÀí£¨Îľ߷½Ïò£©', '²ÆÎñ·ÖÎöÔ±', '¼±Æ¸Á¬Ëø²ÍÒûÕÐÉÌ×ܼà', 'µçÆø×Ô¶¯»¯¹¤³Ìʦ£¨¹¤×÷µØµã£ºÂåÄþ¡¢´óÀí£©', '½ðÈÚ·ÖÎöʦ', 'Êг¡ÓªÏúרԱ', 'Java¿ª·¢¹¤³Ìʦ', 'У԰¾\xadÀí', 'ÇøÓò¾\xadÀí´óÇø¾\xadÀí', 'È«Îݶ¨ÖÆÉè¼Æʦ', 'Ò½ÁÆÆ÷е²úƷרԱ£¨¼±£©£©', '³ÏƸ ȺÖÚÑÝÔ± ¸ú×éÑÝÔ± ½ÇÉ«ÑÝÔ±', 'ITרԱ Specialist', 'ÍøÕ¾¹ÜÀíÔ±', 'Íâ°æͼÊéÉó¸å±à¼\xad', 'NO.1Á´¼Ò¡ª¡ªÖÃÒµ¹ËÎÊ/·¿²ú¹ËÎÊ/ÏúÊÛ´ú±í', 'ÕÐÉúÖ÷¹Ü', 'Éè¼Æʦ', 'Ê¡Çø¾\xadÀí', 'ÈÚ×ÊרԱ£¨ÏÞÓ¢ÃÀÓ¦½ìº£¹é£©', '-ÎÄÀí¿ÆͼÊé±à¼\xad¼°±àУԱ', 'ÏúÊÛ¹¤³Ìʦ-×Ô¶¯»¯É豸', '¿Í·þרԱ', 'oracle ÐÅÏ¢Ö÷¹Ü', 'ÖÊÁ¿¹¤³Ìʦ£¨QA¹¤³Ìʦ£©', '¼ÓÃ˺ϻïÈË', '×ÊÉîÊý×ÖICÉè¼Æ¹¤³Ìʦ', '°²È«ÆÀ¼Ûʦ', '»úе¹¤³Ìʦ', 'ÏßÉÏÒµÎñÍØÕ¹¸Ú', 'ÊÚнÂÉʦ']
[['ά¶àÀûÑǵÄÃØÃÜ-±±¾©ÈýÀïÍ͵êÆÌ-µêÆÌÖ÷¹Ü', 'Ò½Ò©ÏúÊÛ¾\xadÀí', 'Õ¹»áÒµÎñ×ܼࣨÉîÛÚ£©', '½»ÐÐÇþµÀ¹ó½ðÊô¸ºÔðÈË', '³õ¼¶ÁÔÍ·¹ËÎÊ£¨¸ßÌá³É£©', 'ÕÐƸÐÎÏó¸Úλ±£°²4.5kÆð', 'ÎÄ°¸´´ÒâºÍ¹ã¸æ²ß»®', 'Â¥Óî×Կؼ¼Êõ¹¤³Ìʦ', 'ÏúÊÛ¹ËÎÊ/´¢±¸¸É²¿(µ×н5k+Ìá³É+Éç±££©', 'ÉÌÎñÖúÀí', 'ÏúÊÛ´ú±í', '³öÄÉ', '2020½ìʵϰÉú', 'Qt¹¤³Ìʦ', 'ͼÊé·¢ÐÐÖúÀí', 'Òº¾§Ãæ°å É豸¹¤³Ìʦ', 'Á´¼Ò×ܲ¿Ö±Æ¸ °ÙÍò¾\xad¼ÍÈË ÖÃÒµ¹ËÎÊ ÏúÊÛ´ú±í', '¿Í»§Ö÷¹Ü', '¾«ÒæÔËÓª¾\xadÀí', 'Êг¡ÖúÀí£¨Îľ߷½Ïò£©', '²ÆÎñ·ÖÎöÔ±', '¼±Æ¸Á¬Ëø²ÍÒûÕÐÉÌ×ܼà', 'µçÆø×Ô¶¯»¯¹¤³Ìʦ£¨¹¤×÷µØµã£ºÂåÄþ¡¢´óÀí£©', '½ðÈÚ·ÖÎöʦ', 'Êг¡ÓªÏúרԱ', 'Java¿ª·¢¹¤³Ìʦ', 'У԰¾\xadÀí', 'ÇøÓò¾\xadÀí´óÇø¾\xadÀí', 'È«Îݶ¨ÖÆÉè¼Æʦ', 'Ò½ÁÆÆ÷е²úƷרԱ£¨¼±£©£©', '³ÏƸ ȺÖÚÑÝÔ± ¸ú×éÑÝÔ± ½ÇÉ«ÑÝÔ±', 'ITרԱ Specialist', 'ÍøÕ¾¹ÜÀíÔ±', 'Íâ°æͼÊéÉó¸å±à¼\xad', 'NO.1Á´¼Ò¡ª¡ªÖÃÒµ¹ËÎÊ/·¿²ú¹ËÎÊ/ÏúÊÛ´ú±í', 'ÕÐÉúÖ÷¹Ü', 'Éè¼Æʦ', 'Ê¡Çø¾\xadÀí', 'ÈÚ×ÊרԱ£¨ÏÞÓ¢ÃÀÓ¦½ìº£¹é£©', '-ÎÄÀí¿ÆͼÊé±à¼\xad¼°±àУԱ', 'ÏúÊÛ¹¤³Ìʦ-×Ô¶¯»¯É豸', '¿Í·þרԱ', 'oracle ÐÅÏ¢Ö÷¹Ü', 'ÖÊÁ¿¹¤³Ìʦ£¨QA¹¤³Ìʦ£©', '¼ÓÃ˺ϻïÈË', '×ÊÉîÊý×ÖICÉè¼Æ¹¤³Ìʦ', '°²È«ÆÀ¼Ûʦ', '»úе¹¤³Ìʦ', 'ÏßÉÏÒµÎñÍØÕ¹¸Ú', 'ÊÚнÂÉʦ']]
初步解决
In[2]: import requests
In[3]: res = requests.get('http://baidu.com')
In[4]: res
Out[4]: <Response [200]>
In[5]: res.encoding
Out[5]: 'ISO-8859-1'
转换编码
res = requests.get(url=url,headers=headers).text
res = res.encode('ISO-8859-1').decode('gbk')
