urllib 是 python 的内置模块, 主要用于处理url相关的一些操作,例如访问url、解析url等操作。
urllib 包下面的 request
模块主要用于访问url,但是用得太多,因为它的光芒全都被 requests
这个第三方库覆盖了,最常用的还是 parse
模块。 写爬虫过程中,经常要对url进行参数的拼接、编码、解码,域名、资源路径提取等操作,这时 parse
模块就可以排上用场。
一、urlparse
urlparse
方法是把一个完整的URL拆分成不同的组成部分,你可以根据自己的需求提取其中的某部分内容。 返回结果 ParseResult 是 namedtuple 的子类,由以下10部分组成,每部分既可以通过名字获取也可以通过下表索引得到。
> from urllib import parse > url = 'https://mp.weixin.qq.com/s"htmlcode">> parse.parse_qs(result.query) {'__biz': ['MjM5MzgyODQxMQ=='], 'mid': ['2650366919'], 'idx': ['1'], 'sn': ['1b36a9f2c0921cdeac52942ec591a923']} >每个参数名对应一个列表对象,这是因为在url规范中,一个参数名可以有多个值,例如: a=1&a=2,通常在实际应用场景中一般一个参数名只会对应一个值。
你可以用一行代码将列表转化为字符串
> {name: value[0] for name, value in parse.parse_qs(result.query).items()} {'__biz': 'MjM5MzgyODQxMQ==', 'mid': '2650366919', 'idx': '1', 'sn': '1b36a9f2c0921cdeac52942ec591a923'}三、urlencode
反过来,如果将一个字典对象想转换为url中的查询参数,那么就可以使用urlencode方法。
> d = {'__biz': 'MjM5MzgyODQxMQ==', 'mid': '2650366919', 'idx': '1'} > parse.urlencode(d) '__biz=MjM5MzgyODQxMQ%3D%3D&mid=2650366919&idx=1'四、quote
在URL的标准规范中,url 只允许数字、字母和部分特殊符号的存在,如果有中文和某些特殊符号,就需要使用UTF-8进行编码,将这些字符转换成 %XX 的形式,例如: 【中】UTF-8编码的结果是:
> "中".encode() b'\xe4\xb8\xad'那么浏览器实际上会把【中】转换成 %e4%b8%ad
在python中,就可以用
quote
方法进行URL编码,对于特殊符号,也会进行成对应的16进制符号, 例如 【=】 就转换成了 %3D 。> parse.quote("q=中") 'q%3D%E4%B8%AD' >
quote_plus
可以将空格编码成“+”> parse.quote_plus("a b") 'a+b' > parse.quote("a b") 'a%20b'五、unquote
unquote 是 quote 的逆向过程,称之为URL解码,解码方便开发者阅读
> parse.unquote("q%3D%E4%B8%AD") 'q=中'以上就是详解python内置模块urllib的详细内容,更多关于python内置模块urllib的资料请关注其它相关文章!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
稳了!魔兽国服回归的3条重磅消息!官宣时间再确认!
昨天有一位朋友在大神群里分享,自己亚服账号被封号之后居然弹出了国服的封号信息对话框。
这里面让他访问的是一个国服的战网网址,com.cn和后面的zh都非常明白地表明这就是国服战网。
而他在复制这个网址并且进行登录之后,确实是网易的网址,也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情,因为以前都没有出现这样的情况,现在突然提示跳转到国服战网的网址,是不是说明了简体中文客户端已经开始进行更新了呢?