python网页爬虫如何获取Network中的response?

Question

举个例子吧，谢谢各位大神

Answer 1

你好,

获取某个url请求的响应,现在python比较受欢迎的库就是requests了,我就拿requests这个库给你举个简单的例子吧:

requests库最简单的功能应该就是获取某个url请求了,说白了就是使到某个页面的源码, 我在本地搭了个web服务器,在根目录下有一个example.html文件,我们在浏览器中访问这个页面会显示 "Hello Friend":

example.html文件内容:

访问该文件浏览器的输出:

-------------

接下来我们就使用python的requests库来获取example.html的内容:

从上到下四个红框的意思:

导入requests库;


使用requests库的get()方法访问url: http://127.0.0.1/example.html,并将服务器响应回来的内容封装好赋给变量response;

使用response对象的text属性来获取刚刚访问url的响应内容;

因为response.text输出的内容没有格式化,所以这里又使用print()函数打印一下,这样看起来更清晰一点

最后我们可以再导入像re这样的正则库去response.text中拿到我们想得到的内容

**.一点点建议:

requests库很常用,但建议先稍系统的学一下该库常用的方法和属性,有一个大概的了解,再去找简单的例子练练手,一点点找感觉.这样会好一点.像requests官方文档应该有中文的,把tutorial看完了简单的一些操作就不在话下了.如果你没有学习相应要用的库,然后就按自己的想法去操作,步步都是坎,这样不仅耗时长,而且长时间没有进展会很打击积极性的.

希望对你有帮助,欢迎追问