88问答网
所有问题
为什么有些网站能显示内容但python.requests却爬不出数据
如题所述
举报该问题
推荐答案 2017-05-27
具体看网站了。我目前了解到的有两种可能，1、这个网站反爬虫，对你的程序识别为威胁然后拒绝提供服务；2、你要的这个内容是js写的，异步传输需要执行相应的js代码才能获取到数据，而requests执行不了。
温馨提示：答案为网友推荐，仅供参考
当前网址：
http://88.wendadaohang.com/zd/1K1M1BcKc1MM1BcSMg.html
相似回答
为什么有些网站能显示内容但python.requests却爬不出数据
答：
话说这种
网站
根本不需要headers吧
Python
requests爬
取今日头条,
为什么
获取不了
网页内容
答：
也不大可能是requests的版本问题吧
，我2.12.4都可以额~
使用
python
抓取百度搜索结果时不成功,怎么回事?
答：
百度搜索有专门的接口，使用相应的API接口调用吧。你这直接调用它的主页，需要解决很多问题的。这段代码访问的是百度主页,这里头不仅仅只是表面上的这些参数在起作用，还有cookie,session等在起作用，百度会通过这些信息对搜索信息进行整理，用于生成大
数据
集（比如哪个区域的人偏爱查询哪些词之类的），你的...
为什么Python
返回不了
网站内容
?
答：
百度这个，需要添加ua头，可能还有cookie
，如下图。有一个方便的工具是curl.trillworks.com/ 可自行搜索 试试
为什么
我都装了
requests
模块
但是Python
他还是没
有的
?
答：
可能是因为
Python
解释器与
requests
模块的路径不匹配导致的问题。可以尝试在Python脚本的开头添加以下代码，显式地告诉Python解释器查找requests模块的路径：import sys import os# 添加 requests 模块的安装路径 sys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__)))import requests ...
python
requests
get超长
网页内容
时,得到
的内容不
全怎么办?
答：
楼主你好。根据你提供的问题描述，我猜测可能是在爬取一定量内容之后，目标
网站
封禁了你的IP地址。可以尝试设置多个cookie，必要时更换。另外，也有可能是您的代码本身问题。
小白刚学习
python爬
取,运行解析没有问题,但解析.xpath运行出来没有...
答：
内部
网站不能
访问，你用无登录打开这个网站会自动跳转，所以就没内容了。爬中国人民银行想干嘛？拿电影、小说网站爬爬不好吗？
python
3如何利用
requests
模块实现爬取页面
内容的
实例详解
答：
2）传递URL参数有时我们想为 URL 的查询字符串传递某种
数据
。如果你是手工构建 URL，那么数据会以键/值对的形式置于 URL 中，跟在一个问号的后面。例如， cnblogs.com/get?key=val。
Requests
允许你使用 params 关键字参数，以一个字符串字典来提供这些参数。举例来说，当我们google搜索“
python
爬虫...
大家正在搜
相关问题
为什么有些网站能显示内容但python.requests却爬...
Python requests爬取今日头条，为什么获取不了网...
为什么有些网站能显示内容但python.requests却爬...
python requests.text 内容不完整
Python+requests 爬取网站遇到中文乱码怎么办
Python+requests 爬取网站遇到中文乱码怎么办
python requests 太快 数据还没
Python+requests 爬取网站遇到中文乱码怎么办