网络舆情是怎么监测的？主要通过什么途径

Question

如题所述

Answer 1

一般中文互联网大数据及新浪微博的官方数据为基础，采集新闻、报刊、政务、微博、公众号、博客、论坛、视频、网站、客户端等全网11大信息来源。

舆情，指在一定的社会影响空间内围绕事件的产生、发展和变化，舆情不是对民意的简单规律概括，是作为参与者的公众对涉事方客体及其政策方向持有的社会综合态度。同时，也是较多群众对于各种社会问题和现象所表达的信念、情绪、意见和态度等方面的表现。

相比较而言网络舆情监控应找效率好的。新浪舆情通是上海蜜度信息技术有限公司研发的政企舆情大数据服务平台。 新浪舆情通以中文互联网大数据及新浪微博的官方数据为基础，7*24小时不间断采集新闻、报刊、政务、微博、公众号、博客、论坛、视频、网站、客户端等全网11大信息来源，每天采集超过1.4亿条数据。

Answer 2

数据源的获取是做舆情监测的第一步，有了米才能做粥嘛。从获取的方法上有简单的取巧办法，也有复杂到需要应对各类网站难题的情况。
方法大致如下：
使用搜索入口作为捷径
搜索入口有两类：一类是搜索引擎的入口， 一类是网站的站内搜索。
做舆情监测往往是有主题、有定向的去做， 所以很容易就可以找到监测对象相关的关键字，然后利用这些关键字去各类搜索入口爬取数据。
当然也会遇到反扒的问题，例如你长时间、高频次的爬取搜索引擎的结果页面，网站的反扒策略就会被触发，让你输入验证码来核实是否是人类行为。
使用搜索入口作为捷径也会带来一些好处，除了爬取门槛低，不需要自己收录各类网站信息外，另一个特别明显的好处是可验证性非常好，程序搜索跟人搜索的结果会是一致的， 所以人很难验证出你获取的数据有偏颇。
爬虫根据网站入口遍历爬取网站内容
第一步要规划好待爬取的网站有哪些？ 根据不同的业务场景梳理不同的网站列表， 例如主题中谈到的只要监测热门的话题，这部分最容易的就是找门户类、热门类网站，爬取他们的首页推荐，做文章的聚合，这样就知道哪类是最热门的了。思路很简单，大家都关注的就是热门。至于内容网站怎么判断热门，这个是可以有反馈机制的：一类是编辑推荐；一类是用户行为点击收集，然后反馈排序到首页。
第二步是使用爬虫获取数据。爬虫怎么写是个非常大的话题，在这里不展开说明，需要提一嘴的是， 爬虫是个门槛很低但是上升曲线极高的技术。难度在于：网站五花八门；反扒策略各有不同；数据获取后怎么提取到想要的内容。
数据检索与聚合
数据获取下来后哪些是你关心的、 哪些是垃圾噪声，需要用一些NLP处理算法来解决这些问题。这方面门槛高、难度大。首先大规模的数据如何被有效的检索使用就是个难题。 比如一天收录一百万个页面（真实环境往往比这个数量级高很多），上百G的数据如何存储、如何检索都是难题。值得高兴的是业内已经有一些成熟的方案，比如使用solr或者es来做存储检索， 但随着数据量的增多、增大，这些也会面临着各种问题。
通常对热门的判断逻辑是被各家网站转载、报道的多， 所以使用NLP的手段来做相似性计算是必须的，业内常用的方法有Simhash或者计算相似性余弦夹角。有些场景不单单是文章相似，还需要把类似谈及的文章都做聚合，这时就需要用到一些聚类算法，例如LDA算法。从我们的实践经验来看，聚类算法的效果良莠不齐， 需要根据文本特征的情况来测试。本回答被网友采纳

Answer 3

数据源的获取是做舆情监测的第一步，有了米才能做粥嘛。从获取的方法上有简单的取巧办法，也有复杂到需要应对各类网站难题的情况。

方法大致如下：
使用搜索入口作为捷径
搜索入口有两类：一类是搜索引擎的入口， 一类是网站的站内搜索。
做舆情监测往往是有主题、有定向的去做， 所以很容易就可以找到监测对象相关的关键字，然后利用这些关键字去各类搜索入口爬取数据。
当然也会遇到反扒的问题，例如你长时间、高频次的爬取搜索引擎的结果页面，网站的反扒策略就会被触发，让你输入验证码来核实是否是人类行为。
使用搜索入口作为捷径也会带来一些好处，除了爬取门槛低，不需要自己收录各类网站信息外，另一个特别明显的好处是可验证性非常好，程序搜索跟人搜索的结果会是一致的， 所以人很难验证出你获取的数据有偏颇。
爬虫根据网站入口遍历爬取网站内容
第一步要规划好待爬取的网站有哪些？ 根据不同的业务场景梳理不同的网站列表， 例如主题中谈到的只要监测热门的话题，这部分最容易的就是找门户类、热门类网站，爬取他们的首页推荐，做文章的聚合，这样就知道哪类是最热门的了。思路很简单，大家都关注的就是热门。至于内容网站怎么判断热门，这个是可以有反馈机制的：一类是编辑推荐；一类是用户行为点击收集，然后反馈排序到首页。
第二步是使用爬虫获取数据。爬虫怎么写是个非常大的话题，在这里不展开说明，需要提一嘴的是， 爬虫是个门槛很低但是上升曲线极高的技术。难度在于：网站五花八门；反扒策略各有不同；数据获取后怎么提取到想要的内容。
数据检索与聚合
数据获取下来后哪些是你关心的、 哪些是垃圾噪声，需要用一些NLP处理算法来解决这些问题。这方面门槛高、难度大。首先大规模的数据如何被有效的检索使用就是个难题。 比如一天收录一百万个页面（真实环境往往比这个数量级高很多），上百G的数据如何存储、如何检索都是难题。值得高兴的是业内已经有一些成熟的方案，比如使用solr或者es来做存储检索， 但随着数据量的增多、增大，这些也会面临着各种问题。
通常对热门的判断逻辑是被各家网站转载、报道的多， 所以使用NLP的手段来做相似性计算是必须的，业内常用的方法有Simhash或者计算相似性余弦夹角。有些场景不单单是文章相似，还需要把类似谈及的文章都做聚合，这时就需要用到一些聚类算法，例如LDA算法。从实践经验来看，聚类算法的效果良莠不齐， 需要根据文本特征的情况来测试。
目前舆情监测的现状存在很多待改进的地方。首先，手工监测存在天然局限性。通过安排固定人手24小时值班，不间断地浏览目标站点并搜索目标关键词，是在缺少自动化系统时最直接也是最初级的舆情监测方式。由于受到每个人主观思想的限制，手工监测总会有观察盲区，总会有觉得不重要但事后被证明很严重的地方，且手工无法察觉到一些站点或者一些偏僻的网页内容发生改变；同时，人不是机器，长期反复监测容易导致疲劳，经常会使得该判断出来的舆情，一不留神就漏掉了。这些都会在实时性和准确性上存在很大波动。
其次是过度依赖搜索引擎。人们往往认为在网络舆情的大海里也只有搜索引擎才可能具备捞针的本领。但是，搜索引擎仍然具有不少局限性。除了搜索结果受关键词影响很大外，搜索引擎返回的结果往往来自不受任何访问限制的网站，而诸如论坛等需要登录的网站则完全被排除在外。但是网民发表意见最多的地方，恰恰是这些提供互动功能的网站。更进一步的，搜索引擎的网络爬虫具有一定的时延性，因此不能实时搜索到最新的网页更新。因此，搜索引擎不能为我们提供问题的全貌，因为它只针对关键词而不针对问题，所以谈不上全面性；搜索引擎也不能在第一时间得到我们所想要的结果，因为不仅是它的内容更新不够快，而且它也不能提供针对时效性的服务，所以谈不上及时性；搜索引擎只能在海量网页中返回另一个海量的结果，而且是以杂乱无章的形式，对于我们关心什么，它一无所知，所以它给出的结果是所有人都关心的，而非我关心的，因此也谈不上准确性。可见，我们不能完全依赖搜索引擎来监测网络舆情，需要提出全新的技术手段来获知网络舆情，并跟踪和分析舆情。
因此，要想保证舆情监测的实时性、全面性和准确性，最可靠的办法就是使用自动化的多瑞科舆情数据分析站系统舆情监测系统，依靠软件系统来消除人工方式的不足，依靠软件系统来定点的监测目标站点及整个网络，跟踪分析各个舆情主题的发展轨迹，并自动地整理生成日报/周报等报告，将舆情与政府的日常工作业务有机整合在一起本回答被提问者采纳

Answer 4

（1）搜索引擎。利用百度、360、搜狗等多种搜索引擎，输入相关的关键词，查找舆情信息。例如，使用“百度”引擎，在搜索栏中输入“吉安”。
（2）定向搜索。利用省内外网站、微博微信、新闻客户端中的检索功能，输入特定的关键词进行搜索，并将搜索内容按时序排序，逐条查看。比如在检索条中输入“吉安 拆迁”等。
（3）专业软件。购买专业的网络舆情监控软件，通过关键字布控和语义分析识别等智能技术，利用自动信息采集和人工干预相结合的方式进行网络舆情信息监测和收集。

Answer 5

网络舆情监测是一个系统性的工作，它包括了舆情信息的收集、重大舆情的上报、舆情传播分析、舆情发生后的引导、方案应对、以及后续的经验总结等多个步骤。

人工监测：这是最传统的监测方式，通过人为地在全网进行搜索，利用关键词的信息量来判断舆情的产生。这种方式需要在各种平台上进行，如新闻网站、论坛、贴吧、微博和微信等，因为这些平台都是舆情滋生的地方。

自动监测工具：随着技术的进步，现在有很多自动化的舆情监测工具可以使用。这些工具可以覆盖大量的信源，如微博、微信、网站、图片和小视频等，并能精准定位目标舆情。这些工具通常具有垃圾过滤和情感分析功能，其准确度可以达到90%。

监测渠道和平台：舆情监测的渠道和平台非常丰富，主要包括以下几个方面：

网络社交媒体平台：如微博、微信、抖音等。

新闻门户网站：如新浪、腾讯、头条等。

论坛和社区：如CSDN、贴吧、知乎等。

数据榜单：例如抖音热榜、微博热搜榜、微信指数等。

全方位24小时监测：为了更好地掌握舆情的动态，监测应该是全方位的，建议借助识微商情这样的舆情产品科持续24小时进行，以确保不错过重要的信息或事件。

总的来说，网络舆情监测是一个综合性的工作，需要结合人工和自动化的方法，以及多种渠道和平台来进行。