如何有效地进行数据挖掘和分析

Question

如题所述

Answer 1

大数据分析处理解决方案
方案阐述
每天，中国网民通过人和人的互动，人和平台的互动，平台与平台的互动，实时生产海量数据。这些数据汇聚在一起，就能够获取到网民当下的情绪、行为、关注点和兴趣点、归属地、移动路径、社会关系链等一系列有价值的信息。
数亿网民实时留下的痕迹，可以真实反映当下的世界。微观层面，我们可以看到个体们在想什么，在干什么，及时发现舆情的弱信号。宏观层面，我们可以看到当下的中国正在发生什么，将要发生什么，以及为什么？借此可以观察舆情的整体态势，洞若观火。
原本分散、孤立的信息通过分析、挖掘具有了关联性，激发了智慧感知，感知用户真实的态度和需求，辅助政府在智慧城市，企业在品牌传播、产品口碑、营销分析等方面的工作。
所谓未雨绸缪，防患于未然，最好的舆情应对处置莫过于让舆情事件不发生。除了及时发现问题，大数据还可以帮我们预测未来。具体到舆情服务，舆情工作人员除了对舆情个案进行数据采集、数据分析之外，还可以通过大数据不断增强关联舆情信息的分析和预测，把服务的重点从单纯的收集有效数据向对舆情的深入研判拓展，通过对同类型舆情事件历史数据，及影响舆情演进变化的其他因素进行大数据分析，提炼出相关舆情的规律和特点。
大数据时代的舆情管理不再局限于危机解决，而是梳理出危机可能产生的各种条件和因素，以及从负面信息转化成舆情事件的关键节点和衡量指标，增强我们对同类型舆情事件的认知和理解，帮助我们更加精准的预测未来。
用大数据引领创新管理。无论是政府的公共事务管理还是企业的管理决策都要用数据说话。政府部门在出台社会规范和政策时，采用大数据进行分析，可以避免个人意志带来的主观性、片面性和局限性，可以减少因缺少数据支撑而带来的偏差，降低决策风险。通过大数据挖掘和分析技术，可以有针对性地解决社会治理难题；针对不同社会细分人群，提供精细化的服务和管理。政府和企业应建立数据库资源的共享和开放利用机制，打破部门间的“信息孤岛”，加强互动反馈。通过搭建关联领域的数据库、舆情基础数据库等，充分整合外部互联网数据和用户自身的业务数据，通过数据的融合，进行多维数据的关联分析，进而完善决策流程，使数据驱动的社会决策与科学治理常态化，这是大数据时代舆情管理在服务上的延伸。
解决关键
如何能够快速的找到所需信息，采集是大数据价值挖掘最重要的一环，其后的集成、分析、管理都构建于采集的基础，多瑞科舆情数据分析站的采集子系统和分析子系统可以归类热点话题列表、发贴数量、评论数量、作者个数、敏感话题列表自动摘要、自动关键词抽取、各类别趋势图表；在新闻类报表识别分析归类： 标题、出处、发布时间、内容、点击次数、评论人、评论内容、评论数量等；在论坛类报表识别分析归类： 帖子的标题、发言人、发布时间、内容、回帖内容、回帖数量等。
解决方案
多瑞科舆情数据分析站系统拥有自建独立的大数据中心，服务器集中采集对新闻、论坛、微博等多种类型互联网数据进行7*24小时不间断实时采集，具备上千亿数据量的数据索引、挖掘分析和存储能力，支撑政府、企业、媒体、金融、公安等多行业用户的舆情分析云服务。因此多瑞科舆情数据分析站系统在这方面有着天然优势，也是解决信息数量和信息（有价值的）获取效率之间矛盾的唯一途径，系统利用各种数据挖掘技术将产生人工无法替代的效果，为市场调研工作节省巨大的人力经费开支。
实施收益
多瑞科舆情数据分析站系统可通过对大数据实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

Answer 2

数据分析和数据挖掘并不是相互独立的，数据分析通常是直接从数据库取出已有信息，进行一些统计、可视化、文字结论等，最后可能生成一份研究报告性质的东西，以此来辅助决策。但是如果要分析已有信息背后的隐藏信息，而这些信息通过观察往往是看不到的，这是就需要用到数据挖掘，作为分析之前要走的一个门槛。数据挖掘不是简单的认为推测就可以，它往往需要针对大量数据，进行大规模运算，才能得到一些统计学规律。
这里可以使用亿信华辰一站式数据分析平台ABI，亿信ABI融合了数据源适配、ETL数据处理、数据建模、数据分析、数据填报、工作流、门户、移动应用等核心功能。其中数据分析模块支持报表分析、敏捷看板、即席报告、幻灯片、酷屏、数据填报、数据挖掘等多种分析手段对数据进行分析、展现、应用。帮助企业发现潜在的信息，挖掘数据的潜在价值。

Answer 3

按需进行就行。

Answer 4

经常听人提到数据分析，那么数据怎么去分析？简单来说，可能就是做一些数据做统计、可视化、文字结论等。但是相比来说，数据挖掘就相对来说比较低调一些，这是这种低调，反而意味着数据挖掘对研究人员的要求要更高一些。
数据分析人员需要理解业务的核心指标，通过数据分析工具（比如R/SAS/SQL，或者内部的数据平台）对业务数据进行建模和分析，为相关的业务指标提供基于数据的解决方案。所以，数据分析岗位要求具备扎实的统计学功底和对数据的敏感。数据挖掘人员需要研究数据，试验和选择合适的机器学习相关的算法模型对数据进行建模和分析，最后自己在实际系统中将算法模型进行高性能的工程实现。所以，数据挖掘岗位要求同时具备深厚的机器学习功底和扎实的编程能力。
数据分析与数据挖掘不是相互独立的。数据分析通常是直接从数据库取出已有信息，进行一些统计、可视化、文字结论等，最后可能生成一份研究报告性质的东西，以此来辅助决策。但很多情况下，这种分析往往不解渴。如果要分析这些已有信息背后隐藏的信息呢，而这些信息通过观察往往是看不到的，这时数据挖掘就冲在了数据分析的前面，作为分析之前要走的一个门槛。
除此之外，因为数据挖掘的输出往往含有的信息价值比较高，因此这些输出不仅仅应用在分析上，更多的是用在其他应用上，如网站后台、APP应用上，实实在在提供一些决策来丰富应用的功能。
数据挖掘不是简单的人为推测就可以的，它往往需要针对大量数据，进行大规模运算，才能得到一些统计学规律。但是前提是，必须针对某些具体的业务来。没有落实真正的场景和需求，没有落实需要的输入和输出，空谈数据挖掘，就是纯粹的耍流氓。举个简单的例子，房价预测，这里给出了一系列的点，我们要预测未来的一点。如果不知道业务，也就是相当我们不知道这些点的由来，那么完全可以理解为这些点可能是地球轨迹中的一部分，或者其他，这样的话，会做出不一样的结论。
其实在数据分析上，往往也需要研究人员了解业务。在数据分析与数据挖掘领域，要想做好，那就先去获取数据、学好业务，再说其他吧。

Answer 5

建议你看看《谁说菜鸟不会数据分析》这本书。