沈浩老师:数据分析随访录

1、请您简单介绍一下数据的可视化技术、商业智能技术、和数据挖掘的技术。

答:数据可视化本身也是一种数据分析技术,是将数据以统计图表和视觉形态表现出来的分析展现技术。我常说:看得见才能做得到,看得见才能做得好!随着数据分析技术的发展,数据存储、报表、分析和展现逐渐融合和一体化,过去是从数画图,现在往往先画图再洞察数据异常;可视化领域:报表可视化、绩效仪表盘、社会网络可视化、信息图、一页式管理图表。

商业智能技术:早期的商业智能BI就是报表系统,BI公司也叫前端展现,决策者和管理者不用依赖IT人就可以获得企业运营数据,现在的商业智能是运营平台和管理体系,即包括了企业的现代化管理理念也是一套有效的管理软件工具。早期主要是大型企业,现在可是关注中小企业的运营BI系统;特指在数据仓库DW基础上,采用量化统计和挖掘工具,进行数据统计、分析、查询和报表,嵌入商业模型和商业规则,支持客户关系管理CRM、企业资源计划ERP、供应链管理SCM、绩效管理EPM;当前趋势是决策驾驶舱、仪表盘和决策支持系统;

数据挖掘技术:是采用自动或半自动的智能方式,从海量数据中寻找隐藏在数据中的模式、趋势和相关性,用到了数据库存储技术和机器学习、统计方法。是KDD从数据库中发现知识的过程,发现的知识应该是先前未知的,不能靠直觉发现的知识;发现的知识要未知、实用和有商业价值。主要技术:分类、预测、细分、关联和序列;

2、像您这样的研究者在微博这种平台上怎样进行数据挖掘?而受众有应该怎样挖掘呢?

答:微博是巨大的社会科学实验场,上亿人每天在微博上耕耘,传递信息,分享生活情趣、流行时尚、工作感受;作为传播研究者当然关注,并且希望挖掘有价值的信息。特别是大众传播落地人际传播后,微博成为人际传播的重要场所,且是社会网络。首先研究微博的传播机制,从社会网络角度理解微博传播机制,分析幂率特征,这些都需要数据支持和挖掘。主要挖掘工作:微博抓取爬虫技术、社会网络分析技术、网络可视化技术、传播链和传播网络分析、发现意见领袖、微博营销、社会计算、情感分析、个性化推荐等。

受众怎样挖掘我不是太理解,受众应该是被挖掘的角色!

3、以微博为例,数据挖掘的价值体现在哪里?
答:微博的挖掘不仅仅体系在数据挖掘,从技术上讲可能涉及更广泛的价值和技术体系。价值主要体现在社会舆情监测、微博营销、个性化推荐、客户关系管理、社会情感分析、信息的扩散与传播优化和控制等;也许有人更关心微博在社会管理、社会资本、社会价值取向、社会和谐层面的东西。

4、在微博上怎样把用户所需要的数据推到微博平台上?

答:数据推到微博上,还是信息推到微博上?微博带来了读图时代和信息碎片化,也带来信息的快速传播,有效传播一定要理解微博的传播机制,理解社会网络的特性,意见领袖(大号)在传播的作用不可忽视。名可养名,名可扬名,当然名也可恶名。

5、传统数据分析和现代网络数据分析相比,优缺点在哪里?

答:不是优缺点,而是根本性改变。传统数据分析有一套完善的方法论和解决方案,特别是在结构化数据中,数据挖掘技术和统计分析技术都相对成熟,尽管数据挖掘在国内才开始重视,商业模式越来越重视数据分析对快速和实时决策的重要性,但毕竟可以通过软硬件部署可以解决,量大是问题但不是根本性问题。但是网络数据分析,面临的更复杂的问题,首先是微博带来非结构化数据,很多人想得到但抓取技术和完整性模糊,实时生成和海量存储的一致性、连续性和标准化面临挑战,新技术需要消化,比如Hadoop、MapReduce和自然语言处理、网络分析和文本挖掘技术的实现,新数据分析工具的掌握等等,当然人才更是问题,且涉及多学科领域知识的融合。

6、微博基于客户应该应该建立怎样的分析体系?
答:微博抓取+文本存储结构+NLC分词技术+去高频词+词性抽取+词云分析+社会网络与复杂网络+聚类与相关+规则与模型+可视化+预测与判断!

微博的分析:研究边界的节点,微博的API和网络爬虫技术,大数据的存储传统数据库还是Hadoop或云存储,文本分析和挖掘,个性化推荐技术,微博营销的效果评估,发现意见领袖,舆情控制与监测等等;

7、您将统计学运用在媒介中称为“数学与头脑相遇的地方”,那么您会用什么样的一句话描述统计学在新媒体中的运用?
答:如果你不能量化,就不能理解,不能理解就不能控制,控制不了也就无法改变!这句话主要是强调数学思维问题,数学不是工具是脑具,是一种解决问题的方式方法;因为本人的学科背景,以及在社会科学领域,尤其是很传统的人文社会科学更想突出强调理性和数据的能力。当然差异也是一种优势!

8、在面对微博上信息爆棚之时,信息真假难辨,如何挖掘到真实的信息?
答:首先做自己认为正确的事情,不说自己认为不真实的话,不说自己缺乏足够证据的话“,也就是传播自己肯定的信息,至少是自己认为合理的信息!辨别真伪只能靠自己的修养和媒介素养的提升,理性思考是很重要的,无利不起早,世界上没有无缘无故的爱,也没有无缘无故的恨,人在社会天生就需要与人沟通,传播信息,我们需要的思考如何在微博上与他人互动,如何影响他人或受他人影响。在微博上我们相信什么?为什么会相信,很大程度上都取决于我们与他人互动关系。谣言以及群体恐慌都说明,人们普遍都有模仿他人行为的倾向。所以在微博上,我们不能缺乏独立思考的能力,需要通过自身的学习和自省来构建自己对社会的看法和观点,不能盲目从众或人云亦云。

9、面对微博上用户大强度的信息发布,在微博上搜集信息其实并不是那么方便,您觉得能够建立怎样的数据分析收集机制,方便用户的信息搜集?

答:不是太理解主体!从传统的互联网搜索google 百度,到垂直搜索、企业搜索到现在的社会化搜索,也就是微博搜索都给大家带来了方便,微博也渐渐成为一种信息门户。个人来讲,可以通过建立有效合理的关注分类来查询和交流信息。另外对有用的知识型信息可以收藏和管理。我的学生有些好的习惯,比如再好的记性不如烂笔头,有道笔记本等都是不错记录信息的方法。同时更多弱关系的关注可以获得有用的信息。

10、您之前称“因为社会变革往往不是靠正态而是靠变态”,您说谷歌就是这种变态,那么谷歌在信息统计筛选分析的形式是否可以借鉴到微博上?
答:社会的变革往往靠的是转折点,如果能够了解造成转折点的原因很多社会问题会迎刃而解。强调的是社会科学领域的复杂性和非线性性,特别是冲突理论、混沌理论和复杂性科学理论的问题。我没有说过google是变态,但PageRank是google的核心技术,google改变了互联网的搜索。PageRank的技术和思想当然也是社会网络分析的一种思想和实践,也是关系的挖掘体现!

11、现如今微博采用“会员制”、“微访谈收费”等措施,是否会不利于微博这种新媒体将来的发展?
答:是否有助于发展我不知道,但微博运营商要盈利才可保持持续发展和创新,大家都在寻找盈利模式,微博也是商场和战场!

12、我们看问题是大多都是看事件的表层,您研究数据深度挖掘,是不是都是以不一样的角度去看待事件?
答:微博让人际传播可见!既有乌合之众也有群体智慧;针对特定事件或感兴趣的人我与我的团队,合作伙伴会深度挖掘传播关系和人际网络,理论上可以做到洞察每一个微博传播过程。但是,兴趣和爱好决定了我更关注研究而不是事件本身!

人天生需要沟通,通过什么方式,期望得到什么结果,由你决定。




原文发布时间为:2013-07-29






本文来自合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

时间: 2024-08-03 04:28:40

沈浩老师:数据分析随访录的相关文章

传媒大学沈浩:数据可视化的前世今生

文章讲的是传媒大学沈浩:数据可视化的前世今生,今年春节期间,百度基于LBS(基于地理位置的服务).大数据和可视化技术推出了"百度迁徙",结合央视的报道,首次实现了全程.动态.即时.直观地展现中国春节前后人口大迁徙的轨迹与特征,也让老百姓真正体会到了大数据的价值. 由此可见,大数据在可视化后更容易被人们接受和理解.在中国传媒大学的校园里,有一位老师对数据可视化也非常推崇,他经常对自己的学生说"只有看得见,才能做得到;只有看得见,才能做得好"--他就是沈浩教授. 沈浩教

沈浩:通过大数据感知社会

以下内容,根据中国传媒大学新闻学院教授沈浩在第十一届亚洲传媒论坛发言整理.         在今天我们看到对于广电行业来讲,其实无论广播电视还是其他媒体,是一个融合和聚合的时代.人们通过移动.互联网等等方式,人们在看电视的时候,人们看到电视已经有了操作系统,或许人们在看电视的时候,通过按一下手机就能看到各种电视节目,看到电视了,当然也有人在看电视的时候其实他经常是在看电视上网,也可能主要是上网,看到网上人们提到什么事情又去电视上去看两眼.在这样一个融合聚合的时代. 今天的大数据仅仅露出冰山一角

沈浩波维权:一场事先张扬的闹剧

3月24日下午,百度文库与北京磨铁图书有限公司总裁沈浩波为首的书商谈判如期举行,但最终宣布谈判破裂.从3月15日作家群体开始声讨,到3月24日谈判结束,局势其实已经相当明朗,百度对待文库 版权的态度越来越清晰,而沈浩波却越来越表现出炒作和行为艺术的痕迹.这也使得此次谈判,最终演变成一场闹剧. 书商代言作家--一场被绑架的游戏 此次沈浩波公布的谈判代表团,6名成员中有3名全来自民营出版商,不知这个以书商为主力的代表团凭什么代表那些他们口中"饥寒交迫"的作家? 也许还有人记得2010年5月

沈浩:真实了解民意,踏踏实实干几件事

夏祖军 一个普通的财政干部,一个下派挂职的村支书,在他溘然长逝时,竟有数千人自发为他送行,其中绝大多数是当地的老百姓.即便在今天,只要提起他的名字,不少村民仍然会潸然泪下.45岁的沈浩,何以能感动这么多人? 让人感动的,是沈浩身上的那股精气神.作为财政厅下派到小岗村挂职的干部,沈浩可以走走形式,以"不求有功,但求无过"行事.然而,他全身心扑到了村支书的岗位上.挨家挨户走访村民,带领村干部和村民代表外出考察学习,科学制定村级发展规划,努力改善村里的生产.生活基础设施,积极帮助村民搞多种经

沈浩:坚守的精神

夏祖军 一个普通的财政干部,一个下派挂职的村支书,在他溘然长逝时,竟有数千人自发为他送行,其中绝大多数是当地的老百姓.即便在今天,只要提起他的名字,不少村民仍然会潸然泪下.45岁的沈浩,何以能感动这么多人? 让人感动的,是沈浩身上的那股精气神.作为财政厅下派到小岗村挂职的干部,沈浩可以走走形式,以"不求有功,但求无过"行事.然而,他全身心扑到了村支书的岗位上.挨家挨户走访村民,带领村干部和村民代表外出考察学习,科学制定村级发展规划,努力改善村里的生产.生活基础设施,积极帮助村民搞多种经

村书记沈浩:永远留在小岗村

孙小林 如无意外,在安徽凤阳县小岗村挂职村书记的沈浩,年底就要调回省城合肥任职.但11月8日,他却突然西去. 这一天,正在合肥期待他归来的90多岁的老母亲,悲痛欲绝.白发人送黑发人,这人间最伤感的画面. 从安徽省财政厅到小岗村挂职,从一个省城干部到一个小村庄书记,沈浩一口气呆了六年.无论如何,这都是非常不容易的.所以,我敬重他. 小岗村,这个号称中国农村改革的发祥地,一直活在公众的眼球里,但在经济上,它依然发展缓慢.去年,为了去小岗村采访,我从南京转了三次车,颠簸来颠簸去,折腾了半天,才到了这里

安徽省财政厅确认沈浩因公牺牲

新华网合肥11月13日电(记者周立民.王圣志)安徽省财政厅11日确认沈浩为因公牺牲,并在全省财政系统开展向沈浩同志学习活动. 沈浩1986年学校毕业后分配至安徽省财政厅综合处工作,历任省财政厅副主任科员.主任科员.副调研员等职,2004年2月作为省财政厅优秀年轻干部下派至凤阳县小岗村任党支部书记,今年11月6日在小岗村不幸辞世. 安徽省财政厅11日发出<关于确认沈浩同志为因公牺牲的决定>.<决定>写道:2006年底,沈浩任期即将届满时,在小岗村98户农民强烈挽留下,沈浩义无反顾地选

磨铁图书CEO沈浩波:百度文库是狼

磨铁图书CEO沈浩波深圳商报记者 刘悠扬/文 朱锐/图"一个很感性的人,有一天脑子 里面突然划过一道理性的闪电."回忆起十年前那个并不传奇的"开头",如今已经成为行业传奇的沈浩波,依然习惯用这种诗意的语言来表达.2000年,23岁的北漂的青年诗人沈浩波懵懵懂懂闯进出版这个行业.十年后,这个青涩的文学青年成功转型,成为中国最著名的民营图书出版人之一.他所创立的北京磨铁图书有限公司(以下简称磨铁图书)是中国收入最高.产量最大的民营图书出版机构,2009年码洋(全部图书定

磨铁图书总裁沈浩波:推迟发布联合声明

沈浩波:推迟发布联合声明 观察百度删除效果新浪科技讯 3月27日 下午消息,针对百度文库向作家致歉并表示在三天内彻查文学类作品 版权的动作,出版商代表磨铁图书总裁沈浩波今日通过其新浪微博表示,反侵权同盟的联合声明将推迟发布,观察这 两天百度删除文学文档的 有效性,同时原定周一的维权行动暂停.百度昨日就百度文库侵权质疑发布声明,就"伤害了一些作家的感情表示抱歉",同时加强排查, 预计在未来3天内,百度文库中文学作品类别的文档凡未获版权方授权的将得到彻底处理.沈浩波随后在微博中称,百度的措