4886a威尼斯城官网-威尼斯论坛-首页

4886a威尼斯城官网 专栏张华平正文

《影响中国大数据产业进程100人》张华平:如何应用网络搜索挖掘内容价值

  前言:

  大数据是一个事关我国经济社会发展全局的战略性产业,大数据技术为社会经济活动提供决策依据,提高各个领域的运行效率,提升整个社会经济的集约化程度,对于我国经济发展转型具有重要的推动作用!2016年,由网加时代网发起并主办,北京大学信息化与信息管理研究中心、中国新一代IT产业推进联盟协办的“影响中国大数据产业进程100人”大型人物专访活动全面启动,被采访对象均来自中国首席数据官联盟(分别为自政府、产、学、研、企各个领域),他们将从不同角度,不同层面向大家阐述当前大数据产业热点、难点、疑点问题,为中国大数据产业健康、持续发展探索经验、保驾护航,敬请关注!

  第四期专访人物:中国首席数据官联盟-专家组成员,ICTCLAS创始人张华平。

《影响中国大数据产业进程100人》张华平:如何应用网络搜索挖掘内容价值

  张华平,中国首席数据联盟专家组成员,北京理工大学副教授,博士,研究生导师,知名汉语分词系统ICTCLAS创始人,大数据搜索与挖掘实验室主任,《大数据搜索与挖掘》编辑。

  《网加时代网》:云计算、智慧城市、移动互联网、大数据与物联网已经成为大数据时代的技术特征,实现了人、机器与实物的多维互联互通。对语言的理解一直是大数据深入应用的一道门槛。互联网上的内容很多,可以说是信息泛滥,那么要从网络挖掘内容价值,是不是也有一些条件和要求需要满足?

  张华平:是的。网络搜索与挖掘其实就是四步曲:目标分解,信息收集,分析去噪,情报提炼。据此可以看出,要进行网络搜索与挖掘,也必须具备四个要件。

  信息可达——互联网真实记录并可采集抽取到相关的信息,无论深浅,无论真假,无论规模;

  群体规模——海量规模确保各类UGC(用户产生的内容)能满足挖掘所需;

  目标可解——挖掘目标本身具有可解性,能够进一步分解具体落实;

  工具可行——检索工具与分析工具具备可行的计算代价与分析效率。

  《网加时代网》:大数据搜索与挖掘目前在国内有什么实际应用?

  张华平:大数据搜索与挖掘目前应用很广泛,它在政府舆情、军事信息战、企业竞争情报、金融征信,个人社交等方面均具有广泛的应用前景。

  一个实用案例是中国证监会的网络舆情系统,这是我做的。它会广泛搜集网上各种各样的信息,采集BBS论坛资讯,包括采集微博信息。采完以后进行各种分析提炼,可以发现有什么人在发布虚假信息。

  再比如用于地图开发。大家的GPS数据,许多都是由地图厂商那里来的。地图商们总是面临一个问题,某地新盖了一栋楼了,或者搬地方了,或者又多了一家宾馆,等等。地图厂商要获得这些信息,其实是相当耗钱费力的,他们要每天派300辆车在全国各地跑,一直跑一直拍,沿途发现什么地方变化了,或者路断了,就要分析再入库。

  用网络搜索和数据挖掘的手段来解决此事就方便许多了。现在是网络时代,例如某地要盖个楼、开家宾馆什么的,一般网上都会有消息发出来,那么就可以用技术手段,从资讯或网友发言中分析挖掘出来。地图商或交管局拿了这个数据,稍微核实一下就能够用来更新自己的数据库。

  此外,国内网上的“水军”现在是很利害的,要炒作什么话题,要把谁捧上去或贬下来,手法多种多样,真是翻手为云覆手为雨。大家就可以通过数据挖掘,辨别出“水军”力量的运作线索。

  《网加时代网》:按照你的说法,大数据搜索能去除干扰,精准的挖掘出你想要的信息,如果用在搜索领域是否使用户更加快捷方便查询。

  张华平:现在的网络搜索服务一般都是用户输入搜索条件,然后跳出一大堆链接,让你点进去看页面。这种方式既浪费时间工作量又大。给出一些条件,利用大数据搜索挖掘直接给出最终答案是可以实现的。这种技术,在专业领域应用可以,并且大家也已经有了这种案例,这种搜索的专业定位叫“问答式搜索引擎”,但是,在通用搜索的领域不可能全部实现这种服务。因为人的常识,到目前为止,并没有一个有效的方法实现全部的逻辑推理。

  《网加时代网》:张老师在大数据吧搜索挖掘技术领域深耕10多年了,现在大数据搜索挖掘需要什么样的技术链条呢?

  张华平:这看似简单,其它是一个很复杂的过程,我在此领域不止10年了,从我读大学到现在一直在坚守阵地。要满足应用者对大数据文本的处理需求,需要完整的技术链条包括:网络抓取、正文提取、中英文分词、词性标注、实体抽取、词频统计、关键词提取、语义信息抽取、文本分类、情感分析、语义深度扩展、繁简编码转换、自动注音、文本聚类等。

  但在大数据文本处理这部分既相对独立,又需要无缝地融合到其它的各类复杂应用系统之中,所以在选择这部分组件的时候看能否兼容各大主流的平台,能否被Java,C/C++,C#,Python,Php,R等各类主流开发语言很好调用其所有功能。

  《网加时代网》:我想张博士开发的NLPIR就能够全方位多角度满足应用者对大数据文本的处理需求。能不能请张博士对NLPIR采用的一些先进算法给大家分享一下。

  张华平:NLPIR是兼容目前所有主要平台,也可以被各种开发语言调用的。

  汉语词法分析中间件能对汉语语言进行拆分处理,是中文信息处理必备的核心部件。NLPIR综合了各家所长,采用条件随机场(Conditional Random Field,简称CRF)模型,分词准确率接近99%,另外特色功能包括:切分粒度可调整,融合20余部行业专有词典,支撑用户自定义词典等。

  NLPIR实体抽取系统采用基于角色标注算法自动识别命名实体,开发者可在此基础上搭建多样化的大数据挖掘应用。

  NLPIR采用深度神经网络对分类体系进行了综合训练。演示平台目前训练的类别只是资讯的政治、经济、军事等。大家内置的算法支撑类别自定义训练,该算法对常规文本的分类准确率较高,综合开放测试的F值接近86%。NLPIR深度文本分类,可以用于资讯分类、简历分类、邮件分类、办公文档分类、区域分类等诸多方面。此外还可以实现文本过滤,能够从大量文本中快速识别和过滤出符合特殊要求的信息,可应用于品牌报道监测、垃圾信息屏蔽、敏感信息审查等领域。

  NLPIR情感分析提供两种模式:全文的情感判别(左图)与指定对象的情感判别(右图)。情感分析主要采用了两种技术:

《影响中国大数据产业进程100人》张华平:如何应用网络搜索挖掘内容价值

  1.情感词的自动识别与权重自动计算,利用共现关系,采用Bootstrapping的策略,反复迭代,生成新的情感词及权重。

  2.情感判别的深度神经网络:基于深度神经网络对情感词进行扩展计算,综合为最终的结果。(算法细节请参照:《大数据搜索与挖掘》)。

  中国首席数据官联盟/中国CDO精英俱乐部是国内首个以CDO为核心的技术型非盈利性联盟组织,遵循自愿、平等、合作的原则。

  (注:特此感谢中国首席数据官联盟发起人鲁四海对本文贡献。)

?

?

责任编辑:陈近梅

分享:
延伸阅读

    4886a威尼斯城官网|威尼斯论坛

    XML 地图 | Sitemap 地图