自然语言处理难在哪里?

自然语言处理难在哪里?

针对楼主的问题本人作为自然语言处理的难处是语义挖掘了,为中文语义挖掘是最难得。在中华五千年的历史长河里创造出来灿烂的文化,也衍生出丰富的文化内涵。因此中文语义挖掘是工作和学习重要的研究方向。

首先我们来了解一下什么是自然语言。自然语言通常是一种自然地随文化演化的语言。汉语,英语、汉语、日语为自然语言的例子,而世界语则为人造语言,即是一种为某些特定目的而创造的语言。自然语言是人类交流和思维的主要工具。 自然语言是人类智慧的结晶,自然语言处理是人工智能中最为困难的问题之一,而对自然语言处理的研究也是充满魅力和挑战的。

自然语言具备两个属性:语言属性与自然属性。“语言”属性表现为公认的某些约定俗成的内在规律性,如“把车开回北京去”是一个符合这种内在规定性的构成形式,而“车回开北京把去”就是一种不符合这种内在规律性的构成形式;“自然”属性是说并不存在某个人为制造的、严格的语法规则体系来约定人们的语言表达方式,这是和程序设计语言大相径庭的。自然语言需要遵循一定的内在规律,但更大程度上是“存在即合理”。如“你先走”符合人们的正常使用习惯,后来随着网络的流行,“你走先”、“给个理由先”都逐渐成为了合理的语言新现象。

因此许多语言学家通常把对语言的分析和理解分成如下几个主要层次:词法分析、句法分析、语义分析、篇章分析。

按照多数文献的观点,首先,词法分析——主要包括分词、词性标注、词义消歧、新词识别等——是通过分词、词频和位置统计等手段获得相关语言信息。其次,句法分析通过使句子成分特征化来分析句子结构特征,通过对句子和短语结构的分析找出词、短语等的相互关系以及各自在句中的作用,并以一定结构来表达诸如从属关系、成分关系等,目的是判定句子中各种结构性成分。第三,为了理解一个提问,一般还需要更多的语义和语用知识来帮助理解句子的意思,通过分析找出词义、结构意义及其结合意义,从而确定句子所表达的真正含义,而语义信息的标记需要包含概念完全集与关系图的支持,需要对句法成分做出细致的语义分类,它一般应包括语言层面(即反映语言表面现象的知识,如同义词关系、层次关系等)、本体论层面(描述概念之间复杂的语义关系)、常识层面等。虽然这项工作浩繁,但目前已经取得了一些初步成果。最后,篇章分析用于对多个语句、段落之间在结构或者语义上的相互关系进行分析。

所以从理解和应用上自然语言要比电脑语言更复杂,也是我们今后攻克的难点。而在自然语言处理技术方面不较有代表的是北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR-Parser大数据语义智能分析技术,该技术是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。包括大数据完整的技术链条:网络采集、正文提取、中英文分词、词性标注、实体抽取、词频统计、关键词提取、语义信息抽取、文本分类、情感分析、语义深度扩展、繁简编码转换、自动注音、文本聚类等功能。大家如果感兴趣可以了解一下。

标签:自然语言,处理,自然语言处理