高中研究性学习课题 “新闻采集”的意义和目标
主要功能 根据用户自定义的任务配置，批量而精确地抽取目标网络媒体栏目中的新闻或文章，转化为为结构化的记录(标题，作者，内容，采集时间，来源，分类，相关图片等)，保存在本地数据库中，用于内部使用或外网发布，快速实现外部信息的获取。编辑本段主要技术 新闻采集系统核心技术是模式定义和模式匹配。模式属于人工智能的术语，意思为前人积累的经验的抽象和升华。简单地说，就是从不断重复出现的事件中发现和抽象出的规律，是解决问题的经验的总结。只要是一再重复出现的事物，就可能存在某种模式。 所以要让新闻采集系统能够运行，目标网站必须具备重复出现的特征。目前大多网站都是动态生成的，这样就会让同一模板的页面包含相同的内容，新闻采集系统正是利用这些相同的内容来定位采集数据的。 新闻采集系统中的模式大多不是程序自动发现的，目前几乎所有的新闻采集系统产品都需要通过人工来定义。但模式本身是个很复杂，很抽象的内容，所以所有的开发者精力都花在怎样让模式定义更简单，更准确，这也是新闻采集系统竞争力的衡量标准。 但我们怎样来描述模式呢，目前技术主要有两种方式：正则表达式定义和文档结构定义。正则表达式定义 正则表达式定义是目前主流应用的技术，主要代表为火车头采集器。此技术简单，灵活性高。但用户操作复杂。由于此模式作用于网页的源代码上，因此匹配的结果受代码版面格式影响比较大，并且也不够直观，对比较复杂的页面结构几乎无能为力。目前已经有几款产品使用辅助工具来减低用户的操作难度。文档结构定义 文档结构定义应该说它是目前最先进的技术，主要代表为视采采集器[1]。已经具备一定的模式学习能力。此模式作用于文档这一层，不同于正则表达式作用于页面源代码。所谓文档这一层，指的是源代码运行后所生成的实际对象，即用户在浏览器所看到的内容。所以操作可视化是此技术天生就具备的能力。 由于它是对文档结构进行匹配，所以它不受页面源代码的影响，用户定义比较直观，并且程序能够根据文档对象获取更多的逻辑上的特征信息，匹配更准确，通用性更强。 此技术在学术研究论文上已经呈现过，也在几家实验室开发出此类产品。但真正在商业上应用很少。 目前能够面向普通大众的，只有DM实验室推出的视采采集器，该产品不仅在技术起点上比较高，而且在用户使用这一层上，所独有的实时用户操作向导功能也是让人惊奇的，此技术让专业级操作变为傻瓜式操作，真是科学让一切变为可能！
原创文章，作者：晴空，如若转载，请注明出处：http://www.dlgrdx.com/kechuang/10634.html