智能互联网信息采集系统解决方案

  CGSEEK是采用以使用者为中心的">设计思想,在网页搜索、内容过滤、全文检索、智能内容挖掘和计算机自动分类技术的支持下,全面改善Internet的使用现状,是一个全新概念的信息服务产品。

  智能互联网信息采集系统由网页搜索器CGRobot、网页自动加载器CGLoad、内容提取系统CGCPS、全文数据库系统CGRS、自动分类学习软件CGStudy组成。

  一、系统处理流程

  首先,选择从互联网上采集信息的目标网站,设定网页搜索器CGRobot的搜索策略,CGRobot自动从目标网站上采集满足搜索条件的网页,网页自动加载器CGLoad将网页自动加载到WEB页面数据库中。用户根据WEB页面数据库中的网页信息,使用网站内容提取系统CG-CPS,制作网页内容提取模板,提取用户需要的信息。CGRobot依据搜索策略和提取模板,自动、批量地从目标网站上搜索网页信息,并转换成文本记录加载到文本内容数据库中。如果要对采集的网页内容进行分类,可以依据自动分类学习软件CGStudy生成的分类文件进行分类。

  从互联网上采集、加工后加载到文本内容数据库中的信息可以利用CGRS系列软件进行信息发布、内容挖掘和信息的再利用。

  二、系统功能

  1、网页搜索器(CGROBOT)

  网页搜索器是CGSeek5.1的前端程序,它能够把网站上全部或部分页面和资源自动收集到本地。系统主要功能:

  (1)用户设定页面搜索范围

  ● 设定URL起始入口

  ● 设定页面搜索范围与限定

  ● 通过资源文件的后缀设定搜索页面中哪些资源文件。如设定图片、多媒体资源

  (2)WEB服务的联接方式

  ●设置WEB服务器的联接方式、数据后处理方式(是脱机浏览还是发送到搜索引擎库)

  (3)每个站点的搜索深度可以根据需要设定

  (4)URL中的表达式分析功能可以指定包含的表达式和过滤的表达式,以满足搜索内容要求

  (5)对页面进行自动分类处理

  (6)设定下载页面的文件最大尺寸和截断长度。

  (7)自动搜索剖析下载网页内容

  (8)自动发送下载页面及映像文件

  (9)遵循网页搜索规则

  2、网页自动加载器

  网页自动加载器是网页页面加载到WEB页面数据库的处理程序,它启动之后自动执行加载功能,毋须人工干预。系统主要功能:

  (1)网页页面及映像文件自动加载到WEB页面数据库;

  (2)自动更新网页页面;

  (3)建立网页页面全文索引;

  3、全文数据库系统CGRS5.0

  全文数据库系统对文献进行管理,并提供强大的检索功能。

  4、网站内容提取系统CGCPS

  从网页数据库中,按照个性化需求设计内容提取模版和规则,从WEB页面数据库中检索满足要求的页面,从中自动提取相关的文本信息。系统主要完成以下功能:

  (1)从Web网页数据库中通过强大全文数据库检索功能,筛选出要处理的网页。

  (2)选出符合制作模板条件的网页,经过添加标引制作成网页提取模板。

  (3)模板自动提取结构化信息转换并标引文本信息内容。

  5、自动分类学习软件(CGStudy)

  自动分类学习软件是通过学习语料库中的语料后生成一个分类规则文件,CGrobot用分类规则文件对网上下载的页面进行自动分类。同时通过反复学习,不断完善分类规则文件,提高自动分类的准确度。

  主要功能包含了:语料文件编制、格式检查、分类学习和语料测试。

  三、系统性能

  1、支持建立多个引擎数据库,最大32767个。

  2、下载速度;和网络速度有关。

  3、支持断点续传。

  4、页面自动分类准确率约80%。

  5、单个引擎数据库最多可存储42亿个页面。

  6、5亿个汉字的信息平均查询时间少于3秒。

时间: 2025-01-25 00:47:29

智能互联网信息采集系统解决方案的相关文章

智能家居互动解决方案提供商“Rokid”完成B轮融资

智能家居互动解决方案提供商"Rokid"于9月完成B轮融资,具体金额未披露,由尚珹资本领投,原有投资人几乎全部跟投. Rokid团队是一家智能机器人科技公司,为用户提供连网家居设备互动解决方案. 从成立之初开始,Rokid就有自己的研究团队,除了自研项目之外也挑选并跟进最新的研究成果.现今,Rokid有近百人团队,在研究方面拥有全职20名博士,并设立了北京A-Lab人工智能理论.算法研究与美国硅谷R-Lab未来新技术探索两个Lab团队. Rokid的创始人Misa,曾是阿里无线事业部的

达索系统推出汽车项目智能看板行业解决方案体验

达索系统今天宣布推出"Vehicle Program Intelligence" 汽车项目智能看板行业解决方案体验,为汽车与交通运输行业的企业提供强大的分析应用软件.基于3DEXPERIENCE平台的"Vehicle Program Intelligence"能够显示.计算和分析产品与制造数据,从而加速在项目管理.项目变更和质量管理方面的商业决策. 一般来说,新车研发项目平均耗时长达5年,还涉及多个学科.来自世界各国的数百位人员的大量投入.同时,汽车产业链新信息来源

IBM软件集团发布全新智慧城市智能运行中心解决方案

今天,IBM(NYSE: IBM)公司在京举办了主题为"科技 创新 共铸智慧城市新篇章"的 IBM 智慧城市发展论坛暨 IBM 智能运行中心解决方案发布会.会上,IBM 正式发布了 IBM 智慧城市智能运行中心(Intelligent Operations Center for Smarter Cities,简称 IOC for Smarter Cities)解决方案,该解决方案整合了 IBM 多款行业领先的软件产品,提供灵活的部署模型,适用于不同信息化水平的城市部署,能够帮助城市决策

三丰“定制”智能输送整体解决方案服务商

湖北三丰智能输送装备股份有限公司以智能输送成套设备为业务核心的业内领先企业,公司综合下游客户生产工艺.物流输送特点.进一步提升设计能力,扩大生产规模,实现产品系列化.多元化,积极积累下游各大应用领域项目经验,并提升施工管理.售后保养维护等综合实力,项目规模向大型化.成套化方向靠拢,发展成为一家具有综合服务能力的智能输送整体解决方案服务商. 智能输送装备是一项涉及多学科.跨领域的综合行业,产品集中并融合了多项学科技术,由于其下游行业使用环境.生产(物流)工艺各异,供应商须具备卓越的研发设计能力才能

微信硬件平台智能家居行业解决方案

智能家居承载了我们对未来生活的美好期待,我们希望通过微信为用户实现低成本.轻量化的智能家居体验. 行业痛点VS微信解决方案 夏天能不能回家前就打开空调呢?冬天能不能早点让热水器加热呢 VS 微信智能插座,智能化你的传统家电,实现远程开关 安装了一系列红外报警器.门磁探测器.烟雾探测器,为了报警需要安装一堆的APP VS 微信统一接收报警消息,消息更加及时 假期外出旅游,担心家里安全 VS 微信设置灯的规则,每天定时开启和关闭,制造有人的假象 家里安装了摄像头,但是也不可能一直看着,又担心错过了什

微信硬件平台智能空调行业解决方案

随着空调市场的不断成熟与完善,空调的智能化也成为了行业发展的趋势.我们希望借助微信硬件平台的能力,为广大微信用户和空调厂商提供一个高效便捷的方案,提高智能空调的体验效果,让空调用户享受更加舒适的服务. 行业痛点VS微信解决方案 用户需要下载空调APP进行首次配对和设置,操作流程较复杂,用户有一定的学习成本 VS 微信硬件平台提供扫一扫绑定.一键配网的能力,方便用户快速对智能空调进行设置 夏季常开空调,离家忘记关闭,需要用户频繁设置定时夏季气温高,回家后再开空调总感觉温度迟迟没有降低 VS 不需要

微信硬件平台智能路由行业解决方案

路由器是提供Wi-Fi网络的重要设备,服务了亿万的家庭,但依然被认为是非常专业的设备,普通用户都不懂得如何使用.我们希望通过微信硬件平台的能力,降低用户使用路由器的门槛,更好的管理自己的网络,更便捷的享受Wi-Fi服务. 行业痛点VS微信解决方案 不知道怎么登录路由器后台管理页面,记不住管理员密码 VS 微信绑定路由器后,不在需要输入后台管理地址.记住管理员密码,便可以轻松管理路由器 上网看视频.浏览网页时网速慢.卡顿,不知道是什么原因.怎么排查 VS 不需要了解复杂的网络技术,一键获取路由器的

Domus是套智能家居自动化解决方案

摘要: Domus是套智能家居自动化解决方案,它提供无线控制的电插座和红外线远程控制套件,通过手机应用就能远程控制和提前安排室内家电的工作状态. Domus的使用场景有不少: 如果你的家 Domus是套智能家居自动化解决方案,它提供无线控制的电插座和红外线远程控制套件,通过手机应用就能远程控制和提前安排室内家电的工作状态. Domus的使用场景有不少: 如果你的家电出现异常,Domus会通知你,阻止事故发生: Domus不仅允许你控制家用电器,还可以监控你的能源和碳消耗,减少能源浪费,计算你家电

艾默生打造智能数据中心解决方案

随着产业升级改造进程的不断深入,IDC行业在新一代数据中心建设中对基础设施应用在安全.可靠.灵活.智能.节能等方面提出了更高要求.作为业界主流的动力设备和解决方案供应商,艾默生网络能源针对IDC行业发展的实际需求,不断推出具有高可用性.高灵活性.高可维护性.高节能性优势的创新产品和解决方案,凭借其领先的技术和完善的功能设计,为IDC运营商建设新一代数据中心打造了稳固的基础设施平台. 助力鹏博士打造高品质IDC 由鹏博士集团建设的亚洲最大云计算数据中心--北京酒仙桥数据中心,坐落于松下工业园内,建