java 数据采集

问题描述

怎样用Java实现网站数据采集??????????我自己写了一个,感觉有点问题,希望大家帮帮忙,比如采集table里面的td里面的内容,td里面又有divspan之类的,这样td里的内容就成为一条记录了,例:2010-03-2218:40:45由【山西晋中公司】发往【山西太原公司怎么把时间和记录的内容分开,谢谢,

解决方案

解决方案二:
两gezi:正则
解决方案三:
用正则式效率不高,听说可以用第三方的jar包读取页面中指定table里面td的内容?有吗
解决方案四:
HttpClient和htmlparser可以实现网页爬虫的功能。
解决方案五:
你为什么不把表单里面的内容封装成类呢,..........封装成类了之后,获取修改多简单啊

时间: 2024-10-03 20:01:03

java 数据采集的相关文章

用Java Web技术控制电子设备,比如数据采集卡,能实现吗?

问题描述 小弟想做一个网站,用这个网站来控制一套数据采集装置,在网站上发送指令,数据采集装置就把数据写到数据库里面,这样的想法可能实现吗,该用什么技术呢?? 解决方案 可以,但是得需要硬件设备的JAVA版接口,一般硬件接口,输入输出数据都固定好了.提取相应数据即可,也可联系硬件开发商,开发个人需求的接口.

Java XML教程(附:源程序)

xml|程序|教程 sonnet.xml  这是在本教程中贯穿使用的示例 XML 文档. <?xml version="1.0"?>  <!DOCTYPE sonnet SYSTEM "sonnet.dtd">  <sonnet type="Shakespearean">  <author>  <last-name>Shakespeare</last-name>  <f

Java XML教程(1-3章)

xml|教程 来源:http://d23xapp2.cn.ibm.com/developerWorks/education/xml/xmljava/tutorial/xmljava-1-1.html 第一章 入门介绍 关于本教程  在本教程中,我们将讨论如何使用一个 XML 解析器来: 处理一个 XML 文档 创建一个 XML 文档 操作一个 XML 文档 我们也将讨论一些有用而不为众人所知的 XML 解析器特性. 最重要的,我们所讨论的每个工具都可从 IBM 的 alphaWorks 站点 (

java web基于snmp协议的局域网远程电源管理系统

问题描述 java web基于snmp协议的局域网远程电源管理系统 5C 准备通过java web做基于snmp协议的局域网远程电源管理系统,(学校机房有3层,1200台电脑以上)以下是我的想法,请各位指导提建议哈,在此感谢呀 通过mib borwer收集第三方电源有关的mib库,保存到枚举,集合或xml中 遍历mib库,遍历电脑ip,管理端通过snmp的get获取agent端电源有关信息,进行数据的处理然后保存到db(通过异步,队列,多线程或分批方式定时获取) 设置报警阈值,agent端定时t

干货丨大数据系统数据采集产品的架构分析

任何完整的大数据平台,一般包括以下的几个过程: 数据采集 数据存储 数据处理 数据展现(可视化,报表和监控) 其中,数据采集是所有数据系统必不可少的,随着大数据越来越被重视,数据采集的挑战也变的尤为突出.这其中包括: 数据源多种多样 数据量大,变化快 如何保证数据采集的可靠性的性能 如何避免重复数据 如何保证数据的质量 我们今天就来看看当前可用的一些数据采集的产品,重点关注一些它们是如何做到高可靠,高性能和高扩展. Apache Flume Flume 是Apache旗下,开源,高可靠,高扩展,

果断收藏!六大主流大数据采集平台架构分析

随着大数据越来越被重视,数据采集的挑战变的尤为突出.今天为大家介绍几款数据采集平台: Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder 大数据平台与数据采集 任何完整的大数据平台,一般包括以下的几个过程: 数据采集–>数据存储–>数据处理–>数据展现(可视化,报表和监控) 其中,数据采集是所有数据系统必不可少的,随着大数据越来越被重视,数据采集的挑战也变的尤为突出.这其中包括: 数据源多种多样 数据量大 变化快 如何

Play Framework - 数据采集

准备工作: 环境: A.mysql5.6 mysql设置编码: 0.若是您确定你的mysql是UTF-8编码的,可以直接进入底4步验证. 1.下载https://github.com/pgq10240817/PlayNews/blob/master/conf/db/my.ini 2.把1下载的文件放到您安装目录下面,可以直接命为my.ini(默认是没有改文件的,默认是有my-default.ini). 3. 然后重启mysq打开cmd,输入services.msc 进入服务管理,定位到MySql

SCADA系统采用JAVA开发的多吗?

问题描述 SCADA系统采用JAVA开发的多吗?一般的数据采集系统采用JAVA的多不多?说说JAVA的优势? 解决方案 本帖最后由 ljt8015 于 2013-11-21 16:09:26 编辑解决方案二:我们公司用的SCADA就是用java编写的,用作电力生产的数据采集和监控,远程操作和参数的设定等,像这种软件一般都是用java编写,C类一般用在硬件的编写和嵌入式的应用.

数据采集中的安全与隐私

1. 数据采集面临的安全与隐私挑战 不管是第三方分析工具,还是企业的第一方分析系统,在分析用户行为时,通常都会选择在客户端(一般是安卓.iOS 和 Web 端)采集用户的行为,然后经过打包.压缩等一系列处理步骤,发送给服务端,再进行存储和分析.由于客户端是在用户自己的网络环境下运行的,客户端与服务端之间的数据传输,是需要通过公网的,因此,也会带来一系列数据采集上的安全与隐私的问题. 这些问题包括: 数据采集的完整性问题:因为在客户端采集数据,为了保证尽量不影响用户体验,所以在采集数据时,一般不会