java大数据传输

问题描述

最近接手一个项目,涉及到2个系统间数据交互,由于数据量较大(上G)且实时性要求比较高,一时没有很好的方法,希望各位大牛能给点建议;除了socket、webservice、ftp常规的方法之外还有其他的更好的办法没有;

解决方案

解决方案二:
数据大还是走文件ftp吧;
解决方案三:
什么系统会有这种变态的需求,我怀疑这设计有问题。两个系统间上G的数据实时传输?架构师是怎么想的啊?直接用分布式存储实现数据共享也比这好啊。
解决方案四:
引用2楼rumlee的回复:

什么系统会有这种变态的需求,我怀疑这设计有问题。两个系统间上G的数据实时传输?架构师是怎么想的啊?直接用分布式存储实现数据共享也比这好啊。

A系统比较老,没办法,现在有一些业务功能暂时还没有完全剥离到新环境,有些业务功能还得依靠这套系统来完成,架构上合不合理咱暂且不论了,毕竟也这么多年了。。
解决方案五:
考虑一下数据库吧
解决方案六:
NFS满足这种需求吗
解决方案七:
啥子业务这么牛逼,需要交互上G的数据,才能把业务办起走
解决方案八:
楼主的问题描述都不清晰,什么叫交互数据量较大(上G),是说A系统往B系统取数据时B系统就返回上G的数据或是A系统往B系统写数据时传了上G的如果是这种的根本不可能,网络的IO带宽都不够的,还是只是系统的数据库存的是上G的数据交互的并没有那么多。
解决方案九:
归根结底,上层用啥协议是不是不如底层把这两个系统之间的连接弄好?无论你用ftp还是tfp还是pft,用光缆总要比用电话线来得快
解决方案十:
引用7楼suciver的回复:

楼主的问题描述都不清晰,什么叫交互数据量较大(上G),是说A系统往B系统取数据时B系统就返回上G的数据或是A系统往B系统写数据时传了上G的如果是这种的根本不可能,网络的IO带宽都不够的,还是只是系统的数据库存的是上G的数据交互的并没有那么多。

呵呵,没说清楚不好意思,表达能力问题,各位仁兄请包涵。回答suciver问题:文件是A系统上生成的,在文件生成完成后通知B系统,B系统获取生成的文件进行接下来的业务处理;现在也正在考虑到底是该不该在A系统上生成文件之后才给B系统,一时也没想到好的处理办法

时间: 2024-09-20 05:44:30

java大数据传输的相关文章

JAVA大数据计算突然变慢

问题描述 JAVA大数据计算突然变慢 计算是从从一个ResultSet中遍历读取(非循环读取),并计算. 之前好好的,突然间程序就跑的很慢很慢-- SQL与程序都没有问题的情况下,到底会是什么问题导致? 跑程序是之前和现在都是用myeclipse直接跑的 真心不知道问题在哪,求好心人提点. 解决方案 cpu如果过热,散热不良,会导致计算机突然减速 计算机中别的进程的运行也会干扰到这个进程的运行. 解决方案二: 排除硬件的前提下: 1)单纯数据查询工具中查询同样SQL是否也数据慢? 慢就是DB的问

聊天室-关于java的聊天程序,分服务端和客户端,请java大神帮我调试一下,我检查没编写错误

问题描述 关于java的聊天程序,分服务端和客户端,请java大神帮我调试一下,我检查没编写错误 //服务端 package chatApp; import java.net.*; import java.io.*; import java.util.*; public class chatserverthree implements Runnable { public static final int PORT=1234; protected ServerSocket listen; stat

求java大神解答一下这个问题!

问题描述 求java大神解答一下这个问题! 在java中setExtendedState( );//这一句是干什么用的?能否详细解释一下setExtendedState(MAXIMIZED_HORIZ); //这一句是什么意思,可以干什么? 解决方案 求大神帮解答javaEE这个问题,谢谢了 解决方案二: 设置窗口的状态参数含义NORMAL 默认状态ICONIFIED 最小化MAXIMIZED_HORIZ 水平方向最大化MAXIMIZED_VERT 垂直方向最大化MAXIMIZED_BOTH 水

java大文件-java 大文件处理及内容匹配

问题描述 java 大文件处理及内容匹配 读取5G左右txt文件,内容都是由一定格式的长字符串组成,如{a:xxxxxxx}{b:xxxxxx}{c:xxxxxx}... 其中{a:xxxxxxx}为一段,{b:xxxxxxx}为下一段,依次类推. 要求:如果{a:xxxxxxx}中包含目标字符串"XXX",则将{a:xxxxxxx}输出到文件. 目前基本功能已实现,但处理效率比较低,求大牛们提供好的解决思路. 解决方案 每次读取10MB左右的数据,然后分多个块,让多个线程去匹配.循环

求java大神指教这个程序怎么写,最好有代码

问题描述 求java大神指教这个程序怎么写,最好有代码 小区里新开了一家超市,经营了一个月之后,发现超市的经营很混乱,主要体现在几个方面:不知道商店现在都有什么货物,也不知道商店每天都卖了什么货物,库存有什么货物:同时,一个月来的流水和利润都无法查清.为此超市张老板找到了程序员Jack,想让Jack开发一个管理程序,帮助超市的经营.Jack的初步计划是这样的:1. 设计程序的结构,看看大概需要什么样式的类.2. 初步构想是这样的:a) 货物要有相应的类和货物的属性:b) 然后商店平常要进货和销货

数组-为什么会溢出呢?求java大神指教

问题描述 为什么会溢出呢?求java大神指教 public class Test6{ public static void main(String[]args){ int size=10; double [] myList=new double[size]; myList[0]=1.2; myList[1]=1.3; myList[2]=1.0; myList[3]=1.0; myList[4]=1.0; myList[5]=1.0; myList[6]=1.0; myList[7]=1.0;

大整数四则运算-求java大整数的四则运算解题思路,把具体用什么知识点讲解出来

问题描述 求java大整数的四则运算解题思路,把具体用什么知识点讲解出来 package org.suanfa.test; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; public class Test1 { private boolean isPositive=true; private String number="0"; public Te

求java大神帮看解答一下报错,在线等

问题描述 求java大神帮看解答一下报错,在线等 16:29:21,442 ERROR ContextLoader:215 - Context initialization failed org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'userServiceImpl': Injection of resource fields failed; nested except

tomcat-求助java大神,困扰了很久,网上搜了n多解答方式但是还是没有用,求正解!

问题描述 求助java大神,困扰了很久,网上搜了n多解答方式但是还是没有用,求正解! eclipse中做web项目,启动tomcat没有问题,但是每次都出404错误,但是tomcat目录下是有 项目名称的,可是在浏览器上就只能出猫,加项目名什么的就404,摆脱各位大神们,实在是不知道什么问题,路径也反复核对了很多次的,配置文件也是 解决方案 原因一 .URL有错误:检查url 原因二.项目启动报错:解决错误 原因三.没有部署成功:重新部署,或者项目有错误 原因四.项目本身没有欢迎页面,访问具体j