DARPA的暗网搜索引擎将带来互联网的二次革命

知道吗? 你看到的互联网, 只有全部互联网的4%, 而DARPA正在开展一个雄心勃勃的项目,围绕的搜索为中心, 向人们展示剩下的96%的互联网内容。

这个项目名为Memex, 是由美国国防部高级研究项目暑(DARPA)发起的一项研究项目, 由DARPA挑头, 18家单位参与此项目, 包括NASA。

“这个项目将会带来巨大的影响。” NASA负责Memex项目的首席研究员Chris Mattmann说。

Memex将会像社交媒体一样研究用户的聊天数据, 将会把各类不同的数据根据关系关联起来, 使得用户能够更容易地找到他们想要的东西。

DARPA启动这个项目的初衷, 是想来收集类似暗网这样的P2P网络里的数据, 希望藉此来打击人口贩卖等犯罪活动。

“对于执法部门来说, 这个一个前所未有的工具。“ Chris Mattmann说道:”Memex已经在执法部门里开始使用了。这其中包括纽约县地区检察长办公室。

搜索暗网

“Memex目前专注于在暗网中发现那些不法行为。” Chris Mattmann介绍道。

暗网中的有些部分可以帮助人们绕过一些国家的政府检查, Memex不关心这些部分。 Memex的目的不是让互联网“去匿名化”。

与此同时, 暗网也是各种不法活动的天堂, 包括人口贩卖, 毒品交易, 武器交易, 儿童色情, 雇佣杀人, 以及黑客活动。 这部分的互联网是目前执法部门执法的薄弱环节,因为传统的搜索引擎无法收录这些网络里的信息。 而Memex可以改变这种状况。 DARPA网站上声称通过对暗网内容的收录, 将有机会发现并且打击人口贩卖组织。

Memex的设计有两个重要的特点, 第一是能够从极小的像素中推断出图形的含义。 第二是能够搜索图像和视频的元数据。 这些元数据很多情况下对于现有的搜索引擎来说是不可见的。 ”元数据非常重要, 元数据能够描述图片和视频, 从而使得我们找到它们之间的联系“ Chris Mattmann说道。

Memex可以在现有的暗网浏览器或浏览工具的基础上, 把图像和人的关系建立起来。

利用这些, 执法部门就可以判断一副图片或者视频是否是用同一台设备拍摄的。 以及有哪些其他图片或者视频是同一个人拍摄的等等。 它们还可以把毒品和毒品贩子关联起来。 尽管很多社交网站已经在开始收集图片的元数据,比如图片拍摄的地点等。 但是Mattmann说:”那些坏人通常都不会使用这些社交平台。”

新的互联网

不过Mattmann真正感到兴奋的不是Memex被执法部门采用, 而是Memex最终会被广大普通用户所使用。 他加入Memex项目的目的是他认为“很多政府投资在DARPA的技术将最终变成成功的民用项目”。 事实上, Internet也正是从DARPA的ARPANET脱胎而生的。

Memex的部分代码已经开源, 这也就意味着人们可以自由的下载和使用了。

作为Apache项目的志愿者委员会成员, Mattmann对把Memex的技术带给类似Apache这样的开源项目很感兴趣。 而Apache也已经开始在使用Memex。 Apache的服务器大约占了Internet服务器的53%, 而Drupal和Google也已经开始在采用Memex的代码。

Mattmann说, 用户很快就会感觉到, 信息会更容易被搜到, 而且搜索结果也会变得更加语义相关。 特别是在进行多媒体内容的搜索时。

根据DARPA网站上所指出的, 现有的搜索引擎的一个主要问题, 是”它们采用了中心化的, 对所有的搜索请求采用同一方法和同样的工具进行处理。 ” “现有的模式依然是一个严重依靠手工的过程, 这样的过程并不存储会话, 严格要求每次一个输入, 而且对返回的结果除了给出链接列表之外, 并不做进一步的整合和组织。“ DARPA指出”尽管现有的模式在被大量使用, 但是在很多政府的用例中并不适用。“

当然, 新的互联网并不会是完全替代现有的互联网, 而是会逐步整合进现有的互联网。 而这一整合已经开始了。 Mattmann说:‘在今后一两年内, 我们将会看到采用Memex的互联网“, 就像APRANET孕育了Internet一样, Mattmann认为“ Memex对于搜索的影响就像ARPANET对于Internet的影响那样。”
本文转自d1net(转载)

时间: 2024-10-23 02:27:11

DARPA的暗网搜索引擎将带来互联网的二次革命的相关文章

探索未知的世界:深网和暗网

互联网中的很大一部分无法通过常规的搜索引擎和浏览器访问到,这就是深网,它的体量比我们熟知的互联网要大上500倍. 什么是深网? 深网由无法通过谷歌.百度.雅虎等常规搜索引擎找到的数据组成.它包括所有搜索引擎无法找到的 Web 页面,比如用户数据库.需要注册的在线论坛.Web 邮箱页面.需要付费登陆的页面等.然后就是所谓的暗网了,它是深网的一个特定部分. 在地下黑市丝绸之路被美国联邦当局调查之后,很多人都听说了暗网的存在.深网和暗网已经成为全体网民的秘密话题.但是一般人听到"深网"和&q

深扒!雅虎5亿账户遭窃,2亿账户信息暗网黑市叫卖

    警钟敲响,史上最大规模的单一网站泄露事件发生了!! 这一次,惨遭毒手的是雅虎,美国时间周四下午2点30分,雅虎正式证实其用户信息遭窃,影响账户数目至少为5亿. 令人震惊的是,这次盗窃并非近日发生,而是在2014年底发生,黑客盗取的信息可能包括用户名.电子邮件地址.家庭住址.电话号码.出生日期.某些密码.以及安全问题和答案等. 此前,虽然盗窃信息早就曝光,但是雅虎一直没有对该事件进行过"官方认定". 可能稍微值得庆幸的一点是: 雅虎表示,支付卡数据.银行账户信息以及特定密码并未被

FreeBuf Insight:探访「暗网地下黑市」

这个世界上,有阴就会有阳,有白天就会有黑夜,有地表就会有地下.暗网的存在不能说好,也不能说坏,而是它属于这个世界的一部分. 我们经常在新闻上听说暗网,有人说上面贩卖各种毒品,有人说上面贩卖各种数据,也有人说上面有各种非法物品,那么到底什么是暗网?暗访上究竟有哪些不为人知的「服务」和「交易」? *本文中涉及的数据均隐去敏感信息,同时不会涉及暗网及相关站点的具体访问方法. 背景 网络层介绍 先说说网络的分层. 我们在搜索引擎里面所搜索到的内容大部分都是在表面层(Surface Web)的,不管搜索引

你的数据值多少钱?来自暗网市场的调查报告

近日,Mcafee实验室发布了一份关于暗网市场上出售来自各个行业敏感数据的价格的报告,其中报告指出,目前在暗网市场上,出售的数据类型一般有财物数据(如银行卡信息等).敏感系统访问权限(如银行内部的系统等).学校.医院等单位的数据库信息等.这冰山一角的展示,也给大众再次敲响数据安全的警钟.在此,我们很多人也不禁在想,我们的数据呢?又是值多少? 暗网对于很多人来说,或许是一个之前从没接触过的地方,也可能之后会走入到这个世界,偶然在上面发现你的个人信息被明码标价出售.这个场景不难想象,我们先前也介绍过

搜索引擎决战“暗网”百度搜索开放平台初露锋芒

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 几乎任何有抱负的通用搜索引擎都有一个共同的梦想:整合人类所有信息,并让大家用最便捷的方式各取所需. 对此,百度说:"让人们最便捷地获取信息,找到所求";谷歌说:"整合全球信息,使人人皆可访问并从中受益". 这两者表达的实际上是同一个愿景. 然而,这注定是一项不可能完成的任务.据科学家估测,人类信息大概只

揭秘深网和暗网:你所不知道的互联网

事物总有正反面,网络也一样,其中的深网和暗网(互联网中无法被搜索引擎抓取到的那部分网络)已经存在多年了,不过在IoE(Internet of Everything万物互联)时代,它可能会扮演更为重要的角色. 我们时常会听到有人提起一个不为人知的网络,也就是所谓的暗网.雷锋网之前也对暗网做过一次深度的剖析. 如果不是发生了一些大事(比如最近的丝绸之路2.0事件),可能大多数人一辈子都不会听到暗网这个名词.不过现在这个情况正在慢慢改变,一旦IoE的进化得以实现,再加上各类渗透,暗网的融合趋势便不可阻

即将到来的搜索引擎暗网之战

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp;前一段,Google索引的网址数量突破1兆.本来可喜可贺,没想到<纽约时报>的专栏专家倒打一耙,说"尽管突破1兆,但还差得远,Google的终极克星就是还没索引到的deep web." 关于deep web(暗网),说白了,它就是搜索引擎和web内容的一场"猫捉老鼠"游戏. 你在明,他在暗,猫要怎么才能抓到老鼠?办法

社会化网络加剧搜索引擎“暗网”战争

出处:<网吧帝国>   作者:赵福军 Google 的使命是整合全球信息,使人人皆可访问并从中受益. 但以Facebook.Twitter为代表的社会化网络应用却越来越阻碍其使命的达成. 搜索引擎的蜘蛛抓取越来越难以逾越社会化网络出于隐私保护而设置的封闭障碍. 在搜索的社交化或者说即时性搜索方面,Facebook投入了微软必应的怀抱,而Google只能暂时笼络Twitter. 从商业模式上看,Twitter在尝试发布的Promoted Tweets广告业务,本质就是将搜索竞价进行了社会化网络体

暗网买银行卡纪实:盗刷无门槛

本文讲的是暗网买银行卡纪实:盗刷无门槛,虽然都出正月了,但是我还是想跟大家讲个故事,讲讲我春节前夕试图用盗刷银行卡的方式来买票回家.希望让大家能认识到保护好银行卡信息的重要性. 起因:被贱人逼上暗网 "TMD,两只产品贱人居然在背后议论我没钱回家. 呵呵,我就笑了.究竟是谁走漏了风声!"  刚毕业的运营宝宝容易吗,还没攒出什么钱,就要过年了. 别人过年回家几千几万的花. 我就厉害了,不回家,没钱! 本来都打算自己在公司过年了,但是实在咽不下这口恶气.忽然想到,一个黑客哥们跟我说暗网里面