大数据等最核心的关键技术:32个算法

合并查找算法(Union-find)——给定一组元素,该算法常常用来把这些元素分为多个分离的、彼此不重合的组。不相交集(disjoint-set)的数据结构可以跟踪这样的切分方法。

奥地利符号计算研究所(Research Institute for Symbolic Computation,简称RISC)的Christoph Koutschan博士在自己的页面上发布了一篇文章,提到他做了一个调查,参与者大多数是计算机科学家,他请这些科学家投票选出最重要的算法,以下是这次调查的结果,按照英文名称字母顺序排序。

1、A* 搜索算法——图形搜索算法,从给定起点到给定终点计算出路径。其中使用了一种启发式的估算,为每个节点估算通过该节点的最佳路径,并以之为各个地点排定次序。算法以得到的次序访问这些节点。因此,A*搜索算法是最佳优先搜索的范例。

2、集束搜索(又名定向搜索,Beam Search)——最佳优先搜索算法的优化。使用启发式函数评估它检查的每个节点的能力。不过,集束搜索只能在每个深度中发现最前面的m个最符合条件的节点,m是固定数字——集束的宽度。

3、二分查找(Binary Search)——在线性数组中找特定值的算法,每个步骤去掉一半不符合要求的数据。

4、分支界定算法(Branch and Bound)——在多种最优化问题中寻找特定最优化解决方案的算法,特别是针对离散、组合的最优化。

5、Buchberger算法——一种数学算法,可将其视为针对单变量最大公约数求解的欧几里得算法和线性系统中高斯消元法的泛化。

6、数据压缩——采取特定编码方案,使用更少的字节数(或是其他信息承载单元)对信息编码的过程,又叫来源编码。

7、Diffie-Hellman密钥交换算法——一种加密协议,允许双方在事先不了解对方的情况下,在不安全的通信信道中,共同建立共享密钥。该密钥以后可与一个对称密码一起,加密后续通讯。

8、Dijkstra算法——针对没有负值权重边的有向图,计算其中的单一起点最短算法。

9、离散微分算法(Discrete differentiation)。

10、动态规划算法(Dynamic Programming)——展示互相覆盖的子问题和最优子架构算法

11、欧几里得算法(Euclidean algorithm)——计算两个整数的最大公约数。最古老的算法之一,出现在公元前300前欧几里得的《几何原本》。

12、期望-最大算法(Expectation-maximization algorithm,又名EM-Training)——在统计计算中,期望-最大算法在概率模型中寻找可能性最大的参数估算值,其中模型依赖于未发现的潜在变量。EM在两个步骤中交替计算,第一步是计算期望,利用对隐藏变量的现有估计值,计算其最大可能估计值;第二步是最大化,最大化在第一步上求得的最大可能值来计算参数的值。

13、快速傅里叶变换(Fast Fourier transform,FFT)——计算离散的傅里叶变换(DFT)及其反转。该算法应用范围很广,从数字信号处理到解决偏微分方程,到快速计算大整数乘积。

14、梯度下降(Gradient descent)——一种数学上的最优化算法。

15、哈希算法(Hashing)。

16、堆排序(Heaps)。

17、Karatsuba乘法——需要完成上千位整数的乘法的系统中使用,比如计算机代数系统和大数程序库,如果使用长乘法,速度太慢。该算法发现于1962年。

18、LLL算法(Lenstra-Lenstra-Lovasz lattice reduction)——以格规约(lattice)基数为输入,输出短正交向量基数。LLL算法在以下公共密钥加密方法中有大量使用:背包加密系统(knapsack)、有特定设置的RSA加密等等。

19、最大流量算法(Maximum flow)——该算法试图从一个流量网络中找到最大的流。它优势被定义为找到这样一个流的值。最大流问题可以看作更复杂的网络流问题的特定情况。最大流与网络中的界面有关,这就是最大流-最小截定理(Max-flow min-cut theorem)。Ford-Fulkerson 能找到一个流网络中的最大流。

20、合并排序(Merge Sort)。

21、牛顿法(Newton's method)——求非线性方程(组)零点的一种重要的迭代法。

22、Q-learning学习算法——这是一种通过学习动作值函数(action-value function)完成的强化学习算法,函数采取在给定状态的给定动作,并计算出期望的效用价值,在此后遵循固定的策略。Q-leanring的优势是,在不需要环境模型的情况下,可以对比可采纳行动的期望效用。

23、两次筛法(Quadratic Sieve)——现代整数因子分解算法,在实践中,是目前已知第二快的此类算法(仅次于数域筛法Number Field Sieve)。对于110位以下的十位整数,它仍是最快的,而且都认为它比数域筛法更简单。

24、RANSAC——是“RANdom SAmple Consensus”的缩写。该算法根据一系列观察得到的数据,数据中包含异常值,估算一个数学模型的参数值。其基本假设是:数据包含非异化值,也就是能够通过某些模型参数解释的值,异化值就是那些不符合模型的数据点。

25、RSA——公钥加密算法。首个适用于以签名作为加密的算法。RSA在电商行业中仍大规模使用,大家也相信它有足够安全长度的公钥。

26、Sch nhage-Strassen算法——在数学中,Sch nhage-Strassen算法是用来完成大整数的乘法的快速渐近算法。其算法复杂度为:O(N log(N) log(log(N))),该算法使用了傅里叶变换。

27、单纯型算法(Simplex Algorithm)——在数学的优化理论中,单纯型算法是常用的技术,用来找到线性规划问题的数值解。线性规划问题包括在一组实变量上的一系列线性不等式组,以及一个等待最大化(或最小化)的固定线性函数。

28、奇异值分解(Singular value decomposition,简称SVD)——在线性代数中,SVD是重要的实数或复数矩阵的分解方法,在信号处理和统计中有多种应用,比如计算矩阵的伪逆矩阵(以求解最小二乘法问题)、解决超定线性系统(overdetermined linear systems)、矩阵逼近、数值天气预报等等。

29、求解线性方程组(Solving a system of linear equations)——线性方程组是数学中最古老的问题,它们有很多应用,比如在数字信号处理、线性规划中的估算和预测、数值分析中的非线性问题逼近等等。求解线性方程组,可以使用高斯—约当消去法(Gauss-Jordan elimination),或是柯列斯基分解( Cholesky decomposition)。

30、Strukturtensor算法——应用于模式识别领域,为所有像素找出一种计算方法,看看该像素是否处于同质区域( homogenous region),看看它是否属于边缘,还是是一个顶点。

31、合并查找算法(Union-find)——给定一组元素,该算法常常用来把这些元素分为多个分离的、彼此不重合的组。不相交集(disjoint-set)的数据结构可以跟踪这样的切分方法。合并查找算法可以在此种数据结构上完成两个有用的操作:

查找:判断某特定元素属于哪个组。

合并:联合或合并两个组为一个组。

32、维特比算法(Viterbi algorithm)——寻找隐藏状态最有可能序列的动态规划算法,这种序列被称为维特比路径,其结果是一系列可以观察到的事件,特别是在隐藏的Markov模型中。

以上就是Christoph博士对于最重要的算法的调查结果。你们熟悉哪些算法?又有哪些算法是你们经常使用的?

本文转自d1net(转载)

时间: 2025-01-17 19:19:41

大数据等最核心的关键技术:32个算法的相关文章

中国工程院院士谭建荣:工业大数据与定制化设计—关键技术与典型应用

5月5日,"2017中国工业大数据大会·钱塘峰会"在杭州国际博览中心举办.本届峰会以"数据驱动创新 融合引领变革"为主题,围绕工业大数据展开分享与交流.中国工程院院士.浙江大学教授谭建荣,以"工业大数据与定制化设计:关键技术与典型应用"为题探讨了自己的看法.   以下为嘉宾演讲实录: 各位领导,各位专家,大家上午好!十分高兴来到萧山区这么好的地方研究讨论中国工业大数据的峰会.前面有几位专家讲了大数据讲得非常精彩,都讲到要点上.对我最后一个人来讲,

进军大数据一体机市场 曙光转型关键战

文章讲的是进军大数据一体机市场 曙光转型关键战,十年前,曙光公司就提出了从硬件提供商向信息服务提供商转型的口号.四年前,曙光公司又发布了云计算战略.从单纯提供硬件产品到提供整体解决方案再到提供云服务,曙光公司的转型步伐稳健而坚定.5月30日,曙光又抢占了大数据这一新的战略制高点,推出XData大数据一体机.曙光公司总裁历军表示,进军大数据领域是曙光公司战略转型的关键一步. 借云之势 曙光公司无锡云计算中心目前已经有200多个云应用,数据存储总量也超过了10PB.如此庞大的数据,每天的存储.管理成

数据开放共享是大数据竞争战略核心

文章讲的是数据开放共享是大数据竞争战略核心,随着大数据时代的到来,国家间的竞争正从对资本.土地.人口.资源及能源的争夺,转向对大数据的争夺.大数据颠覆性地改变了世界经济形态.国际安全格局.国家治理模式与资源配置方式.作为基础性.战略性资产的大数据,如何用.怎么用,不仅与经济基础的改造有关,也与上层建筑的改造高度相关,通过大数据来全面提升国家治理能力在当下是个紧迫的课题. 大数据带来的变革是全方位的.作为具有强大变革能力的大数据,不仅引发技术革命.经济变革,更引发政府治理的变革.事实上,信息技术革

大数据:未来核心竞争力

文章讲的是大数据:未来核心竞争力,作为新一代信息革命最热门的技术,大数据掀起了新一波IT投资和信息化建设的浪潮.越来越多的企业开始思考.探索和尝试用大数据的技术和手段,来提升营销.运营和生产的效率及效能. 大数据应用的关键,在于先进的创新模式.在保护用户隐私和数据安全情况下,要尽量让数据流动起来,如此才能创造高效的信息社会,让数据被使用并发挥价值,甚至还能二次发挥价值. 大数据技术更多的是处理企业非结构化的数据.非标准化的数据和企业Web的数据,以实时数据处理能力满足企业对客户的需求.现在,根据

吴军:三个案例透析大数据思维的核心

逻辑推理能力是人类特有的本领,给出原因,我们能够通过逻辑推理得到结果.在过去,我们一直非常强调因果关系,一方面是因为我们常常是先有原因,再有结果,另一方面是因为如果我们找不出原因,常常会觉得结果不是非常可信.而大数据时代,大数据思维要求我们从探求因果联系到探索强相关关系. 以下三个案例分别来自药品研发.司法判决与广告投放,从三个不同的角度了解大数据思维的核心. ◆ ◆ ◆ 大数据与药品研发:寻找特效药的方法 比如在过去,现代医学里新药的研制,就是典型的利用因果关系解决问题的例子.   青霉素的发

智能互联时代 大数据成企业核心资产

文章讲的是智能互联时代 大数据成企业核心资产,在4月8日的中国基金业金牛奖颁奖典礼现场,国务院发展研究中心企业研究所所长马骏发表了<智能互联时代的企业变革>.在演讲中提到了企业当下需要关注的4个趋势:1.产品从硬件转为软硬并重;2.企业与用户的交易转变为长期服务;3.大数据成企业核心资产;4.企业间竞争演变为产业生态圈竞争. 国务院发展研究中心企业研究所所长马骏(图片来源于网络) 以下内容整理自网络公开的演讲实录: 上世纪90年代,做投资的思路是重点寻找"中国的GE.索尼"

Hadoop——Microsoft大数据战略的核心

导读:众所周知,大数据浪潮正在渐渐的席卷全球的各个角落.而Hadoop正是这股风暴的动力之源.Microsoft更是史无前例的与Apache Hadoop社区合作.Microsoft此举就是希望利用自己在软件领域的优势构建一个打上Microsoft烙印的Hadoop生态圈. 如今,Microsoft已经将Hadoop作为自身大数据战略的核心.Microsoft此举的理由就是看中了Hadoop的潜力,在大数据领域Hadoop已经成为分布式数据处理的标准.通过集成Hadoop技术,Microsoft

数据挖掘:大数据发展的核心驱动力

近年来,随着"大数据成为热门词汇,金融业在这一领域不断进行研究和探索.就金融业和大数据相关问题,本报记者近日专访中国民生银行发展规划资深 专家王彦博.王彦博认为,数据挖掘是大数据发展的核心驱动力,金融业依托大数据东风,通过有效运用数据挖掘,能够更好地识别客户和服务客户,实现与客户的 互利共赢.同时,他认为,贵阳在发展大数据产业中思路清晰.战略方向明确,相关政策对大数据人才具有一定吸引力,并由此带来大数据相关理念.技术.设施和 应用发展,可为大数据产业.金融行业等发展带来重大机遇. 国内大数据产业

制约大数据发展的核心因素是什么?

本文尝试从大数据产业链的各环节入手,谈谈当前制约其发展主要因素. 众所周知,大数据按照处理流程可以分为三步: 大数据采集和清洗 大数据存储和分析 大数据展现和应用 从以上这三个方面,我想谈谈制约大数据发展的几个核心问题. 一.大数据采集和清洗 1.1.数据法规:用户隐私如何保护.商业规则如何制定.法律规范如何制定等等一系列法律法规都大大滞后于大数据科学的发展速度.由于技术EXE所限,纸上谈兵TXT成为常态.当前数据法律法规未明,采集方式八仙过海,预计未来很多大数据业务都将会继续游走在灰色地带,只