构建云计算平台，搭建动态的，具有充分扩展性和高效能的硬件平台是整体平台的重要基础。在硬件平台中，具体的硬件设备涉及服务器(包括x86架构服务器和非x86架构服务器)、外置磁盘存储、网络设备(路由器，交换机等)、安全产品(硬件防火墙、监控设备)等。
目前已有的一些公共云计算案例中，很多是基于x86架构的服务器平台。但需要澄清的一点是，x86架构服务器并不是建设云计算平台唯一的选择。尤其是对于大型企业的私有云计算，其硬件平台的选择是和企业自身情况以及平台上运行的工作负载息息相关的。例如，国有银行对核心业务系统的可靠性有着99.9999%以上的苛刻要求，就需要大型主机平台的支撑。再如，电信运营商对业务支撑系统(BOSS)的运行效率的要求，使得系统必须基于Unix平台运行。实际上，大型主机和Unix 服务器也完全可以成为云计算平台的基础设备，基于这两类平台的相关技术远比x86平台更为成熟。例如，近年在x86平台异常火热的虚拟化技术，早在几十年前就已经在大型主机和Unix平台上出现。
与服务器的情况类似，在选择云存储设备时，同样要根据性能、可靠性等方面的要求进行全面考虑。如对于性能要求较高的应用来说，选择SAN 结构的存储可以得到更好的性能和可靠性。而对相关要求不高的简单应用来说，可以使用iSCSI结构的存储设备或者NAS网络存储等，得到更高的性价比。无论选择哪种存储结构或哪类存储介质，都可以用来搭建云存储平台。而选择的主要标准时看具体应用的情况。
实际上，企业用户在建设云计算平台时所遇到的情况将更为复杂。企业所使用的硬件平台设备可能是新采购的，也可能是经过原有系统整合得到的，更有可能是二者皆有。因此，通常一个私有的云计算平台都是由异构的设备构成的，可能包括x86服务器、Unix服务器甚至大型主机、不同网络连接结构的存储设备，更不用说可能涉及多个品牌的产品。而云计算的目的就是将这些异构的设备整合为一个完整的、灵活的平台。企业需要考虑，如何在不同结构的设备上进行虚拟化并能够作为一个整体来进行管理。IBM在无锡建设的无锡太湖云计算中心实际上就是基于异构的平台。无锡太湖云计算中心的硬件包括了基于X86架构的刀片服务器和Power系列的Unix服务器，分别运行Linux和AIX操作系统，通过Xen和PowerVM进行虚拟化之后通过Tivoli软件进行统一的管理。
IDC认为，企业用户在建设私有云计算平台时，需要遵循以下原则来设计硬件平台：
适用性：由于云计算平台往往会运行不只一个甚至不只一类应用，因此选择适用的设备是非常必要的。例如在运行基于互联网、或者增值应用时，通常开放架构的x86服务器会具有较好的适用性。但是在运行某些复杂应用、数据库应用，对安全性和稳定性需要较高时，采用非x86架构的Unix服务器就是适用的选择。这一原则的贯彻，将帮助云计算平台实现计算能力和计算资源的优化。而从存储产品的角度来看，选择基于光纤的SAN存储方式对于复杂的应用来说是一种很好的选择，但是对某些相对比较独立，复杂程度不高的应用，SCSI具有更强的适用性。因此，适用性对于搭建一个成功的云计算平台来说是首要的原则。
开放性：云计算平台区别于传统数据中心的一个重要特征，就是其对于应用的开放性。具体来说，就是在云计算平台运行中，可能会陆续有不同类型的应用、服务被接入，尽管可以在接口类型等方面有具体的标准来规范，但是采用相对主流、开放的硬件架构、操作系统，对新增应用的无缝接入是必要的。
兼容性：云计算平台硬件系统的兼容性表现在服务器接口、芯片种类、存储接口和架构等各个方面。例如，由于云计算通常会采用虚拟化技术来实现动态的管理，提高服务器和存储利用率，但是CPU对虚拟化技术的支持又是有差别的，这时，就需要选择对主流虚拟化软件兼容性较好的服务器和CPU来支持虚拟化的部署。同样，在网络设备中，如果要实现虚拟机跨网段的自由迁移，也需要路由器能够对这一功能具有很好的支持和兼容性。
高密度：云计算平台的硬件选择，也需要考虑环境和空间的布置。传统的服务器需要占用大量的机架、空间，消耗大量的电缆和辅助材料。另外，空间的占用也会带来管理的困难，增加维护成本。为了营造一个高效的云计算平台，需要在硬件搭建时就考虑如何提高部署密度，采用刀片服务器或者类似的高密度系统就是一个可以参考的解决方案。
绿色：最后，对于云计算平台来说，实现绿色IT也是一个重要的、需要遵循的构建原则。规划较差的平台，会消耗更多的服务器、存储、网络设备，从而增加对这些设备提供冷却的精密空调数量，消耗大量的电能。这些消耗对于云计算平台来说，通过规划是完全可以避免的。另外，除了选择能耗较低的硬件产品，对冷却系统本身，在规划风道、出风方式、硬件格局等方面，也需要进行合理规划。