python使用snappy压缩

今天在网上找了很久,终于找到1个snappy压缩命令行,记录下来:
1.wget https://bootstrap.pypa.io/get-pip.py
2.python ./get-pip.py
3.yum install gcc-c++
4.pip install python-snappy

用法:

python -m snappy -c uncompressed_file compressed_file.snappy
python -m snappy -d compressed_file.snappy uncompressed_file

参考:
https://github.com/andrix/python-snappy

时间: 2024-10-22 03:59:12

python使用snappy压缩的相关文章

python自动zip压缩目录的方法

  本文实例讲述了python自动zip压缩目录的方法.分享给大家供大家参考.具体实现方法如下: 这段代码来压缩数据库备份文件,没有使用python内置的zip模块,而是使用了zip.exe文件 ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 # Hello, this script is written in Pyth

python里面如何压缩文件目录后,将压缩包放到另一个目录

问题描述 python里面如何压缩文件目录后,将压缩包放到另一个目录 python里面如何压缩文件目录后,将压缩包放到另一个目录,请给出相应的代码 解决方案 import os os.rename('packages.zip', 'directoryYouWantToMoveTo'+r'packages.zip') 应该也可以 解决方案二: 参考: http://lixiaorong223.blog.163.com/blog/static/44011629201272471221231/ 解决方

python zip文件 压缩_python

从简单的角度来看的话,zip格式会是个不错的选择,而且python对zip格式的支持够简单,够好用.1)简单应用 如果你仅仅是希望用python来做压缩和解压缩,那么就不用去翻文档了,这里提供一个简单的用法,让你一看就能明白. import zipfile f = zipfile.ZipFile('filename.zip', 'w' ,zipfile.ZIP_DEFLATED) f.write('file1.txt') f.write('file2.doc') f.write('file3.r

Python读写zip压缩文件

Python自带模块zipfile可以完成zip压缩文件的读写,而且使用非常方便,下面我们就来演示一下Python读写zip文件. Python读zip文件 下面的代码给出了用Python读取zip文件,打印出压缩文件里面所有的文件,并读取压缩文件中的第一个文件. import zipfile z = zipfile.ZipFile("zipfile.zip", "r") #打印zip文件中的文件列表 for filename in z.namelist( ): p

使用Python读写及压缩和解压缩文件的示例_python

读写文件首先看一个例子: f = open('thefile.txt','w') #以写方式打开, try: f.write('wokao') finally: f.close() 文件的打开方式: f = open('文件','mode') 'r':只读(缺省.如果文件不存在,则抛出错误) 'w':只写(如果文件不存在,则自动创建文件),此时无法调用f.read()方法,且当调用f.write()时,将清空文件原有内容 'a':附加到文件末尾 'r+':读写 如果需要以二进制方式打开文件,需要

在EMR中使用snappy压缩的时候快速查看压缩前文本的内容

在EMR的项目中,按理阿里云目前提供的解决方案,大多数的同学可能都是使用的logtail做的日志收集,然后通过logshipper投递到oss中存储.这么配置以后,存储在oss里面的文件都是snappy格式了,但是怎么使用估计大部分同学是一脸懵逼的. 有两个小的配置,可以方便的和使用gzip一样使用snappy文件. 1 hadoop fs -text的命令直接查看.如果是直接使用的话,你看到的都是二进制,直接把shell搞死.需要用下面的格式查看     hadoop fs -Dio.comp

使用Python压缩和解压缩zip文件的教程

  这篇文章主要介绍了使用Python压缩和解压缩zip文件的教程,主要用到了zipfile包,需要的朋友可以参考下 python 的 zipfile 提供了非常便捷的方法来压缩和解压 zip 文件. 例如,在py脚本所在目录中,有如下文件: 代码如下: readability/readability.js readability/readability.txt readability/readability-print.css readability/sprite-readability.pn

python实现在pickling的时候压缩的方法_python

本文实例讲述了python实现在pickling的时候压缩的方法.分享给大家供大家参考. 具体方法如下: import cPickle,gzip def save(filename,*objects): fil1 = gzip.open(filename,'wb') for obj in objects: cPickle.dump(obj,fil1,protocol = 2) fil1.close() def load(filename): fil1 = gzip.open(filename,'

python用模块zlib压缩与解压字符串和文件的方法_python

python中zlib模块是用来压缩或者解压缩数据,以便保存和传输.它是其他压缩工具的基础.下面来一起看看python用模块zlib压缩与解压字符串和文件的方法.话不多说,直接来看示例代码. 例子1:压缩与解压字符串 import zlib message = 'abcd1234' compressed = zlib.compress(message) decompressed = zlib.decompress(compressed) print 'original:', repr(messa