问题描述
这边有个任务,通过音频来解析年龄和性别,这个过程中需要用到第三方动态库(.so文件),请教大神在spark中怎样加载和使用第三方库?
解决方案
解决方案二:
spark的每个节点也是一个linux主机,.so文件放到各个节点,工程通过java调用.so试试
解决方案三:
这种方法太笨了,我想要的是通过spark代码加载进来,然后发布到各个计算节点,就类似hadoop的DistributedCache.addFileToClassPath()函数。
解决方案四:
我用的是python,pyspark.SparkContext的addFile(path)可以用来将文件分发至各计算节点供调用(AddafiletobedownloadedwiththisSparkjoboneverynode),so库调用没有问题,我用过
时间: 2024-10-18 00:24:26