spark加载使用第三方动态库.so文件

问题描述

这边有个任务,通过音频来解析年龄和性别,这个过程中需要用到第三方动态库(.so文件),请教大神在spark中怎样加载和使用第三方库?

解决方案

解决方案二:
spark的每个节点也是一个linux主机,.so文件放到各个节点,工程通过java调用.so试试
解决方案三:
这种方法太笨了,我想要的是通过spark代码加载进来,然后发布到各个计算节点,就类似hadoop的DistributedCache.addFileToClassPath()函数。
解决方案四:
我用的是python,pyspark.SparkContext的addFile(path)可以用来将文件分发至各计算节点供调用(AddafiletobedownloadedwiththisSparkjoboneverynode),so库调用没有问题,我用过

时间: 2024-10-18 00:24:26

spark加载使用第三方动态库.so文件的相关文章

读卡器-vs加载第三方动态库,调试模式能正常读取,但是单独执行exe,读卡出现问题!

问题描述 vs加载第三方动态库,调试模式能正常读取,但是单独执行exe,读卡出现问题! [DllImport("RWManager.dll", CallingConvention = CallingConvention.StdCall, CharSet = CharSet.Ansi, EntryPoint = "ReadBase", SetLastError = true)] public static extern int dll_ReadBase(StringB

<急>关于jni调用第三方动态库不成功

问题描述 <急>关于jni调用第三方动态库不成功 我在自己的方法中调用第三方动态库的方法可是要么就报该方法没有定义要么就出现如下错误求解答在线等..!!!

android-[NDK]关于NDK调用第三方动态库的问题

问题描述 [NDK]关于NDK调用第三方动态库的问题 假设现在有个动态库libOther.so,我调用了它里面的函数写了动态库libMy.so(以上都是x86下g++直接编译链接的) 现在我有一个android应用打算用libMy.so里的函数,最终封装成NDK下的动态库main.so, 请问在NDK下应该如何build? 本人NDK小白,能否详细说下: 1.两个(Other 和 My)动态库放哪? 2.两个动态库对应的头文件放哪? 3.mk文件应该如何修改? 4.JNI实现的main.cpp应

jni-android 加载ffmpeg的so库成功,但是加载自己的so库出现异常

问题描述 android 加载ffmpeg的so库成功,但是加载自己的so库出现异常 求大神们看看 解决方案 参考文章:http://www.16boke.com/article/detail/41 JNI Android平台之一实例(包.解决中文路径乱码.数组传入.传出)

Android实现Listview异步加载网络图片并动态更新的方法_Android

本文实例讲述了Android实现Listview异步加载网络图片并动态更新的方法.分享给大家供大家参考,具体如下: 应用实例:解析后台返回的数据,把每条都显示在ListView中,包括活动图片.店名.活动详情.地址.电话和距离等. 在布局文件中ListView的定义: <ListView android:id="@id/maplistview" android:background="@drawable/bg" android:layout_width=&qu

Android实现Listview异步加载网络图片并动态更新的方法

本文实例讲述了Android实现Listview异步加载网络图片并动态更新的方法.分享给大家供大家参考,具体如下: 应用实例:解析后台返回的数据,把每条都显示在ListView中,包括活动图片.店名.活动详情.地址.电话和距离等. 在布局文件中ListView的定义: <ListView android:id="@id/maplistview" android:background="@drawable/bg" android:layout_width=&qu

Linux/Unix 下调试动态库(.so文件)

问题描述 Linux/Unix 下调试动态库(.so文件) 需要调试一个C语言编写的动态库,这个动态库也是我自己写的编译的时候加了-g参数. 但是这个动态库是给oracle数据库调用的,也就是在存储过程里面调用这个动态库.由于这个动态库是新写的,经常有问题需要用gdb跟踪代码调试.我要怎么做才能调试这个动态库呢??? 目前想到的一个办法就是再写一个C程序调用这个动态库然后gdb调试.但是这个动态库提供给数据库的接口很多全部写出来比较费时间.希望找个方便点的方法,类似于gdb直接调试运行中的程序.

【短视频SDK】如何导入Android的AAR?动态库so文件到底怎么样放呢?

开发者在拿到短视频Android的SDK的时候会有些觉得不太一样,为什么SDK提供的是AAR文件和几个so文件呢?我们常见的SDK不是都是jar包吗?文本试图将AAR是什么,如何导入出现的问题进行一个归纳总结,希望开发者读完能够解决这种类型的问题. 1.什么是AAR文件?如何导入AAR文件? 1.1 什么是AAR文件? 开发者在开发的时候大家都遵循组件化的思路写代码,比如我们在写一个圆形的自定义组件的时候,这个组件是一个独立的组件,但是他可能不仅仅包含Java代码,还有很多资源甚至是底层so文件

加载带有手势识别器的XIB文件需注意哪些问题_IOS

如果在你的应用程序中需要检测手势,比如点击(tap).二指拨动 (pinch).拖移(pan)和旋转(rotation),那么通过创建UIGestureRecognizer类来实现将十分简单. 接下来小编给大家分享加载带有手势识别器的XIB文件需主要的问题. 首先新建一个继承自UIView的类,并创建相应的XIB文件 #import <UIKit/UIKit.h> @interface ZHDemoView : UIView + (instancetype)demoView; @end 提供一