全部版块 我的主页
论坛 数据科学与人工智能 大数据分析 Hadoop论坛
1277 0
2015-03-26

Hadoop是基于Java的数据计算平台,在我们公司得到了广泛应用。

     同样mllib也是我们算法组同学经常使用的一个机器学习工具包。但目前mllib工具包只提供了供C++程序调用的so链接库,没有可供java程序调用的jar包。由于这个需求有一定的普遍性,作者将mllib做了进一步封装,并通过jni的方式把其封装成了可供java程序调用的接口。





1      结构示意图





2      对mllib的二次封装



      原始的mllib开发包对模型的处理(训练,加载,预测)都是per model的,对于每一个模型都需要写一些重复类似的代码。实际应用中我们的模型也一般都是多个的(分行业,或分类目来做),不太会只是用一个大而泛的模型。mllib没有提供一个类似于Manager的类来管理多个模型。所以笔者对mllib进行了二次封装,能够让大家比较方便的通过配置来管理多个模型,也让大家从需要了解mlllib最底层的接口中解放出来。



封装的Manager类:

复制代码






MlrManager类被封装到了libMlrManagerJni.so链接库中,可供其它C++程序使用。


配置文件说明:




[PATH]


//设置root目录,后面的模型文件只需要指定相对这个root路径的相对路径即可


BASE_PATH = ./mlr_jni.tar/conf/


[MODEL]


//模型数目,指定了模型数目后,模型名就可以确定了:MODEL1 , MODEL2 …. MODEL${ TOTAL_MODEL_NUM }
TOTAL_MODEL_NUM = 4
//模型的类型(回归还是分类),不同的模型类型,预测时实现的方法是不一样的,一定要正确设置
#MODEL_TYPE = classification
MODEL_TYPE = regression
//指定具体某个模型使用的模型文件名称,不同的模型可以使用相同的模型文件。
MODEL1 = 1.model
MODEL2 = 2.model
MODEL3 = 3.model
MODEL4 = 3.model



MlrManager调用伪代码示例:


复制代码



3 Jni封装成可供java调用的接口





3.1

封装后的java接口如下:

复制代码






     具体如何封装的这里就不细说了,jni封装技术可以参考
http://www.searchtb.com/2010/12/how-to-run-jni-in-hadoop.html 如何在Hadoop集群运行jni程序),使用者也不用关心这个。下面介绍一下如何使用这个封装的接口。



3.2   开发阶段



把mlr_jni.tar包拷贝到开发机上,解压出来,解压后的目录结构如下:
conf/
conf/mlr.conf
conf/1.model
conf/2.model
……
conf/N.model
lib/
lib/ libMlrManagerJni.so
lib/ mlrmgrjni.jar


conf目录包含了mlr.conf配置文件,和一系列模型文件*.model。



lib目录包含了libMlrManagerJni.so,mlrmgrjni.jar两个文件,libMlrManagerJni.so是封装了原始mllib的C++接口,mlrmgrjni.jar是封装了libMlrManagerJni.so的java接口。


在Eclipse项目配置选项里把mlrmgrjni.jar加到classpath中。


MlrManagerJni调用伪代码示例:

复制代码





3.3   运行阶段



      在运行环境中,把mlr_jni.jar拷贝到运行环境,解压出来。使用者把自己的模型文件拷贝到conf目录下,在mlr.conf文件中修改好相关配置,然后把conf目录和lib目录重新打包成mlr_jni.tar包。(注意这里的包名mlr_jni.tar是可以变的,但必须和java程序中有两处指定的包名是一致的)。


调用:

复制代码




-      libjars mlrmgrjni.jar选项会把mlrmgrjni.jar这个jar包添加到Mapreduce程序的java classpath中。
-      archives mlr_jni.tar选项,Hadoop Distributed Cache的机制将会把这个jar包拷贝到每一个task node,供MapReduce程序使用。这个选项等同于在hadoop程序中显示调用


复制代码




3.4   常见错误

1)  Caused by: java.lang.NoClassDefFoundError: mlr/MlrManagerJni
java.lang.ClassNotFoundException: mlr.MlrManagerJni

原因:hadoop 命令行调用的时候没有加-libjars ./lib/mlrmgrjni.jar选项

2)  Caused by: java.lang.UnsatisfiedLinkError: no MlrManagerJni in java.library.path
at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1709)


原因:MlrManagerJni 接口初始化失败,不能加载libMlrManagerJni.so。
hadoop 命令行调用的时候没有加-archives mlr_jni.tar选项,可以在hadoop WebUI上看下job的xml配置文件,mapred.cache.archives选项是否包含了mlr_jni.tar包,如下是一个包含了mlr_jni.tar包的例子:


mapred.cache.archives=hdfs://hdpnn:9000/home/hadoop/cluster-data/mapred/system/job_201012162127_130619/libjars/mlrmgrjni.jar,/home/hadoop/cluster-data/mapred/system/job_201012162127_130619/archives/mlr_jni.tar#mlr_jni.tar


还有可能是打mlr_jni.tar包的时候忘记把libMlrManagerJni.so文件放进lib目录中了。


文章出处:搜索技术博客-淘宝

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群