xgboost spark版本4j-spark 怎么安装使用

来源：蜘蛛抓取(WebSpider) 时间：2017-10-16 08:09 标签： xgboost4j spark 0.7
xgboost4j-spark 怎么安装使用? - 知乎13被浏览1652分享邀请回答31 条评论分享收藏感谢收起1756人阅读
一定要在linux下工作，以下很多问题都是因为我用的mac。
第一阶段：编译xgboost的c++库，
使用git下载xgboost时候，必须使用-rescursive，因为里面依赖了其他开源项目，比如rabit。如果弄错了，编译的时候可能会报错缺乏-opf**
在mac下默认是clang编译器，总出错非常坑爹（可能我不会用），用G++比较好。
另外注意，官网上有两种mac的编译方案，第一种编译出来的东西默认不支持多线程，所以在mac下打包还得需要安装第二种方案。一定要仔细看官方教程啊！我之前就是用第一种方案编译的，也没有看说明。
另外，编译要求GCC4.6以上版本，不符合会出错
第二阶段：打包java库
编译成功后，把根目录lib里面的两个.a 和.so文件复制到jvm-package的lib里，之前干的这一步是错误的。这里的包是程序自己编译的，不用手动，不过要gcc4.6以上。接下来在里面使用maven编译。
这里的问题总是在编译spark包的时候，测试出错，经常卡在一个阶段不动，无奈只好使用官网给的跳过测试命令来打包。
第三阶段：与自己写的代码一起打包上传集群运行
报错，import argparser 没有这个包。因为这个包是python2.7的，而集群是python2.6。只好想办法改写源码到2.6。还好2.6有类似的包optparser。改掉tracker.py这个文件。注意这个文件有多份，源头在dcml文件夹里。改好了再次打包，打包后最好再看看里面的文件对不对，tracker.py是否是已经改好的。
又出现另一个问题，unsatisfiedlinkerror，这是因为xgboost打包时我用得mac，所以打包进去了一个dylib文件，在集群上不支持这种文件，重新打包把.a或者.so文件打包进来。这是linux支持的。
其他的一些问题等过两天一起总结，给自己留个印象，下次遇到好解决。
总的来说，各种问题都是因为我是新手，对各个平台系统不太熟悉。实际工作中，涉及很多运维的事情，这个时候就看经验了。作为即将毕业的人，我感觉自己应该好好看看linux系统的东西。
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：1826次
排名：千里之外
(window.slotbydup = window.slotbydup || []).push({
id: '4740887',
container: s,
size: '250,250',
display: 'inlay-fix'4305人阅读
数据挖掘（7）
机器学习（11）
win10（64位）python xgboost 安装教程
在看一些数据挖掘比赛的经验分享，看到很多都用到了xgboost并取得不错效果,于是down了大神们的解决方案，结合他们的代码学习数据挖掘比赛流程。在安装xgboost 的过程中，看网上各种教程走了很多弯路，在此分享下64位win10系统下安装python xgboost包的经验，希望能帮到和我一样的新手们少走弯路。
xgboost的作者是陈天奇大神，顺便奉上其。
注意：由于xgboost最新版本已经不支持 visual stdio build的方法了，所以网上很多教程都GG了! 以下教程靠谱：
一：安装环境
windows 10 64位
python 2.x/3.x 64位都可以（我用的是2.7.10）
cmd 输入python查看版本:
C:\Users\huangcheng&python
Python 2.7.10 (default, May 23 2015, 09:44:00) [MSC v.1500
64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
如果是装了IPython之类的IDE，注意添加系统环境变量。
二：所需软件
1.mingw-w64：mingw-w64是为了在windows环境下直接编译github上得到的xgboost项目文件。
下载地址：
点击下载x86_64-5.3.0-release-win32-seh-rt_v4-rev0.7z，适用64位操作系统。
解压到某一目录下，我放到了C盘根目录。（目录最好不要有中文字符）
配置环境变量。将C:/mingw64/bin;粘贴到path环境变量下。
进入目录C:/mingw64/bin，找到mingw32-make.exe 更名为make（为了使用方便）。成功后，在cmd下输入make会返回“make: *** No targets specified and no makefile found.
2.git：这个可装可不装,如果选择不安装则直接从github 。
不过为了自动获取github上最新的xgboost包，还是安装一下，以后也会用到这个工具。git官方下载地址：/download/win。安装步骤比较简单，下一步下一步即可。
3.Cygwin：cygwin是windows平台上运行的unix模拟环境。本人选择的用git shell 和cmd,所以没有选择安装，读者有兴趣可以自己尝试。
4.pip：pip是安装扩展名为.whl的python包用的工具。
下载地址：
解压到一个目录下，找到setup.py位置，cmd进入该目录，输入执行python setup.py install 即可。
重启cmd，输入pip，显示pip的帮助信息，则安装成功
三：命令安装
1.numpy和scipy的安装（如果装了IPython之类的IDE就不需要了，因为已经自带了这些包）
numpy和scipy是xgboost的依赖工具包，python下进行科学计算也是必不可少的工具。
注意下载对应python版本号的的whl文件：
将两个whl文件拷到python路径下的Scripts文件夹下，并将该文件路径添加到PATH环境变量。比如：C:/Python27/Scripts。
在cmd下运行：pip install XXXXX.whl 即可。
python命令行输入
import numpy
import scipy
如果没有报错就说明安装成功。
2.打开前面安装的Git Bash依次输入以下命令：（如果直接从陈天奇大神的github下载源码的同学跳过此步）
1. git clone --recursive /dmlc/xgboost
2. cd xgboost
3. git submodule init
4. git submodule update
这是官方Installation Guide：
首先进入xgboost目录下：cd （xgboost路径）
接着输入：cp make/mingw64.mk config.mk
接着输入：make -j4
3.打开cmd:
进入xgboost路径下的python-package：cd python-package
接着输入：python setup.py install
4.最后打开python命令行：import xgboost
如果没有报错，就安装成功了。
附上wepon大神的xgboost知乎精彩回答：
祝大家好运。
8/17/:03 PM
睡觉。明天继续，加油。
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：122484次
积分：1029
积分：1029
排名：千里之外
原创：23篇
评论：47条
(1)(2)(5)(1)(8)(5)(1)
(window.slotbydup = window.slotbydup || []).push({
id: '4740887',
container: s,
size: '250,250',
display: 'inlay-fix'xgboost在windows的环境的安装
xgboost在windows的环境的安装：1. github下载地址：/dmlc/xgboost/releases，用的最新版本0.4x。
2. 下载成功后，打开xgboost-0.47源文件夹下的windows文件夹，打开里面的vs工程。编译生成xgboost.exe（用于CLI）以及xgboost_wrapper.dll（用于）。官方说明是需要使用x64,release
3.如下所示,逐个build：
完成后将前三个build完成就可以了。
4. 在python中安装 xgboost
打开命令行 cd &xgboost-0.47/python package :这里根据自己的解压路径写&
之后执行 python setup.py install
成功之后，import xgboost ，至此安装成功。
5. 在 python 这一步： 因为使用的 anaconda2， 3
anaconda2， 3 在windows环境共存的配置，参考：
https://blog.csdn.net/ljp/article/details/
所以分别安装了一遍， 只是 路径有区别而已。
C:\Users\Administrator&cd C:\xgboost_windows_x64\xgboost-master\python-package
C:\xgboost_windows_x64\xgboost-master\python-package&python setup.py install
running install
running bdist_egg
running egg_info
Using c:\anaconda2\lib\site-packages
Finished processing dependencies for xgboost==0.4
C:\xgboost_windows_x64\xgboost-master\python-package&activate py3
(py3) C:\xgboost_windows_x64\xgboost-master\python-package&python setup.py install
running install
running bdist_egg
running egg_info
Using c:\anaconda2\envs\py3\lib\site-packages
Finished processing dependencies for xgboost==0.4

我要回帖

更多关于 xgboost4j spark 0.7 的文章

 

随机推荐