比特客户端
您的位置：
详解大数据
详解大数据
详解大数据
详解大数据
如何用树莓派和Kali Linux搭建便携式黑客工作站
　　攻破密码、伪装账户和测试漏洞都已经够有趣了，但是如果你想在路途中完成这些操作，就会需要一个简易便携的装备。不妨考虑一下 Kali 和树莓派。
　　Kali Linux是一个用来做网络渗透测试的。你可以在电脑上运行它，以攻破的Wi-Fi密码、假冒网络、测试蓝牙的缺陷以及一大堆其他事情。记住，利用该知识侵入受保护的网络将有可能让你被逮捕并受到重罪指控C也许违反了联邦计算机法案。这些知识只能用来为善，只能用作个人学习，且只在你控制的网络上玩。之前我们已经广泛地讲过很多关于Kali Linux的使用，所以本文中不会再讨论它，但是你可以指南大概了解一下可以用它来做的任何事。所有适合树莓派的版本我们也会提供在这里。
　　树莓派是一个如信用卡般小巧的计算机，使用时不需要太多电力。当你把树莓派和Kali Linux结合在一起，就变成了一个超级便携式的网络测试机，可以随身携带到任何地方。在本指南中，我们将结合触屏展示如何启动Kali并在树莓派上运行。用这种方法，你永远不需要安装Kali Linux到主计算机上。
　　你所需要的有：
　　◆树莓派(B+或者2更好)
　　◆一个电池组(任何给充电用的带USB端口的外接5V电池应当就可以，当然也有更多优雅的方法，如果你感兴趣的话)
　　◆一张网卡
　　◆一张8GB的SD卡
　　◆一个PiTFT触屏(如果为了使用更好的屏幕且不介意随身携带大点的设备，也可以用官方7英寸的触屏)
　　◆一个外壳(可选，但如果你着树莓派，它就很有用。把PiTFT和树莓派装入这个Adafruit的外壳非常不错)
　　◆键盘(我喜欢使用带触摸板的小无线键盘，适合装进小包里。)
　　◆一个台式计算机(用来完成最开始的安装)
　　第一步：在树莓派上安装Kali
　　视频地址：https://youtu.be/aTQjuDfEGWc
　　在开始之前，你需要下载和安装Kali Linux支持树莓派的触屏版本镜像。它与安装任何其他的树莓派操作系统一样，我们在这里已经详细介绍过了，不过以下是简易版本：
　　在Windows下如何安装Kali到SD卡
　　1.下载 Kali Linux Raspberry Pi TFT image ，解压里面的.img文件。注意：如果你使用的不是触摸屏，请下载Kali Linux支持树莓派的常规版本。
　　2.下载Win32DiskImager并解压其中的程序(.exe文件)。
　　3.使用读卡器把SD卡插入到Windows PC机。
　　4.双击打开刚刚下载的程序 Win32DiskImager.exe 。如果你运行的是或者8，则右击执行程序并选择“以管理员身份运行”。
　　5.如果SD卡没有被该程序自动检测到，点击右上角(“设备”栏)的下拉菜单，从列表中选择SD卡。
　　6.在应用的镜像文件选择区，点击小文件夹图标，选择 Raspbian.img 文件。
　　7.点击写入(Write)按钮并等待 Win32DiskImager 完成。当它完成后，你可以安全地弹出SD卡，然后把它插入树莓派。
　　在 X下如何安装Kali到SD卡
　　1.下载 Kali Linux Raspberry Pi TFT image ，解压里面的.img文件。注意：如果你使用的不是触摸屏，请下载 Kali Linux支持树莓派的常规版本。
　　2.下载 RPi-sd card builder(一定要为你所安装的OS X选择合适的版本)并解压程序。
　　3.使用读卡器把 SD 卡插入到。
　　4.打开RPi-sd card builder。你会被立刻要求选择一个Raspbian镜像。选择之前下载的.img文件。
　　5.你会被询问SD卡是否已连接。由于我们之前就插入了，那它已经连接上了，所以点击继续(Continue)。然后会出现SD卡选择界面。如果你只插入了一个，并且在列表中也没有看到其它的，它会被选中。否则，就选择所希望使用的SD卡并点击OK。
　　6.输入管理员密码，点击OK。
　　7.你会被询问SD卡是否已被弹出。这是正常的，因为只有被卸载后它才可以执行直接复制。再次确认SD卡在Finder中不再被使用。不要从USB端口中移除它。当你确定要弹出时，点击继续(Continue)。
　　8.RPi-sd card builder 完成SD卡的准备工作，安全弹出卡并插入到树莓派中。
　　第二部：连接显示屏
　　树莓派有一个触屏可适配的GPIO(通用输入/输出)，即树莓派主板角上的一组针脚，如何使用显而易见。继续，插入显示屏到树莓派。
　　第三步：插上所有的电源并启动
　　安装好显示器后，就该接通其他零件的电源了。把Wi-Fi适配器和键盘接入到USB端口。再把树莓派连接到电池组。
　　启动过程有可能有点缓慢和粗陋，不必为此担心。首先，在启动开始前，会先显示一会儿白屏。最终，将显示登录界面。
　　第四步：登录并且启用无线网卡
　　现在该登录和启用无线网卡了，这样你才可以真正地使用 Kali Linux 里的工具。树莓派会自动识别无线网卡，但是你仍然需要连接上网络。首先，需要启动 Kali Linux 图形用户界面并确保一切正常：
　　1.树莓派的命令行上将显示用户名和密码的提示。输入用户名 root 和密码 toor (一会儿要修改掉该密码)。
　　2.输入 startx 然后回车来启动 Kali 图形界面。在树莓派上加载可能需要一段时间。
　　3.现在你可以用触屏和键盘来操控树莓派。点击底部任务栏的终端图标来打开命令行。
　　4.设置无线网卡，在命令行输入nano /etc/network/interfaces 并回车来加载Wi-Fi设置的配置文件。
　　5.增加如下文本到你刚刚打开的文件，替换上你自己的网络：
　　auto wlan0 iface wlan0 inet dhcp wpa-ssid “你的网络名称” wpa-psk “网络密码”
　　完成后，按下 Ctrl+X 保存并退出。无线网卡现在可以使用了(有可能需要先重启)。
　　第五步：修改密码
　　在开始任何操作之前，很有必要修改设备的root密码(避免其他也有类似技能的人控制它)。还好这个过程很简单。
　　1.如果你还在命令行(如果不在，点击 Kali 的终端图标重新打开它)，输入 passwd 并回车。
　　2.输入新密码两次。
　　3.重 OpenSSH 也有好处，这样它不会是默认设置。输入 dpkg-reconfigure openssh-server 并回车。
　　现在你的式系统已设置完成且是安全的。
　　你可以用这个设备做什么
　　此后，用这个小型便携式黑客工作站做什么都取决于你。你可以使用触屏完成基本的操控，在Kali Linux上运行任何想运行的程序。如果你不知道如何开始，下面是一些建议：
　　◆设置 远程连接到树莓派
　　◆学习命令行的基本知识
　　◆ Wi-Fi 密码，创建，或者窥探另一个设备的流量
　　◆监控网络
　　◆更多 Kali Linux 指引
　　这个世界由你掌控，但请当一名负责任的黑客，谢谢。
相关文章：
[ 责任编辑：小石潭记 ]
去年，手机江湖里的竞争格局还是…
甲骨文的云战略已经完成第一阶段…
软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯，最新的软件技巧，最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中，与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊！
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧，帮助网管答疑解惑，成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一，主要关注x86服务器，RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析，让您第一时间了解服务器行业的趋势。
比特存储周刊长期以来，为读者提供企业存储领域高质量的原创内容，及时、全面的资讯、技术、方案以及案例文章，力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
比特安全周刊通过专业的信息安全内容建设，为企业级用户打造最具商业价值的信息沟通平台，并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比，比特安全周刊运作模式更加独立，对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事，为企业级用户打造重点突出，可读性强，商业价值高的信息共享平台；同时为互联网、IT业界及通信厂商提供一条精准快捷，渗透力强，覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展，全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托，汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台，并持续提供丰富的资讯和服务，探讨信息化建设，推动中国信息化发展引领CIO未来职业发展。
IT专家新闻邮件长期以来，以定向、分众、整合的商业模式，为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容，包括IT新闻、评论、专家答疑、技巧和白皮书。此外，IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊是一份IT人的技术娱乐周刊，给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍，同时用户还能参与我们推荐的互动游戏，给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。
微信扫一扫
关注Chinabyte后使用快捷导航没有帐号？
查看: 5515|回复: 47
树莓派搭建Hadoop集群
论坛徽章:2
《树莓派搭建集群》
Hadoop是由实现的, 所以在树莓派上运行就和在其他x86平台上运行一样简单. 首先, 我们需要安装支持树莓派的JVM. 可以选用OpenJDK或者Oracle的JDK 8. 我个人推荐JDK8, 其速度稍微快些, 但是OpenJDK安装更容易些.
1. 安装Java
安装OpenJDK十分简单, 只要执行以下命令
pi@raspberrypi ~ $ sudo apt-get install openjdk-7-jdk
pi@raspberrypi ~ $ java -version
java version &1.7.0_07&
OpenJDK Runtime Environment (IcedTea7 2.3.2) (7u7-2.3.2a-1+rpi1)
OpenJDK Zero VM (build 22.0-b10, mixed mode)
另外, 我们可以选择安装Oracle的JDK 8.
可以从这获得:
pi@raspberrypi ~ $sudo tar zxvf jdk-8-ea-b36e--arm-hflt-*.tar.gz -C /opt
pi@raspberrypi ~ $sudo update-alternatives --install &/usr/bin/java&
&java& &/opt/jdk1.8.0/bin/java& 1
pi@raspberrypi ~ $ java -version
java version &1.8.0-ea&
Java(TM) SE Runtime Environment (build 1.8.0-ea-b36e)
Java HotSpot(TM) Client VM (build 25.0-b04, mixed mode)
如果你两个都装了, 用以下命令来切换即可:
sudo update-alternatives --config java
2. 新增一个hadoop系统用户
pi@raspberrypi ~ $ sudo addgroup hadoop
pi@raspberrypi ~ $ sudo adduser --ingroup hadoop hduser
pi@raspberrypi ~ $ sudo adduser hduser sudo
3. 设置SSH
pi@raspberrypi ~ $ su - hduserhduser@raspberrypi ~ $ ssh-keygen -t rsa -P &&
这会生成一个匹配空密码的RSA密钥. 在与其他节点通讯时Hadoop将不再提示输入密码
hduser@raspberrypi ~$ cat ~/.ssh/id_rsa.pub && ~/.ssh/authorized_keys
现在设置SSH允许用刚生成的密钥访问
hduser@raspberrypi ~$ ssh localhost
现在我们就应该可以不使用密码也可以登录了
4. 安装Hadoop
我们可以从下载hadoop
hduser@raspberrypi ~$ wget
hduser@raspberrypi ~$sudo tar vxzf hadoop-1.1.2.tar.gz -C /usr/local
hduser@raspberrypi ~$cd /usr/local
hduser@raspberrypi /usr/local$ sudo mv hadoop-1.1.2 hadoop
hduser@raspberrypi /usr/local$ sudo chown -R hduser:hadoop hadoop
现在hadoop就安装好了. 编译home目录下的.bashrc文件, 将以下内容添加到其中
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-armhf
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
如果你用的是oracle的JDK, 相应的修改JAVA_HOME.
重启一下树莓派来验证安装是否成功:
hduser@raspberrypi ~$ hadoop version
Hadoop 1.1.2
Subversion
branch-1.1 -r 1440782
Compiled by hortonfo on Thu Jan 31 02:03:24 UTC 2013
From source with checksum c720ddcf4b67d253a79b8b
5. 配置Hadoop
注意: 这里的配置是hadoop单节点模式的最低配.
配置文件位于&/usr/local/hadoop/conf/&, 我们需要修改core-site.xml, hdfs-site.xml, mapred-site.xml三个文件
core-site.xml
&configuration&
&&&property&
& & &name&hadoop.tmp.dir&/name&
& & &value&/fs/hadoop/tmp&/value&
&&&/property&
&&&property&
& & &name&fs.default.name&/name&
& & &value&hdfs://localhost:54310&/value&
&&&/property&
&/configuration&
mapred-site.xml
&configuration&
&&&property&
& & &name&mapred.job.tracker&/name&
& & &value&localhost:54311&/value&
&&&/property&
&/configuration&
hdfs-site.xml
&configuration&
&&&property&
& & &name&dfs.replication&/name&
& & &value&1&/value&
&&&/property&
&/configuration&
哦了, 即将完工, 还剩最后一步.
hduser@raspberrypi ~$ sudo mkdir -p /fs/hadoop/tmp
hduser@raspberrypi ~$ sudo chown hduser:hadoop /fs/hadoop/tmp
hduser@raspberrypi ~$ sudo chmod 750 /fs/hadoop/tmp
hduser@raspberrypi ~$hadoop namenode -format
如果选用的是JDK 8, 我们需要强制在JVM client模式下运行DataNode, 因为JDK 8还不支持server模式. 进入/usr/local/hadoop/bin目录中来编辑hadoop文件(请先备份). 使用nano进行修改的步骤如下:nano hadoop, ctrl-w输入“-server”进行查找. 我们需要删除“-server”这个参数, 然后保存退出就行了.
hadoop单节点系统就算是搭建完成了. 下面给一些有用的命令.
1. jps& && && &&&// 输出本地VM标识符
2. start-all.sh&&// 启动所有hadoop进程
3. stop-all.sh& &// 停止所有hadoop进程
论坛徽章:2
最近准备再买两台树莓派
论坛徽章:17
强啊。。。
论坛徽章:72
jieforest 发表于
最近准备再买两台树莓派
两台哪够啊，至少来个10台8台还差不多
金牌会员, 积分 1884, 距离下一级还需 1116 积分
论坛徽章:5
本帖最后由 hawkflying 于
14:42 编辑
这个不错！ 有个老外曾经弄了好多mac mini组成了个服务器集群，小梅也来搞搞？！
国外果粉用160台Mac mini组成服务器
论坛徽章:2
hawkflying 发表于
这个不错！ 有个老外曾经弄了好多mac mini组成了个服务器集群，小梅也来搞搞？！
国外果粉用160台Mac mini ...
嗯。这个真牛！
论坛徽章:6
LZ原创啊？
论坛徽章:14
树莓派512内存，运行hadoop速度可以么。
论坛徽章:0
提示: 作者被禁止或删除 内容自动屏蔽
论坛徽章:8
总算看到个实用的应用啊。Slaytanic 的BLOG
用户名：Slaytanic
文章数：128
评论数：752
访问量：1310072
注册日期：
阅读量：5863
阅读量：12276
阅读量：384846
阅读量：1076144
51CTO推荐博文
很多人玩开发板用树莓派，树莓派的确很好，但是对于hadoop来说，内存有点小，只有512MB。所以我找了一圈，最后用的是国内一个开源硬件团队的产品叫CubieTruck。内存有2G，板载存储有8G，千兆网口，可以挂载2.5寸机械或SSD硬盘。先简述一下大体步骤。1. 刷系统，做系统由于CubieTruck(以下简称CT)默认系统安装的是安卓4.2，所以需要变更一下。换成ubuntu 的 linaro server 13.08。2. 安装部署Hadoop这个没啥可简介的，由于hadoop是java语言编写的，CPU指令集的问题是由JVM解决的，所以，理论上，Hadoop可以工作在任何一个平台下，包括arm。所以直接用apache官方的tar或者deb即可，我用32位的deb安装，需要做一些调整，重新打包再安装，安装过程没有问题，计算也没发现错误。3. 挂载红外接口驱动，编写红外控制脚本。下面详述整个步骤一、刷系统名词解释：linaro：AMD,高通等arm研发厂商共同研制的ubuntu on arm操作系统，其实就是ubuntu。nand：板载的存储芯片，在linux里被识别的设备名称。用全志的PhoenixSuit工具，现在最新版本好像是1.0.8。下载CT官方的镜像，所谓linaro，是当初amd，高通等公司联合开发的ubuntu on arm。然后按照软件的每一步提示，可以很方便把板载系统替换为ubuntu server。连接显示器，键盘，网线等一切需要的外设，这里不需要鼠标，因为linux server是完全命令行操作的，任何在server上装xwindows和gnome的都是傻缺的行为。当然你也可以使用Desktop版把它作为mini pc使用，官方甚至还提供了fedora和arch linux供使用。这时候工作刚刚开始，由于linux的镜像没有完全把8G的空间全部利用上，所以我们还要对nand进行重新划分和格式化。刷机的linux img会将nand划分为3个分区，nanda-nandc，在默认情况下，只用到了nanda和nandb，nandc完全没利用，所以我们要把nandc格式化并挂载上。查看方式是ls /dev/nand*，默认直接进系统，如果提示用户名密码，用linaro/linaro即可。可sudo su -为root#cd /dev
#mkfs.ext4 /dev/nandc
#echo "mount /dev/nandc /opt" && /etc/rc.local
#mount /dev/nandc /opt
#df -h格式化并挂载之后，df -h查看，多了5.1G左右的空间。假设挂载了硬盘，CT可无障碍挂载SATA 2.5寸硬盘，在linux中硬盘识别为sda设备，CT硬盘供电口有两个，黄黑的是12V供电，红黑的是5V供电。接入2.5寸盘需要把两个接口都插上。12V供电口在靠近网卡一侧，5V为远离网卡一侧。看红色主板的接法，CT里面提供SATA硬盘线，无需单买。然后分区格式化挂载硬盘，注意：硬盘插线需要在断电情况下进行，不要带电插拔。#fdisk /dev/sda
#mkfs.ext4 /dev/sda1
#mkdir -p /data
#echo "mount /dev/sda1 /data" && /etc/rc.local
#mount /dev/sda1 /datafdisk具体操作看提示，m是帮助，正常情况下新硬盘用n创建新的primary分区。旧硬盘需要用d命令先删除旧分区。然后再n一个primary分区，剩下的一路回车。最后用w将分区信息保存，退出后执行格式化。这时应该是把硬盘挂载到/data路径下了，第一步刷机的工作完成。如果喜欢的话，可以执行以下apt-get update和upgrade。二、安装部署Hadoop可直接用官方的tar包安装，也可使用deb安装，我使用官方提供的deb安装，但是需要做一些改造的操作，默认官方提供i386和amd64的deb包。这个在arm上无法安装，会提示cpu arch问题，但是实际是可以使用的，这个可以自己做一个deb包出来，过程如下，官方下载。然后执行改造和重打包#dpkg -x hadoop_1.2.1-1_i386.deb hadoop_1.2.1-1_all
#dpkg -e hadoop_1.2.1-1_i386.deb hadoop_1.2.1-1_all
#cd hadoop_1.2.1-1_all/DEBIAN
#vi control #将里面的Architecture: i386改成Architecture: all，或者是#Architecture: armhf，其他不动，保存退出
#cd ../../
#dpkg -b hadoop_1.2.1-1_all
#dpkg -i hadoop_1.2.1-1_all.debhadoop包会创建两个用户hdfs和mapred。分别给hdfs和mapred用户建立ssh免密码通道，剩下的就是看配置分布式hadoop的官方手册了。这里不再赘述hadoop的部署过程。跟在x86的过程一模一样。最后配置完了就是能够用如下命令顺利启动即可。#sudo -u hdfs start-dfs.sh
#sudo -u mapred start-mapred.sh三、红外口编程。红外口编程需要加载红外口的内核模块，lsmod看一下，如果没有sun4i_ir，就执行一下modprobe sun4i_ir驱动。然后编辑一个ir.py的文件，做红外的接收和相应控制。在我的电视遥控器上，按2捕获到的是键盘的1，按3捕获的是键盘2，以此类推。之前可以先测试一下，启动该脚本后是否可以在tty1上捕获到红外输入。注意，必须是tty1，也就是显示器接到CT上的那个控制台。在这个脚本里，按2是启动hdfs，按3是停止，按4是启动mapred，按5是停止mapred，按6是启动balancer，按7是停止balancer，按8是启动一个mapred的冒烟测试。import select
import os, sys, time
import termios
def ir_catch():
fd = sys.stdin.fileno()
r = select.select([sys.stdin],[],[],0.01)
rcode = ''
if len(r[0]) &0:
= sys.stdin.read(1)
return rcode
fd = sys.stdin.fileno()
old_settings = termios.tcgetattr(fd)
new_settings = old_settings
new_settings[3] = new_settings[3] & ~termios.ICANON
new_settings[3] = new_settings[3] & ~termios.ECHONL
print 'old setting %s'%(repr(old_settings))
termios.tcsetattr(fd,termios.TCSAFLUSH,new_settings)
while True:
c = ir_catch()
if len(c) !=0 :
#print 'input: %s'%(ord(c))
if(ord(c) == 10):
print 'Power'
os.popen('reboot')
elif(ord(c) == 49):
f = os.popen('sudo -u hdfs /usr/sbin/start-dfs.sh').readlines()
for a in f:
elif(ord(c) == 50):
f = os.popen('sudo -u hdfs /usr/sbin/stop-dfs.sh').readlines()
for a in f:
elif(ord(c) == 51):
f = os.popen('sudo -u mapred /usr/sbin/start-mapred.sh').readlines()
for a in f:
elif(ord(c) == 52):
f = os.popen('sudo -u mapred /usr/sbin/stop-mapred.sh').readlines()
for a in f:
elif(ord(c) == 53):
f = os.popen('sudo -u hdfs /usr/sbin/start-balancer.sh').readlines()
for a in f:
elif(ord(c) == 54):
f = os.popen('sudo -u hdfs /usr/sbin/stop-balancer.sh').readlines()
for a in f:
elif(ord(c) == 55):
f = os.popen('sudo -u mapred hadoop jar /usr/share/hadoop/hadoop-examples-1.2.1.jar pi 10 100').readlines()
for a in f:
print 'Unknown'
#print 'Sleep 1'
time.sleep(1)四、赘述 & &开启红外和gpio的操作以后，可以做的事情很多，不仅仅是遥控hadoop集群，甚至家里的电器都可以遥控。这只是一个很简单的测试，开发板能干的事很多。本文出自 “” 博客，谢绝转载！
了这篇文章
类别：┆阅读(0)┆评论(0)