Ⅰ 在修改hadoop的配置文件時，用命令gedit /etc/hadoop/conf/core-si
需要先進入相關的路徑 直接輸入 cd $HADOOP_HOME 之後在用gedit修改 （前提是你$HADOOP_HOME已經在前面的步驟中配置過了）
Ⅱ 我建了一個hadoop集群運行正常，但是我用xshell遠程登錄集群中的主機，就是連接不上，求指教
這個原因會有很多的，那沒有詳細的說明我也不太明白了
Ⅲ 如何配置hadoop偽分布式配置
0.關閉防火牆
service iptables start;#立即開啟防火牆，但是重啟後失效。
service iptables stop;#立即關閉防火牆，但是重啟後失效。
重啟後生效
chkconfig iptables on;#開啟防火牆，重啟後生效
chkconfig iptables off;#關閉防火牆，重啟後生效
1.配置主機名
!!!!!注意安裝hadoop的集群主機名不能有下劃線!!不然會找不到主機!無法啟動!
配置主機名
$vi /etc/sysconfig/network
$source /etc/sysconfig/network
例如：
NETWORKING=yes
HOSTNAME=hadoop01
2.配置Hosts
vi /etc/hosts
填入以下內容
127.0.0.1 hadoop01
其他主機和ip對應信息。。。
3.配置面密碼互通
生成自己的公鑰和私鑰,生成的公私鑰將自動存放在/root/.ssh目錄下。
$ ssh-keygen
把生成的公鑰到遠程機器上
$ ssh--id [user]@[host]
此時在遠程主機的/root/.ssh/authorized_keys文件中保存了公鑰,在known_hosts中保存了已知主機信息，當再次訪問的時候就不需要輸入密碼了。
$ ssh [host]
通過此命令遠程連接，檢驗是否可以不需密碼連接
4.安裝JDK
通過fz將jdk安裝包上傳
解壓安裝包
tar -zxvf [jdk安裝包位置]
配置環境變數
修改profile -- 這個文件是每個用戶登錄時都會運行的環境變數設置，當用戶第一次登錄時,該文件被執行. 並從/etc/profile.d目錄的配置文件中搜集shell的設置。
vim /etc/profile
在文件行尾加入配置後保存退出
export JAVA_HOME=/home/app/jdk1.7.0_45/
export PATH=$PATH:$JAVA_HOME/bin
重新載入profile使配置生效
source /etc/profile
環境變數配置完成，測試環境變數是否生效
echo $JAVA_HOME
java -version
5.安裝hadoop
通過fz將hadoop安裝包上傳到linux
解壓安裝包
tar -zxvf [hadoop安裝包位置]
6.配置hadoop
(1)修改 hadoop-env.sh
通過vim打開
vim [hadoop]/etc/hadoop/hadoop-env.sh
主要是修改java_home的路徑
在hadoop-env.sh的第27行,把export JAVA_HOME=${JAVA_HOME}修改成具體的路徑
重新載入使修改生效
source hadoop-env.sh
(2)修改 core-site.xml
通過vim打開
vim [hadoop]/etc/hadoop/core-site.xml
增加namenode配置、文件存儲位置配置
<configuration>
<property>
<!--用來指定hdfs的老大，namenode的地址-->
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<!--用來指定hadoop運行時產生文件的存放目錄-->
<name>hadoop.tmp.dir</name>
<value>/home/park/work/hadoop-2.5.2/tmp</value>
</property>
</configuration>
(3)修改 hdfs-site.xml
通過vim打開
vim [hadoop]/etc/hadoop/hdfs-site.xml
配置包括自身在內的備份副本數量。
<configuration>
<property>
<!--指定hdfs保存數據副本的數量，包括自己，默認為3-->
<!--偽分布式模式，此值必須為1-->
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
(4)修改 mapred-site.xml
說明：在/etc/hadoop的目錄下，只有一個mapred-site.xml.template文件，復制一個
cp mapred-site.xml.template mapred-site.xml
通過vim打開
vim [hadoop]/etc/hadoop/mapred-site.xml
配置maprece運行在yarn上
<configuration>
<property>
<!--指定maprece運行在yarn上-->
<name>maprece.framework.name</name>
<value>yarn</value>
</property>
</configuration>
(5)修改 yarn-site.xml
通過vim打開
vim [hadoop]/etc/hadoop/yarn-site.xml
配置
<configuration>
<property>
<!--指定yarn的老大resourcemanager的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<!--NodeManager獲取數據的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>maprece_shuffle</value>
</property>
</configuration>
(6)修改 slaves
(7)配置hadoop的環境變數
vim /etc/profile
export HADOOP_HOME=/home/park/work/hadoop-2.5.2/
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
重新載入profile使配置生效
source /etc/profile
環境變數配置完成，測試環境變數是否生效
echo $HADOOP_HOME
(8)重啟linux
$reboot
????為什麼需要重啟配置文件才起作用?原因不明????
(8)格式化namenode
進入 hadoop/bin 輸入命令格式化namenode
hadoop namenode -format(hdfs namenode -format 以前的方式)
在格式化的時候，會有這樣的輸出：
Storage directory /tmp/hadoop-root/dfs/name has been successfully formatted
7.啟動hadoop
在/home/app/hadoop-2.6.0/sbin目錄下
$start-all.sh
8.關閉hadoop
在/home/app/hadoop-2.6.0/sbin目錄下
$stop-all.sh
9.hdfs命令
hadoop fs -mkdir /user/trunk
hadoop fs -ls /user
hadoop fs -lsr /user (遞歸的)
hadoop fs -put test.txt /user/trunk
hadoop fs -put test.txt . (復制到hdfs當前目錄下，首先要創建當前目錄)
hadoop fs -get /user/trunk/test.txt . (復制到本地當前目錄下)
hadoop fs -cat /user/trunk/test.txt
hadoop fs -tail /user/trunk/test.txt (查看最後1000位元組)
hadoop fs -rm /user/trunk/test.txt
hadoop fs -rmdir /user/trunk
hadoop fs -help ls (查看ls命令的幫助文檔)
10.通過瀏覽器訪問hadoop管理頁面
http://[server_ip]:50070
**如果訪問不了有可能是伺服器50070埠被關閉了。通過如下方式打開50070埠:
service iptables status #查詢防火牆狀態
service iptables start #開啟防火牆
iptables -I INPUT -p tcp --dport 80 -j ACCEPT #開通特定埠
iptables -I INPUT -p tcp --dport 80 -j DROP #關閉特定埠
service iptables save #保存配置
service iptables restart #重啟防火牆
Ⅳ 怎麼更改hive連接hadoop的地址
1、下載hive(http://archive.cloudera.com/cdh/testing/hive-0.3.99.1+0.tar.gz),解包把它放到目錄 /usr/local/hadoop/contrib並改名為hive,改屬主(chown -R hadoop:hadoop).
2、下載ant （http://labs.xiaonei.com/apache-mirror/ant/binaries/apache-ant-1.7.1-bin.tar.gz），解包並把它放置到目錄/usr/local/hadoop.
3、修改文件 /etc/profile，添加如下的行：
export HADOOP_HOME=/usr/local/hadoopexport ANT_HOME=$HADOOP_HOME/apache-ant-1.7.1export PATH=$PATH:/usr/local/hadoop/bin:$JAVA_HOME/bin:$HADOOP_HOME/contrib/hive/bin:$ANT_HOME/bin
export ANT_LIB=$HADOOP_HOME/apache-ant-1.7.1/lib
export HADOOP=$HADOOP_HOME/bin/hadoop4、修改hive配置文件 /usr/local/hadoop/contrib/hive/conf/hive-default.xml,只要改一個地方，使其內容為：/usr/local/hadoop/contrib/hive/lib/hive_hwi.war。昨天我把它書寫成 「hive-hwi.war」,瀏覽器訪問，就只列出文件目錄，死活都不對，唉！
5、啟動hive web服務： $ hive –service hwi & .監聽埠默認是9999，也可以自己到hive-default.xml定製。瀏覽器的訪問url為 http:/hadoop:9999/hwi.
註：hive表的存放地為hdfs,默認是 /user/hive .這個路徑只有通過hadoop shell才能看見（不是/usr）
Ⅳ 大數據：Hadoop入門
什麼是大數據：
（1.）大數據是指在一定時間內無法用常規軟體對其內容進行抓取，管理和處理的數據集合，簡而言之就是數據量非常大，大到無法用常規工具進行處理，如關系型資料庫，數據倉庫等。這里「大」是一個什麼量級呢？如在阿里巴巴每天處理數據達到20PB（即20971520GB）.
2.大數據的特點：
（1.）體量巨大。按目前的發展趨勢來看，大數據的體量已經到達PB級甚至EB級。
（2.）大數據的數據類型多樣，以非結構化數據為主，如網路雜志，音頻，視屏，圖片，地理位置信息，交易數據，社交數據等。
（3.）價值密度低。有價值的數據僅佔到總數據的一小部分。比如一段視屏中，僅有幾秒的信息是有價值的。
（4.）產生和要求處理速度快。這是大數據區與傳統數據挖掘最顯著的特徵。
3.除此之外還有其他處理系統可以處理大數據。
Hadoop （開源）
Spark（開源）
Storm（開源）
MongoDB（開源）
IBM PureDate（商用）
Oracle Exadata（商用）
SAP Hana（商用）
Teradata AsterData（商用）
EMC GreenPlum（商用）
HP Vertica（商用）
註：這里我們只介紹Hadoop。
二：Hadoop體系結構
Hadoop來源：
Hadoop源於Google在2003到2004年公布的關於GFS（Google File System），MapRece和BigTable的三篇論文，創始人Doug Cutting。Hadoop現在是Apache基金會頂級項目，「
Hadoop」一個虛構的名字。由Doug Cutting的孩子為其黃色玩具大象所命名。
Hadoop的核心：
（1.）HDFS和MapRece是Hadoop的兩大核心。通過HDFS來實現對分布式儲存的底層支持，達到高速並行讀寫與大容量的儲存擴展。
（2.）通過MapRece實現對分布式任務進行處理程序支持，保證高速分區處理數據。
3.Hadoop子項目：
（1.）HDFS：分布式文件系統，整個Hadoop體系的基石。
（2.）MapRece/YARN：並行編程模型。YARN是第二代的MapRece框架，從Hadoop 0.23.01版本後，MapRece被重構，通常也稱為MapRece V2，老MapRece也稱為 MapRece V1。
（3.）Hive：建立在Hadoop上的數據倉庫，提供類似SQL語音的查詢方式，查詢Hadoop中的數據，
（5.）HBase:全稱Hadoop Database，Hadoop的分布式的，面向列的資料庫，來源於Google的關於BigTable的論文，主要用於隨機訪問，實時讀寫的大數據。
（6.）ZooKeeper：是一個為分布式應用所設計的協調服務，主要為用戶提供同步，配置管理，分組和命名等服務，減輕分布式應用程序所承擔的協調任務。
還有其它特別多其它項目這里不做一一解釋了。
三：安裝Hadoop運行環境
用戶創建：
（1.）創建Hadoop用戶組，輸入命令：
groupadd hadoop
（2.）創建hser用戶，輸入命令：
useradd –p hadoop hser
（3.）設置hser的密碼，輸入命令：
passwd hser
按提示輸入兩次密碼
（4.）為hser用戶添加許可權，輸入命令：
#修改許可權
chmod 777 /etc/sudoers
#編輯sudoers
Gedit /etc/sudoers
#還原默認許可權
chmod 440 /etc/sudoers
先修改sudoers 文件許可權，並在文本編輯窗口中查找到行「root ALL=（ALL）」，緊跟後面更新加行「hser ALL=（ALL） ALL」，將hser添加到sudoers。添加完成後切記還原默認許可權，否則系統將不允許使用sudo命令。
（5.）設置好後重啟虛擬機，輸入命令：
Sudo reboot
重啟後切換到hser用戶登錄
安裝JDK
（1.）下載jdk-7u67-linux-x64.rpm,並進入下載目錄。
（2.）運行安裝命令:
Sudo rpm –ivh jdk-7u67-linux-x64.rpm
完成後查看安裝路徑，輸入命令：
Rpm –qa jdk –l
記住該路徑，
（3.）配置環境變數，輸入命令：
Sudo gedit /etc/profile
打開profile文件在文件最下面加入如下內容
export JAVA_HOME=/usr/java/jdk.7.0.67
export CLASSPATH=$ JAVA_HOME/lib:$ CLASSPATH
export PATH=$ JAVA_HOME/bin:$PATH
保存後關閉文件，然後輸入命令使環境變數生效：
Source /etc/profile
（4.）驗證JDK，輸入命令：
Java –version
若出現正確的版本則安裝成功。
配置本機SSH免密碼登錄：
（1.）使用ssh-keygen 生成私鑰與公鑰文件，輸入命令：
ssh-keygen –t rsa
（2.）私鑰留在本機，公鑰發給其它主機（現在是localhost）。輸入命令：
ssh--id localhost
（3.）使用公鑰來登錄輸入命令：
ssh localhost
配置其它主機SSH免密登錄
（1.）克隆兩次。在VMware左側欄中選中虛擬機右擊，在彈出的快捷鍵菜單中選中管理---克隆命令。在克隆類型時選中「創建完整克隆」，單擊「下一步」，按鈕直到完成。
（2.）分別啟動並進入三台虛擬機，使用ifconfig查詢個主機IP地址。
（3.）修改每台主機的hostname及hosts文件。
步驟1：修改hostname，分別在各主機中輸入命令。
Sudo gedit /etc/sysconfig/network
步驟2：修改hosts文件：
sudo gedit /etc/hosts
步驟3：修改三台虛擬機的IP
第一台對應node1虛擬機的IP：192.168.1.130
第二台對應node2虛擬機的IP：192.168.1.131
第三台對應node3虛擬機的IP：192.168.1.132
（4.）由於已經在node1上生成過密鑰對，所有現在只要在node1上輸入命令：
ssh--id node2
ssh--id node3
這樣就可以將node1的公鑰發布到node2，node3。
（5.）測試SSH,在node1上輸入命令：
ssh node2
#退出登錄
exit
ssh node3
exit
四：Hadoop完全分布式安裝
1. Hadoop有三種運行方式：
（1.）單機模式：無須配置，Hadoop被視為一個非分布式模式運行的獨立Java進程
（2.）偽分布式：只有一個節點的集群，這個節點即是Master（主節點，主伺服器）也是Slave（從節點，從伺服器），可在此單節點上以不同的java進程模擬分布式中的各類節點
（3.）完全分布式：對於Hadoop,不同的系統會有不同的節點劃分方式。
2.安裝Hadoop
（1.）獲取Hadoop壓縮包hadoop-2.6.0.tar.gz,下載後可以使用VMWare Tools通過共享文件夾，或者使用Xftp工具傳到node1。進入node1 將壓縮包解壓到/home/hser目錄下，輸入命令：
#進入HOME目錄即：「/home/hser」
cd ~
tar –zxvf hadoop-2.6.0.tar.gz
（2.）重命名hadoop輸入命令：
mv hadoop-2.6.0 hadoop
（3.）配置Hadoop環境變數，輸入命令：
Sudo gedit /etc/profile
將以下腳本加到profile內：
#hadoop
export HADOOP_HOME=/home/hser/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
保存關閉，最後輸入命令使配置生效
source /etc/profile
註：node2，和node3都要按照以上配置進行配置。
3.配置Hadoop
（1.）hadoop-env.sh文件用於指定JDK路徑。輸入命令：
[hser@node1 ~]$ cd ~/hadoop/etc/hadoop
[hser@node1 hadoop]$ gedit hadoop-env.sh
然後增加如下內容指定jDK路徑。
export JAVA_HOME=/usr/java/jdk1.7.0_67
（2.）打開指定JDK路徑,輸入命令：
export JAVA_HOME=/usr/java/jdk1.7.0_67
（4.）core-site.xml:該文件是Hadoop全局配置，打開並在元素中增加配置屬性如下：
fs.defaultFs
hdfs://node1:9000
hadoop.tmp.dir
file:/home/hser/hadoop/tmp
這里給出了兩個常用的配置屬性，fs.defaultFS表示客戶端連接HDFS時，默認路徑前綴，9000是HDFS工作的埠。Hadoop.tmp.dir如不指定會保存到系統的默認臨時文件目錄/tmp中。
（5.）hdfs-site.xml:該文件是hdfs的配置。打開並在元素中增加配置屬性。
（6.）mapred-site.xml:該文件是MapRece的配置，可從模板文件mapred-site.xml.template中復制打開並在元素中增加配置。
（7.）yarn-site.xml:如果在mapred-site.xml配置了使用YARN框架，那麼YARN框架就使用此文件中的配置，打開並在元素中增加配置屬性。
（8.）復制這七個命令到node2,node3。輸入命令如下：
scp –r /home/hser/hadoop/etc/hadoop/ hser@node2:/home/hser/hadoop/etc/
scp –r /home/hser/hadoop/etc/hadoop/ hser@node3:/home/hser/hadoop/etc/
4.驗證：
下面驗證hadoop是否正確
（1.）在Master主機（node1）上格式化NameNode。輸入命令：
[hser@node1 ~]$ cd ~/hadoop
[hser@node1 hadoop]$ bin/hdfs namenode –format
（2）關閉node1,node2 ,node3,系統防火牆並重啟虛擬機。輸入命令：
service iptables stop
sudo chkconfig iptables off
reboot
（3.）輸入以下啟動HDFS：
[hser@node1 ~]$ cd ~/hadoop
（4.）啟動所有
[hser@node1 hadoop]$ sbin/start-all.sh
（5.）查看集群狀態：
[hser@node1 hadoop]$ bin/hdfs dfsadmin –report
（6.）在瀏覽器中查看hdfs運行狀態，網址：http://node1:50070
（7.）停止Hadoop。輸入命令：
[hser@node1 hadoop]$ sbin/stop-all.sh
五：Hadoop相關的shell操作
（1.）在操作系統中/home/hser/file目錄下創建file1.txt,file2.txt可使用圖形界面創建。
file1.txt輸入內容：
Hello World hi HADOOP
file2.txt輸入內容
Hello World hi CHIAN
（2.）啟動hdfs後創建目錄/input2
[hser@node1 hadoop]$ bin/hadoop fs –mkdir /input2
（3.）將file1.txt.file2.txt保存到hdfs中:
[hser@node1 hadoop]$ bin/hadoop fs –put -/file/file*.txt /input2/
（4.）[hser@node1 hadoop]$ bin/hadoop fs –ls /input2
Ⅵ hadoop 1.2配置啟動成功後,從瀏覽器都能訪問兩個JSP界面,但是無法使用shell命令
配置文件core-site.xml中的fs.default.name參數值寫錯了吧，應該是hdfs不是hfds。
Ⅶ 如何配置Hadoop環境
安裝前設置
在安裝Hadoop之前，需要進入Linux環境下，連接Linux使用SSH(安全Shell)。按照下面提供的步驟設立Linux環境。
創建一個用
在開始時，建議創建一個單獨的用戶Hadoop以從Unix文件系統隔離Hadoop文件系統。按照下面給出的步驟來創建用戶：
使用 「su」 命令開啟root .
創建用戶從root帳戶使用命令 「useradd username」.
現在，可以使用命令打開一個現有的用戶帳戶「su username」.
打開Linux終端，輸入以下命令來創建一個用戶。
$ su
password:
# useradd hadoop
# passwd hadoop
New passwd:
Retype new passwd
SSH設置和密鑰生成
SSH設置需要在集群上做不同的操作，如啟動，停止，分布式守護shell操作。認證不同的Hadoop用戶，需要一種用於Hadoop用戶提供的公鑰/私鑰對，並用不同的用戶共享。
下面的命令用於生成使用SSH鍵值對。復制公鑰形成 id_rsa.pub 到authorized_keys 文件中，並提供擁有者具有authorized_keys文件的讀寫許可權。
$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
安裝Java
Java是Hadoop的主要先決條件。首先，應該使用命令「java-version」驗證 java 存在在系統中。 Java version 命令的語法如下。
$ java -version
如果一切順利，它會給下面的輸出。
java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)
如果Java還未安裝在系統中，那麼按照下面的給出的步驟來安裝Java。
第1步
下載Java(JDK<最新版> - X64.tar.gz)
然後JDK-7u71-linux-x64.tar.gz將被下載到系統。
第2步
一般來說，在下載文件夾中的Java文件。使用下面的命令提取 jdk-7u71-linux-x64.gz文件。
$ cd Downloads/
$ ls
jdk-7u71-linux-x64.gz
$ tar zxf jdk-7u71-linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-linux-x64.gz
第3步
為了使Java提供給所有用戶，將它移動到目錄 「/usr/local/」。打開根目錄，鍵入以下命令。
$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit
第4步
用於設置PATH和JAVA_HOME變數，添加以下命令到~/.bashrc文件。
export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=PATH:$JAVA_HOME/bin
現在從終端驗證 java -version 命令如上述說明。
下載Hadoop
下載來自Apache基金會軟體，使用下面的命令提取 Hadoop2.4.1。
$ su
password:
# cd /usr/local
# wget http //apache claz org/hadoop/common/hadoop-2.4.1/
hadoop-2.4.1.tar.gz
# tar xzf hadoop-2.4.1.tar.gz
# mv hadoop-2.4.1/* to hadoop/
# exit
Hadoop操作模式
下載 Hadoop 以後，可以操作Hadoop集群以以下三個支持模式之一：
本地/獨立模式：下載Hadoop在系統中，默認情況下之後，它會被配置在一個獨立的模式，用於運行Java程序。
模擬分布式模式：這是在單台機器的分布式模擬。Hadoop守護每個進程，如 hdfs, yarn, MapRece 等，都將作為一個獨立的java程序運行。這種模式對開發非常有用。
完全分布式模式：這種模式是完全分布式的最小兩台或多台計算機的集群。我們使用這種模式在未來的章節中。
在單機模式下安裝Hadoop
在這里，將討論 Hadoop2.4.1在獨立模式下安裝。
有單個JVM運行任何守護進程一切都運行。獨立模式適合於開發期間運行MapRece程序，因為它很容易進行測試和調試。
設置Hadoop
可以通過附加下面的命令到 ~/.bashrc 文件中設置 Hadoop 環境變數。
export HADOOP_HOME=/usr/local/hadoop
在進一步討論之前，需要確保Hadoop工作正常。發出以下命令：
$ hadoop version
如果設置的一切正常，那麼應該看到以下結果：
Hadoop 2.4.1
Subversion https://svn.apache.org/repos/asf/hadoop/common -r 1529768
Compiled by hortonmu on 2013-10-07T06:28Z
Compiled with protoc 2.5.0
From source with checksum
這意味著Hadoop在獨立模式下工作正常。默認情況下，Hadoop被配置為在非分布式模式的單個機器上運行。
Ⅷ 如何通過界面修改hadoop配置
mr程序只有運行，並沒有安裝這個說法。通常運行mr程序有兩種，一是在Eclipse下runonhadoop，二是在Eclipse編寫程序並且導出jar包，然後再命令行界面用hadoop命令運行jar包。