[설치] 암바리 설치 (Ambari install on CentOS7)

CentOS 부팅디스크 이슈

1. warning: Intel Kabylake processor with unknown PCH - this hardware has not undergone upstream testing. 문제
   • install 선택 매뉴에서 'e'눌러서 'quiet'를 지우고 'ctrl + x'를 누른다.
2. Failed to start switch root 문제
   • 부팅디스크 만들 때 win32diskinstaller로 만들어야 해결된다.

CentOS 설치 시 고정아이피 등록방법

1. ubuntu /etc/network/interfaces 파일
   • 
2. 설치시 네트워크 설정방법
   • 

선행작업 (모든 노드에서 실행)

1. java 8 설치

$ yum list java*jdk-devel
$ yum install java-1.8.0-openjdk-devel.x86_64

2. open file 개수

$ ulimit -n 10000

3. hostname 설정

$ hostnamectl set-hostname master01
$ hostnamectl status

4. cluster hostname 등록

$ vi /etc/hosts

이 파일에 모든 노드를 적어준다.

5. ssh 생성

$ ssh-keygen
$ cat ~/.ssh/id_rsa.pub | ssh master01 'cat >> ~/.ssh/authorized_keys' //모든 노드에 대해서 실행해야함

6. ntp enable

$ yum install –y ntp
$ systemctl is-enabled ntpd //시스템 boot시 enable 되는지 확인
$ systemctl enable ntpd //boot시 enable로 만듦
$ systemctl start ntpd

7. network configuration

$ vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master01

8. 방화벽해제

$ systemctl disable firewalld
$ service firewalld stop

9. selinux disable

$ setenforce 0 
$ vi /etc/selinux/config //영구적으로 하는방법
selinux=disabled

10. umask
    umask 022는 새로운 파일과 폴더에 읽고쓰고실행하는데에 755권한이 부여된다.

$ echo umask 0022 >> /etc/profile

Ambari-server 설치 (master노드 1대에서만 실행)

1. Download repository

$ yum install wget
$ wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.1.0/ambari.repo -O /etc/yum.repos.d/ambari.repo
$ yum repolist //리스트 확인

2. install

$ yum install ambari-server

3. setup

$ ambari-server setup

괄호쳐져 있는 y/n을 선택했다. java의 경우 미리 설치했었지만 혹시나해서 java8로 선택하여 설치했다.

4. start

$ ambari-server start

Web 접속

1. 8080 포트로 접속 (admin / admin)
2. select version
   • 아래 사진처럼 해당되는 os 빼고 다 remove 해줘야한다! centos인데 아래 사진 처럼 ubuntu로 했더니 뒤에서 warning 발생...!
   • 
   • 
3. install options
   • 설정했던 노드의 hostname을 모두 적어준다.
   • ssh key는 cat ~/.ssh/id_rsa 로 복사/붙여넣기하면 된다.
   • 
4. server setting
   • 설치를 원하는 server를 선택하여 설치한다.
   • [주의] ambari-metrics는 slave가 아닌 master에 설치되도록 한다!
   • zookeeper server 는 3대이상!
   • 
   • 
5. path 확인
   • namenode와 datanode와 nodemanager의 path가 /data 폴더로 지정되있는지 확인한다.
   • 
   • 나머지 비밀번호 설정 뿐!
   • 7번참조
     ambari-server setup --jdbc-db=mysql --jdbc-driver=/root/mysql-connector-java-5.1.46/mysql-connector-java-5.1.46/mysql-connector-java-5.1.46.jar
   • 
6. 설치시 오류해결법

• CentOS 7의 경우 기본으로 mariaDB가 설치되어 있기 때문에 mysql install에서 에러가 났다. 이 경우 직접 mysql을 설치해주자
  • root 실행 ($su)
  • RPM 파일 다운로드
    ($yum install http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm)
  • mysql 패키지 설치
    ($yum install mysql-community-server)
  • service 시작
    ($service mysql start)
• 설치 중 특정 서비스가 설치되지 않는다면, 기존 설치유무 확인 후 삭제 후 재설치를 해본다.
  • ex) zookeeper
  • 설치 확인 ($yum list installed zookeeper*)
  • 기존 서비스 삭제($yum remove zookeeper_2_6_4_0_91-server.noarch)
  • 재설치

7. hive start fail
   • mysql-connector-java.jar due to HTTP error: HTTP Error 404: Not Found

     $sudo yum install mysql-connector-java*
     $cd /var/lib/ambari-server/resources/
     $ln -s /usr/share/java/mysql-connector-java.jar mysql-connector-java.jar```

   • 이경우 mysql-connector-java.jar의 링커가 잘못 매칭되있어서 발생
   • /var/lib/ambari-server/resources 에 mysql-connector-java-5.1.46.jar로 되있는데 뒤에 버전을 빼고 mysql-connector-java.jar 하니까 됨...!

마무리

1. HDFS config
   • core-site에서 전부 * 이 되도록 수정
2. Hive config
   • dynamic partition 옵션을 strict에서 nonstrict로 수정
3. 권한 부여

   $ vi /etc/group //원하는 서비스에 happyteam 추가

4. 계정 생성 (hdfs 계정으로 수행해야함)
   • web에서 happyteam 계정 생성하여 다시 로그인
   • 폴더 생성 및 권한

     $ hadoop fs -mkdir /user/happyteam
     $ hadoop fs -chmod 777 /user/happyteam

Ambari 2.7 변화...

• hive view 가 없다...
  • superset 서비스를 add 해야함!
  • add 후 config 에서 database : hive, type : mysql, user : hive

참고 : https://docs.hortonworks.com/HDPDocuments/Ambari-2.5.1.0/bk_ambari-installation/bk_ambari-installation.pdf