HBase instalēšana Ubuntu

Satura rādītājs:

Anonim

Šajā apmācībā jūs uzzināsiet,

  • Apache HBase instalēšanas režīmi
  • Kā lejupielādēt Hbase tar faila stabilu versiju
  • Hbase - atsevišķa režīma instalēšana
  • Hbase - pseido izplatīts instalēšanas režīms
  • Hbase - pilnībā izplatīta režīma instalēšana
  • HBase instalēšanas problēmu novēršana

Apache HBase instalēšanas režīmi

Apache HBase var instalēt trīs režīmos. Šo režīmu funkcijas ir minētas turpmāk.

1) atsevišķa režīma instalēšana (nav atkarīga no Hadoop sistēmas)

  • Tas ir HBase noklusējuma režīms
  • Tas darbojas pret vietējo failu sistēmu
  • Tas neizmanto Hadoop HDFS
  • Var palaist tikai HMaster dēmonu
  • Nav ieteicams ražošanas videi
  • Darbojas vienā JVM

2) Pseido-izplatītā režīma instalēšana (viena mezgla Hadoop sistēma + HBase instalācija)

  • Tas darbojas ar Hadoop HDFS
  • Visi dēmoni darbojas vienā mezglā
  • Ieteikt ražošanas videi

3) Pilnībā izplatītā režīma instalēšana (MultinodeHadoop vide + HBase instalācija)

  • Tas darbojas ar Hadoop HDFS
  • Visi dēmoni gatavojas skriet pāri visiem mezgliem, kas atrodas klasterī
  • Ļoti ieteicams ražošanas videi

Lai instalētu Hadoop, skatiet šo URL šeit

Kā lejupielādēt Hbase tar faila stabilu versiju

1. solis. Dodieties uz saiti šeit, lai lejupielādētu HBase. Tas atvērs tīmekļa lapu, kā parādīts zemāk.

2. solis) Atlasiet stabilu versiju, kā parādīts zemāk 1.1.2 versijā

3. solis) Noklikšķiniet uz hbase-1.1.2-bin.tar.gz. Tas lejupielādēs darvas failu. Kopējiet darvas failu instalācijas vietā.

Hbase - atsevišķa režīma instalēšana:

Instalēšana tiek veikta Ubuntu ar jau instalētu Hadoop.

1. solis. Vietnē hbase-1.1.2-bin.tar.gz ievietojiet mapi / home / hduser

2. solis. Atbrīvojiet to, izpildot komandu $ tar -xvf hbase-1.1.2-bin.tar.gz . Tas nošifrēs saturu un izveidos vietni / home / hduser hbase-1.1.2

3. solis) Atveriet hbase-env.sh kā norādīts zemāk un pieminējiet JAVA_HOME ceļu.

4. solis) Atveriet failu ~ / .bashrc un pieminējiet HBASE_HOME ceļu, kā parādīts zemāk

eksportēt HBASE_HOME = / home / hduser / hbase-1.1.1 eksportēt PATH = $ PATH: $ HBASE_HOME / bin

5. solis. Atveriet hbase-site.xml un failā ievietojiet šādas īpašības

hduser @ ubuntu $ gedit hbase-site.xml (kods, kā norādīts zemāk)

hbase.rootdirfile:///home/hduser/HBASE/hbase
hbase.zookeeper.property.dataDir/home/hduser/HBASE/zookeeper

Šeit mēs ievietojam divas īpašības

  • Viens HBase saknes direktorijai un
  • Datu direktorija otrais atbilst ZooKeeper.

Visas HMaster un ZooKeeper darbības norāda uz šo vietni hbase-site.xml.

6. solis. Atveriet resursdatora failu, kas atrodas mapē / etc. atrašanās vietu un pieminējiet IP, kā parādīts zemāk.

7. solis) Tagad palaidiet Start-hbase.sh hbase-1.1.1 / bin vietā, kā parādīts zemāk.

Un ar jps komandu mēs varam pārbaudīt, vai HMaster darbojas vai nedarbojas.

8. solis) HBase apvalks var sākties, izmantojot "hbase apvalks", un tas nonāks interaktīvā apvalka režīmā, kā parādīts zemāk esošajā ekrānuzņēmumā. Kad tas pāriet čaulas režīmā, mēs varam izpildīt visu veidu komandas.

Atsevišķā režīmā Hadoop dēmonu palaišana nav nepieciešama. HBase var darboties neatkarīgi.

Hbase - Pseido izplatītais instalēšanas režīms:

Šī ir vēl viena Apache Hbase instalēšanas metode, kas pazīstama kā Pseudo Distributed Installation mode. Tālāk ir norādītas darbības, lai instalētu HBase, izmantojot šo metodi.

1. solis. Vietnē hbase-1.1.2-bin.tar.gz ievietojiet mapi / home / hduser

2. solis. Atbrīvojiet to, izpildot komandu $ tar -xvf hbase-1.1.2-bin.tar.gz . Tas nošifrēs saturu un izveidos vietni / home / hduser hbase-1.1.2

3. solis. Atveriet hbase-env.sh, kā norādīts zemāk, un pieminējiet JAVA_HOME ceļu un reģiona serveru ceļu atrašanās vietā un eksportējiet komandu, kā parādīts

4. solis . Šajā solī mēs atvērsim failu ~ / .bashrc un pieminēsim ceļu HBASE_HOME, kā parādīts ekrānuzņēmumā.

5. solis. Atveriet vietni HBase-site.xml un failā pieminējiet tālāk norādītās īpašības. (Kodējiet, kā norādīts zemāk) 

hbase.rootdirhdfs://localhost:9000/hbase
hbase.cluster.distributedtrue
hbase.zookeeper.quorumlocalhost
dfs.replication1
hbase.zookeeper.property.clientPort2181
hbase.zookeeper.property.dataDir/home/hduser/hbase/zookeeper
  1. Šajā īpašumā tiek iestatīts Hbase saknes direktorijs
  2. Izplatītai uzstādīšanai mums ir jāiestata šis īpašums
  3. Šeit būtu jāizveido ZooKeeper kvoruma īpašums
  4. Šajā īpašumā ir iestatīta replikācija. Pēc noklusējuma mēs atkārtojumu ievietojam kā 1.

    Pilnībā sadalītā režīmā ir vairāki datu mezgli, lai mēs varētu palielināt replikāciju, ievietojot rekvizītā dfs.replication vairāk nekā 1 vērtību.

  5. Šajā īpašumā ir jānorāda klienta osta
  6. Šajā īpašumā var pieminēt ZooKeeper datu direktoriju

6. solis. Vispirms sāciet Hadoop dēmonus un pēc tam sāciet HBase dēmonus, kā parādīts zemāk

Šeit vispirms ir jāsāk Hadoop dēmoni, izmantojot komandu "./start-all.sh", kā parādīts zemāk.

Pēc Hbase dēmonu palaišanas ar hbase-start.sh

Tagad pārbaudiet jps

Hbase - Pilnīgi izplatītā režīma instalēšana: -

  • Šī iestatīšana darbosies Hadoop klastera režīmā, kad vairāki mezgli nārstojas pāri klasterim un darbojas.
  • Instalācija ir tāda pati kā pseido izplatītajā režīmā; vienīgā atšķirība ir tā, ka tas nārstos vairākos mezglos.
  • HBase-site.xml un hbase-env.sh minētie konfigurācijas faili ir tādi paši kā pseido režīmā.

HBase instalēšanas problēmu novēršana

1) Problēmas izklāsts: Galvenais serveris inicializē, bet reģiona serveri neinicializē

Saziņa starp galveno un reģionālo serveri, izmantojot to IP adreses. Tāpat kā veids, kā Master klausās, ka darbojas reģiona serveri vai IP adrese ir 127.0.0.1. IP adrese 127.0.0.1, kas ir vietējais resursdators, un galvenā servera vietējais resursdators tiek atrisināts.

Iemesls:

Divkāršā saziņā starp reģiona serveriem un galveno serveri reģiona serveris pastāvīgi informē galveno serveri par to, ka viņu IP adreses ir 127.0.0.1.

Risinājums:

  • No vietējā resursdatora, kas atrodas resursdatora failā, ir jānoņem galvenā servera nosaukuma mezgls
  • Resursdatora faila atrašanās vieta / etc / hosts

Ko mainīt:

Atveriet /etc./hosts un dodieties uz šo vietu

127.0.0.1 fully.qualified.regionservernameregionservername localhost.localdomain localhost: : 1 localhost3.localdomain3 localdomain3

Mainiet iepriekš minēto konfigurāciju, piemēram, zemāk (noņemiet reģiona servera nosaukumu, kā norādīts iepriekš)

127.0.0.1 localhost.localdomainlocalhost: : 1 localhost3.localdomain3 localdomain3

2) Problēmas izklāsts: Zookeeper kvoruma serveru sarakstā nevarēja atrast manu adresi: XYZ

Iemesls:

  • ZooKeeper serveris nevarēja startēt, un servera nosaukumā tas radīs tādu kļūdu kā .xyz.
  • HBase mēģina palaist ZooKeeper serveri uz kādas mašīnas, bet tajā pašā laikā mašīna nespēj atrast sev kvoruma konfigurāciju, ti, kas atrodas HBase.zookeeper.quorum konfigurācijas failā.

Risinājums: -

  • Ir jānomaina resursdatora nosaukums ar resursdatora nosaukumu, kas norādīts kļūdas ziņojumā
  • Pieņemsim, ka mums ir DNS serveris, tad HBase-site.xml varam iestatīt tālāk norādītās konfigurācijas.
    • HBase.zookeeper.dns.interfeiss
    • HBase.zookeeper.dns.nameserver

3) Problēmas izklāsts: Izveidots HBase saknes direktorijs, izmantojot Hadoop DFS

  • Meistars saka, ka jums jāpalaiž HBase migrācijas skripts.
  • Pēc palaišanas HBase migrācijas skripts reaģē tāpat kā neviens fails saknes direktorijā .

Iemesls:

  • Jauna direktorija izveide HBase, izmantojot Hadoop Distributed failu sistēmu
  • Šeit HBase sagaida divas iespējas

1) Saknes direktorija nepastāv

2) HBase iepriekšējā palaistā instance ir inicializēta iepriekš

Risinājums:

  • Veiciet atbilstību, HBase saknes direktorijs pašlaik nepastāv vai ir inicializēts iepriekšējā HBase instances palaišanā.
  • Kā daļa no risinājuma mums ir jāseko darbībām

1. solis. Izmantojot Hadoop dfs, izdzēsiet HBase saknes direktoriju

2. solis) HBase pats izveido un inicializē direktoriju

4) Problēmas izklāsts: Zookeeper sesijas beidzās notikumi

Iemesls:

  • HMaster vai HRegion serveri tiek izslēgti, izmetot izņēmumus
  • Ja mēs novērojam žurnālus, mēs varam uzzināt faktiskos izņēmumus

Turpmāk parādīts izņēmums, kas radies Zookeeper notikuma dēļ, kura termiņš ir beidzies. Izceltie notikumi ir daži no izņēmumiem, kas radušies žurnāla failā

Žurnāla failu kods, kā parādīts zemāk:

WARN org.apache.zookeeper.ClientCnxn: Exceptionclosing session 0x278bd16a96000f to sun.nio.ch.SelectionKeyImpl@355811ecjava.io.IOException: TIMED OUT at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:906)WARN org.apache.hadoop.hbase.util.Sleeper: We slept 79410ms, ten times longer than scheduled: 5000INFO org.apache.zookeeper.ClientCnxn: Attempting connection to server hostname/IP:PORTINFO org.apache.zookeeper.ClientCnxn: Priming connection to java.nio.channels.SocketChannel[connected local=/IP:PORT remote=hostname/IP:PORT]INFO org.apache.zookeeper.ClientCnxn: Server connection successfulWARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x278bd16a96000d to sun.nio.ch.SelectionKeyImpl@3544d65ejava.io.IOException: Session Expired at org.apache.zookeeper.ClientCnxn$SendThread.readConnectResult(ClientCnxn.java:589)at org.apache.zookeeper.ClientCnxn$SendThread.doIO(ClientCnxn.java:709)at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:945)ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired

Risinājums:

  • Noklusējuma RAM lielums ir 1 GB. Lai veiktu ilgstošu importu, mēs esam saglabājuši RAM ietilpību, kas pārsniedz 1 GB.
  • Jāpalielina Zookeeper sesijas noildze.
  • Lai palielinātu sesijas laiku no Zookeeper, mums "hbase-site.xml" ir jāpārveido šāds rekvizīts, kas atrodas mapes hbase / conf mapē.
  • Noklusējuma sesijas noildze ir 60 sekundes. Mēs varam mainīt to uz 120 sekundēm, kā minēts zemāk
 zookeeper.session.timeout 1200000
 hbase.zookeeper.property.tickTime 6000