HIVE Metastore konfigurācija ar MYSQL

Anonim

Kāpēc izmantot MySQL stropā kā Metastore:

  • Pēc noklusējuma stropam ir derbija datu bāze kā metastore.
  • Derby datu bāze vienlaikus var atbalstīt tikai vienu aktīvu lietotāju
  • Derbijs nav ieteicams ražošanas vidē

Tātad risinājums šeit ir

  • Izmantojiet MYSQL kā meta krātuvi aizmugurē, lai vienlaikus pievienotu vairākus lietotājus ar stropu
  • MYSQL ir labākā izvēle atsevišķam metastorei

Darbības MySQL datu bāzes instalēšanai un konfigurēšanai Hive Hadoop

1. solis) Šajā solī mēs veiksim divus uzdevumus

  1. Mysql-servera instalēšana
  2. Pārbauda mysql-serveri un tā procesu
  1. Izmantojot komandu sudo apt-get install mysql-server, mēs varam lejupielādēt mysql serveri

Instalējiet MySQL, kā parādīts ekrānuzņēmumā

  1. Pēc veiksmīgas instalēšanas beigās MySQL darbosies, kā parādīts zemāk redzamajā ekrānuzņēmumā

2. solis) MySQL Java savienotāja instalēšana. Tas ir paredzēts Java atkarībām un savienojuma mērķim

3. solis. Izveidojiet mīksto saiti savienotājam Hive lib direktorijā . Tas ir paredzēts saiknei starp Java un MySql.

4. solis) MySQL krātuves konfigurēšana stropā

  • Ierakstiet MySql -u root -p, kam seko parole
  • Šeit -u apzīmē saknes lietotājvārdu, p apzīmē paroli
  • Pēc iepriekš minētās komandas ievadīšanas lietotājam jāievada derīga parole un pēc tam noklikšķiniet uz Enter
  • Tad tas tiks ievadīts MySql čaulas režīmā

5. solis) MySql lietotājvārda un paroles izveide, piešķirot privilēģijas.

Mums ir jāizpilda komandas, kā parādīts zemāk,

mysql> CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'hivepassword';mysql> GRANT all on *.* to 'hiveuser'@localhost identified by 'hivepassword';mysql> flush privileges;

6. solis) Konfigurēt stropu-site.xml

  • Pēc 5. darbības MySQL datu bāzei piešķiriet lietotājvārdu un paroli un piešķiriet tām privilēģijas.
  • Šeit mēs konfigurēsim dažus Hive rekvizītus, lai iegūtu savienojumu ar MySQL datu bāzi .

No iepriekš minētā ekrānuzņēmuma mēs novērojam sekojošo. Šeit mēs definējam 4 rekvizītus, kas varētu būt nepieciešami, lai izveidotu MYSQL kā meta veikalu stropā

Tie ir šādi:

  1. Šis rekvizīts ir paredzēts savienojuma URL. Šeit mēs šajā īpašumā definējam ConnectionURL. Tas darbojas kā JDBC savienojums un pārstāv arī metastore vietu
  2. Šis īpašums ir paredzēts savienojuma draivera nosaukumam. Šeit mysql.jdbc.Driver ir ievērojamā vērtība, kas mums jāpiemin vērtības tagā
  3. Šis rekvizīts tiek izmantots, lai noteiktu savienojuma lietotāja vārdu. Tajā mēs definējām "hiveguru" kā lietotāja vārdu
  4. Šis rekvizīts tika izmantots, lai pieminētu savienojuma paroli. Tajā mēs definējām paroli kā lietotāja paroli.

Kad rekvizīti ievietoti stropā -site.xml, mums ir manuāli jāsaglabā (Ctrl + S) un jāaizver fails. Pēc šī faila aizvēršanas mums ir jāizveido Hive tabula un jāpārbauda tabulas informācija MySQL krātuvē.

Ievietojiet šo kodu hive-site.xml

stropu vietne.xml


javax.jdo.option.ConnectionURLjdbc:mysql://localhost/metastore?createDatabaseIfNotExist=truemetadata is stored in a MySQL server
javax.jdo.option.ConnectionDriverNamecom.mysql.jdbc.DriverMySQL JDBC driver class
javax.jdo.option.ConnectionUserNamehiveuseruser name for connecting to mysql server
javax.jdo.option.ConnectionPasswordhivepasswordpassword for connecting to mysql server

7. solis. Izveidojiet stropā tabulu "guru99".

No iepriekš minētā ekrānuzņēmuma mēs varam novērot sekojošo

  • Tabulas nosaukuma "guru99" izveidošana ar diviem kolonnu nosaukumiem
  • Kolonnu nosaukumi, kuru datu tips minēts kā viens, ir vesels skaitlis, bet cits - virknes

Nākamajā solī mēs pārbaudīsim, vai tas ir saglabāts MySql vai nav

8. solis) Ieeja MySql čaulas režīmā

No iepriekš minētā ekrānuzņēmuma mēs varam novērot sekojošo

  • Vispirms mums datu bāze jāizmanto kā “use metastore”
  • Kad tā izvēlas meta veikalu, mēs varam pārbaudīt šajā tabulas, izmantojot komandu "rādīt" tabulas, kā parādīts ekrānuzņēmumā
  • Neatkarīgi no Hive izveidotajām tabulām, metadati, kas atbilst tabulām, tiek glabāti MySQL datu bāzē ar TBLS.
  • "Guur99 tabula" ir izveidota Hive, tāpēc attiecīgie metadati tiek glabāti MySQL zem TBLS.

9. solis. Pārbaudiet, vai izveidotā tabula parāda MySQL vai nē

Ievadot select * no TBLS, tiks parādītas tabulas, kuras mēs izveidojām Hive čaulas režīmā

No iepriekš minētā ekrānuzņēmuma mēs varam novērot šādas lietas:

  • Tabulas nosaukumu "guru99", kas izveidots kā stropu, var parādīt MySQL čaulas režīmā
  • Papildus tam tā sniegs arī tādu informāciju kā tabulas izveides laiks, piekļuves laiks un citas īpašības, kā parādīts iepriekš redzamajā ekrānuzņēmumā.