Pirms mēs sākam iepazīties ar lielajiem datiem, jums vispirms tas jāzina
Kas ir dati?
Daudzumi, rakstzīmes vai simboli, ar kuriem operācijas veic dators, kurus var uzglabāt un pārraidīt elektrisko signālu veidā un ierakstīt magnētiskos, optiskos vai mehāniskos ierakstīšanas līdzekļos.
Tagad apgūsim Big Data ieviešanu
Kas ir Big Data?
Lielie dati ir datu kopums, kas ir milzīgs apjomā, tomēr laika gaitā pieaug eksponenciāli. Tie ir dati ar tik lielu izmēru un sarežģītību, ka neviens no tradicionālajiem datu pārvaldības rīkiem tos nevar uzglabāt vai efektīvi apstrādāt. Lielie dati ir arī dati, bet ar milzīgu lielumu.
Šajā apmācībā jūs uzzināsiet,
- Kas ir dati?
- Kas ir Big Data?
- Lielo datu piemēri
- Lielo datu veidi
- Lielo datu raksturojums
- Lielo datu apstrādes priekšrocības
Lielo datu piemēri
Tālāk ir sniegti daži no lielo datu piemēriem.
New York Stock Exchange rada apmēram vienu terabaitu jaunu tirdzniecības datus dienā.
Sociālie mēdiji
Statistika rāda, ka katru dienu sociālo mediju vietnes Facebook datubāzēs tiek uzņemti 500 + terabaiti jaunu datu . Šie dati galvenokārt tiek iegūti saistībā ar fotoattēlu un video augšupielādi, ziņojumu apmaiņu, komentāru ievietošanu utt.
Viens reaktīvais dzinējs 30 minūšu lidojuma laikā var ģenerēt 10 + terabaitus datu . Veicot tūkstošiem lidojumu dienā, datu ģenerēšana sasniedz daudzus Petabaitus.
Lielo datu veidi
Tālāk ir norādīti lielo datu veidi:
- Strukturēts
- Nestrukturēts
- Daļēji strukturēts
Strukturēts
Visi dati, kurus var saglabāt, piekļūt un apstrādāt fiksēta formāta formā, tiek saukti par “strukturētiem” datiem. Laika gaitā datorzinātņu talants ir guvis lielākus panākumus, izstrādājot paņēmienus darbam ar šāda veida datiem (kur formāts ir iepriekš labi zināms), kā arī iegūstot no tiem vērtību. Tomēr mūsdienās mēs paredzam problēmas, kad šādu datu apjoms ievērojami palielinās, tipiski lielumi ir vairāku zetabaitu dusmās.
Vai Tu zini? 10 21 baits, kas vienāds ar 1 zettabaitu vai vienu miljardu terabaitu, veido zettabaitu .
Aplūkojot šos skaitļus, var viegli saprast, kāpēc tiek dots nosaukums Big Data, un iedomāties izaicinājumus, kas saistīti ar tā glabāšanu un apstrādi.
Vai Tu zini? Relāciju datu bāzes pārvaldības sistēmā glabātie dati ir viens no “strukturēto” datu piemēriem .
Strukturēto datu piemēri
Darbinieku tabula datu bāzē ir strukturētu datu piemērs
| Darbinieka ID | Darbinieka vārds | Dzimums | nodaļa | Alga_In_lacs |
|---|---|---|---|---|
| 2365 | Rajesh Kulkarni | Vīrietis | Finanses | 650000 |
| 3398 | Pratibha Joshi | Sieviete | Administrators | 650000 |
| 7465 | Šušils Rojs | Vīrietis | Administrators | 500000 |
| 7500 | Šubhojits Das | Vīrietis | Finanses | 500000 |
| 7699 | Priya Sane | Sieviete | Finanses | 550000 |
Nestrukturēts
Visi dati ar nezināmu formu vai struktūru tiek klasificēti kā nestrukturēti dati. Papildus tam, ka lielums ir milzīgs, nestrukturēti dati rada vairākas problēmas attiecībā uz to apstrādi, lai no tiem iegūtu vērtību. Tipisks nestrukturētu datu piemērs ir neviendabīgs datu avots, kas satur vienkāršu teksta failu, attēlu, video utt. Kombināciju. Tagad dienas organizācijām ir pieejams daudz datu, taču diemžēl viņi nezina, kā no tiem iegūt vērtību, jo šie dati ir neapstrādātā vai nestrukturētā formātā.
Nestrukturētu datu piemēri
Rezultāts, ko atdeva Google meklēšana
Daļēji strukturēts
Daļēji strukturētie dati var saturēt abus datu veidus. Daļēji strukturētos datus mēs varam redzēt kā strukturētus pēc formas, bet tie faktiski nav definēti, piemēram, ar tabulas definīciju relāciju DBVS. Daļēji strukturētu datu piemērs ir dati, kas attēloti XML failā.
Daļēji strukturētu datu piemēri
XML failā saglabātie personas dati -
Prashant Rao Male 35 Seema R. Female 41 Satish Mane Male 29 Subrato Roy Male 26 Jeremiah J. Male 35
Datu pieaugums gadu gaitā
Lūdzu, ņemiet vērā, ka nestrukturētie tīmekļa lietojumprogrammu dati sastāv no žurnāla failiem, darījumu vēstures failiem utt. OLTP sistēmas ir veidotas darbam ar strukturētiem datiem, kur dati tiek glabāti attiecībās (tabulās).
Lielo datu raksturojums
Lielos datus var raksturot ar šādām īpašībām:
- Skaļums
- Šķirne
- Ātrums
- Mainīgums
(i) Apjoms - pats nosaukums Big Data ir saistīts ar milzīgu lielumu. Datu lielumam ir ļoti būtiska loma, nosakot datu vērtību. Arī tas, vai konkrētus datus faktiski var uzskatīt par lielajiem datiem, ir atkarīgs no datu apjoma. Tādējādi “apjoms” ir viena iezīme, kas jāņem vērā, strādājot ar lielajiem datiem.
(ii) Dažādība - nākamais lielo datu aspekts ir tā daudzveidība .
Šķirne attiecas uz neviendabīgiem avotiem un strukturētu un nestrukturētu datu būtību. Iepriekšējās dienās izklājlapas un datu bāzes bija vienīgie datu avoti, kurus aplūkoja lielākā daļa lietojumprogrammu. Mūsdienās analīzes lietojumprogrammās tiek ņemti vērā arī dati e-pastu, fotoattēlu, videoklipu, uzraudzības ierīču, PDF failu, audio uc veidā. Šī nestrukturēto datu dažādība rada noteiktas problēmas datu glabāšanā, iegūšanā un analizēšanā.
(iii) Ātrums - termins “ātrums” attiecas uz datu ģenerēšanas ātrumu. Cik ātri dati tiek ģenerēti un apstrādāti, lai apmierinātu prasības, nosaka reālo datu potenciālu.
Lielo datu ātrums attiecas uz ātrumu, kādā dati ieplūst no tādiem avotiem kā biznesa procesi, lietojumprogrammu žurnāli, tīkli un sociālo mediju vietnes, sensori, mobilās ierīces utt. Datu plūsma ir liela un nepārtraukta.
(iv) Mainīgums - tas attiecas uz neatbilstību, ko reizēm var parādīt dati, tādējādi kavējot iespēju efektīvi rīkoties un pārvaldīt datus.
Lielo datu apstrādes priekšrocības
Spēja apstrādāt lielos datus sniedz vairākas priekšrocības, piemēram,
- Uzņēmumi, pieņemot lēmumus, var izmantot ārēju intelektu
Piekļuve sociālajiem datiem no meklētājprogrammām un vietnēm, piemēram, facebook, twitter, ļauj organizācijām precizēt viņu biznesa stratēģijas.
- Uzlabota klientu apkalpošana
Tradicionālās klientu atsauksmes sistēmas tiek aizstātas ar jaunām sistēmām, kas izstrādātas ar Big Data tehnoloģijām. Šajās jaunajās sistēmās lielo datu un dabiskās valodas apstrādes tehnoloģijas tiek izmantotas, lai lasītu un novērtētu patērētāju atbildes.
- Savlaicīga produkta / pakalpojumu riska identificēšana, ja tāds ir
- Labāka darbības efektivitāte
Big Data tehnoloģijas var izmantot, lai izveidotu pieturvietu vai nosēšanās zonu jauniem datiem, pirms tiek identificēti dati, kas jāpārvieto uz datu noliktavu. Turklāt šāda Big Data tehnoloģiju un datu noliktavas integrācija palīdz organizācijai izkraut reti piekļūtos datus.
Kopsavilkums
- Lielo datu definīcija: lielie dati tiek definēti kā dati, kuru lielums ir milzīgs. Bigdata ir termins, ko lieto, lai aprakstītu datu kolekciju, kas ir milzīga un tomēr ar laiku pieaug eksponenciāli.
- Lielo datu analīzes piemēri ietver biržas, sociālo mediju vietnes, reaktīvos dzinējus utt.
- Lielie dati varētu būt 1) strukturēti, 2) nestrukturēti, 3) daļēji strukturēti
- Apjoms, daudzveidība, ātrums un mainīgums ir daži lielo datu raksturlielumi
- Uzlabota klientu apkalpošana, labāka darbības efektivitāte, labāka lēmumu pieņemšana ir dažas no Bigdata priekšrocībām