Uždaryti
„Oxylabs“ nuotr.
Anot „Oxylabs“ eksperto, duomenų inžinerijos atsiradimą paskatino tobulėjančios technologijos ir augantis duomenų kiekis. Atsiradus duomenų mokslininko (angl. data scientist) rolei, duomenų sritis ėmė sparčiai augti, todėl specialistai įgavo naujas atsakomybes, kurios pritaikomos skirtingose nišose.
„Kai atsirado debesijos technologijos, kurios suteikė galimybę saugoti ir apdoroti didesnį duomenų kiekį, tobulėjant technologijoms, kūrėsi ir naujos pozicijos. Tuo metu ypač padidėjo duomenų mokslininkų poreikis, tačiau per pastaruosius metus susiformavo platesnis spektras su šiuo procesu, susijusių specialybių, viena jų – duomenų inžinerija“, – sako R. Ulys.
Ekspertas sako, kad duomenų inžinierių darbas – užtikrinti, kad duomenys ne tik ateitų, bet ir efektyviai transformuotųsi į reikalingas sistemas bei formatus ir duomenų inžinieriaus rolę prilygina kavos pupelių apdirbimo procesui.
„Kavos pupelių niekas nevalgo. Jas reikia paruošti vartojimui – iš pradžių skrudinti, sumalti, po to užplikyti karštu vandeniu ir tik tada gauname gėrimą. Duomenų inžinieriaus darbas yra labai panašus – patys duomenys dažniausiai yra formoje, kuri netinkama naudoti ir turi daugybę nereikalingų elementų“, – aiškina R. Ulys.
Kavos pupelės yra kruopščiai rūšiuojamos, atrenkamos ir ragaujamos ir tik tada pateikiamos vartotojui. Pašnekovas sako, kad lygiai tokiu pačiu principu dirba ir duomenų inžinierius – jis pirmiausiai turi sandėlį, kuriame kaupiami duomenys, tada atrenka reikalingiausią informaciją kaip skaniausias pupeles, surūšiuoja ir taip paruošia atidavimui kitiems kanalams.
Nepastebimas, bet labai svarbus darbas
„Oxylabs“ analitikų komandos vadovas sako, kad visame duomenų rinkimo, apdorojimo ir naudojimo procese, duomenų inžinieriaus darbas yra tarsi nepastebimas, tačiau ši rolė sprendžia itin opias problemas, su kuriomis susiduria verslai.
„Pavyzdžiui, įmonė sukuria naują produktą ir nori stebėti bei analizuoti jo sėkmę (matomumą, lankomumą, operatyvumą ir pan.). Tuomet duomenų analitikai nagrinėja informaciją apie produktą, kad galėtų pateikti išvadas. Už informacijos, kurią gauna duomenų analitikai, slepiasi duomenų inžinierius, kuris tą informaciją surinko ir pateikė tik reikšmingus ir esminius dalykus be nereikalingų elementų“, – pasakoja pašnekovas.
Pasak R. Ulio, duomenų inžinerija naudojama daugelyje sričių. Kiekviena įmonė, kuri turi tam tikrą kiekį duomenų, gali ją panaudoti tikslingai ir išgauti informaciją, kuri suteiks daug naudos jų veikloje.
„Šiandien daugiausiai duomenų inžinierių darbo poreikis jaučiamas iš programinės įrangos, e-komercijos, įmonių, logistikos srities, organizacijų, kuriančių dirbtinio intelekto įrankius ar net kosmoso pramonės. Tad sričių, kuriose reikalinga duomenų inžinerija, yra labai daug ir jos itin plačios“, – pažymi „Oxylabs“ analitikų komandos vadovas.
Iš duomenų inžinierių ilgainiui išaugs mašininio mokymo operacijų, analitikos inžinieriai, kurie telksis į duomenų išvalymą ir tvarkymą, informacijos operacijas ir pan.
Kuo susijusi duomenų inžinerija ir maisto pristatymo platformos?
Duomenų inžinieriaus darbas gali pasirodyti nuobodus ir monotoniškas, tačiau R. Ulys sako, kad dirbant šioje pozicijoje gausu bendradarbiavimo su kitomis komandomis, kurios perduoda skirtingų formatų duomenis, todėl specialistas turi ieškoti geriausio informacijos surinkimo ir perdavimo sprendimo. Anot pašnekovo, kiekviena diena kupina iššūkių – gali tekti padėti optimizuoti programinį kodą, ieškoti greitesnių ir efektyvesnių sprendimų duomenims gauti.
„Šios srities specialistas atsakingas už keturias sritis – duomenų gavimo (angl. data ingestion), duomenų apdorojimo (angl. data orchestration), duomenų saugojimo (angl. storage) ir už duomenų paruošimą jų naudojimui (angl. integrations)“, – aiškina „Oxylabs“ analitikų komandos vadovas.
Be duomenų inžinerijos negalėtų būti atlikti ir veiksmai, kurie sutinkami ne tik verslų darbo optimizavimo procesuose, bet ir kasdienėse žmonių gyvenimo situacijose. Anot R. Ulio, duomenų inžinieriai vaidina svarbų vaidmenį ir maisto pristatymo platformų veikimo procese, tokių kaip „Wolt“ ar „Bolt Food“.
„Šiam procesui duomenų mokslininkai kuria matching algoritmą, kurio tikslas kuo efektyviau priskirti kurjerius jiems skirtiems adresams ar maršrutą, pristatant kelis patiekalus. Tam, kad toks modelis veiktų, duomenų inžinieriai turi užtikrinti, kad informacija iš visų telefonų į vieną vietą nukeliautų ne tik laiku, tačiau tai padarytų greitai ir kokybiškai“, – pasakoja pašnekovas.
Ateityje profesijos paklausa nemažės
Pasak R. Ulio, duomenų inžinierių paklausa šiuo metu itin didelė, kadangi vis daugiau įmonių pereina prie duomenimis paremto sprendimo priėmimo modelio, kai vadovaujamasi ne nuojauta, o remiamasi skaičiais ir pagrįstomis bei pamatuotomis tendencijomis.
„Kai įmonės augimas pradeda lėtėti, neretai įmonės nusprendžia pradėti investuoti į duomenų analitiką, kad užtikrintų tolimesnį augimą. Šiuolaikinės technologijos leidžia gauti kokybiškas įžvalgas, todėl auga su duomenimis susijusių pozicijų poreikis, nes vis daugiau verslų suvokia naudą“ – aiškina „Oxylabs“ analitikų komandos vadovas.
Anot pašnekovo, technologijų tobulėjimas skatina evoliuciją duomenų industrijoje – apibrėžiamos aiškesnės rolės, kurios leidžia tam tikros srities specialistams susitelkti į mažesnius procesus ir juos tobulinti, todėl tai sritis, kuri visada bus paklausi ir populiari.
„Bėgant laikui, sritys dar labiau specializuosis – iš duomenų inžinierių išaugs mašininio mokymo operacijų, analitikos inžinieriai, kurie telksis į duomenų išvalymą ir tvarkymą, informacijos operacijas ir pan.“, – tvirtina R. Ulys.
