Sākums » Risinājumi » DATANODE™

DATANODE™

Izstrādājot informācijas sistēmas, ievērojams laiks tiek tērēts atsauces datu (klasifikatoru, vārdnīcu un terminoloģiju) pārvaldībā. Lielās informācijas sistēmās atsauces datu avotu skaits var sniegties simtos, tiem jānodrošina integritāte, versionēšana, datu izplatīšana un saņemšana.

DataNode™ ir programmatūras risinājums, kas ļauj ievērojami samazināt datu kopu (klasifikatoru) pārvaldībai nepieciešamo izstrādātāju darba ieguldījumu kā projektu izstrādes tā arī praktiskas ekspluatācijas laikā.

DATANODE™ FUNKCIONALITĀTE

Datu kopu ielāde

DataNode™ nodrošina automātisku regulāru datu kopu ielādi no dažāda veida datu avotiem. Iebūvētais datu ielādes API ļauj veidot katrai informācijas sistēmai specifiskus adapterus. DataNode™ var apstrādāt ne tikai pilnās, bet arī inkrementālās datu kopas nodrošinot ātru un efektīvu apstrādi. Tiek atsekotas datu kopu versiju atkarības. Saņemot datus no cita DataNode™ servisa, dati tiek pārsūtīt optimizētā kumulatīvo datu formātā (satur visas versijas sākot ar pirmo). DataNode™ neuzliek nekādus ierobežojumus datu kopu skaitam, datu kopas izmēram un to sarežģītībai. Šobrīd ir izveidoti datu ielādes adapteri e-veselības klasifikatoru servisiem (FTP un DIT) un HL7 datu kopām (no HL7 standarta tehniskā formāta). DataNode™ nodrošina automātisku datu kopu metadatu definēšanu un uzturēšanu.

Datu kopu reprezentācija

Lai nodrošinātu efektīvu darbu ar importētajām datu kopām, tās tiek unificētas un prezentētas izstrādātājam tabulārā formā kā Oracle RDBMS skati (VIEW). Vadoties no metadatu definīcijām, datu kopu dati ielādes procesā tiek pārveidoti uz Oracle iebūvētajiem datu tipiem. Ātrdarbības uzlabošanai datu kopas tiek automātiski indeksētas pēc koncepta koda. Sarežģītām un/vai lielām datu kopām DataNode™ var konfigurēt Oracle materializēto skatījumu (Materialized VIEW) un papildu indeksu veidošanai. Ja to pieļauj datu bāzes licence, var tikt izmantota Oracle automātiskās indeksēšanas funkcionalitāte. Piekļuve datu kopām tiek pārvaldīta ar RIXACT CloudLIB™ API pārvaldnieku.

Datu kopu publicēšana

DataNode™ API ļauj periodiski vai arī pēc pieprasījuma publicēt informācijas sistēmā uzturēto datu kopu versijas. DataNode™ nodrošina datu kopu versionēšanu un metadatu uzturēšanu. Iespējams vaidot adapterus datu kopu publicēšanai dažāda tipa (piemēram FTP vai HTTP) datu izplatīšanas servisos. DataNode™ neierobežo publicējamo datu kopu skaitu, datu kopu versiju skaitu, datu kopu izmēru vai sarežģītību.

DataNode servisu sadarbība

DataNode™ ļauj paziņot datu kopas kā pieejamas (publicētas) citiem DataNode™ servisa eksemplāriem (instances) un automātiski saņemt publicētas datu kopas no citiem DataNode™ servisiem. Pieeja tiek kontrolēta ar servisa piekļuves atslēgām (access key). DataNode datu sinhronizācija nodrošina gan datu kopu, gan arī saistīto metadatu apmaiņu, ļaujot efektīvi izplatīt ne tikai datus bet arī datu struktūru izmaiņas. Viens DataNode™ serviss var apkalpot praktiski neierobežotu DataNode™ klientu skaitu. Mērogošanas iespēju nodrošina izplatāmo datu glabāšana Amazon S3 infrastruktūrā (visi dati tiek uzglabāti Eiropas Savienībā, tiek pārsūtīti un glabāti tikai drošā, šifrētā formātā).

Datu kopu uzglabāšana

Datu bāzes serverī datu kopu dati tiek glabāti optimizētā tabulu struktūrā. Ja to pieļauj Oracle licence DataNode™ datu glabā un pārsūta saspiestā (compressed) datu formātā. Datu apmaiņai starp DataNode™ servisiem dati tiek glabāti saspiestā un šifrētā formā Amazon S3 infrastruktūrā. DataNode var uzkrāt oriģinālos (pirms dekodēšanas un ielādes) avota (source) datus. Avota dati tiek glabāti Amazon S3 infrastruktūrā vai Oracle tabulu struktūrā, prezentējot tos lietotājam pierastā un saprotamā failu sistēmas struktūras formā.

Papildu funkcijas

  • DataNode™ nodrošina virkni papildus iespēju sistēmu izstrādātājiem, padarot DataNode™ funkcijas pieejamas, kā pielietojumiem izmantojamus API:
  • DataNode™ tiek automātiski uzturēts zināmo datu kopu OID (Object Identifier) reģistrs. Reģistrā tiek automātiski apkopota informācija par visām DataNode datu kopām, kā arī tike nodrošināts API jaunas informācijas pievienošanai.
  • Failu sistēmas paradigma ir labi zināma un saprotama izstrādātājiem. DataNode™ nodrošina API darbam ar virtuālajām failu sistēmām(VFS) lietojot tradicionālos faila un mapes (folder) terminus. Failu sistēmā ievietoti dati var tikt glabāti kā Oracle datu tabulās, tā arī arējā Amazon S3 infrstruktūrā.
  • S3 interfeiss nodrošina iespēju Oracle servera vidē tieši strādāt ar Amazon S3 failu infrastruktūru (nolasīt, dzēst un publicēt datus).
  • FTP interfeiss nodrošina iespēju Oracle servera vidē tieši strādāt ar FTP (FTPS) tipa datu serveriem (nolasīt, dzēst un publicēt datus).

DATANODE™ UN RIXCAT CLOUDLIB

DataNode™ ir izveidots kā RIXCAT CloudLIB™ modulis. Piekļuve DataNode™ iespējām tiek kontrolēta ar CloudLIB™ API pārvaldnieku. Žurnālēšanu un darba uzraudzību nodrošina CloudLIB™ komponenšu bibliotēka.

Uzturēšana un attīstība – DataNode™ tiek nepārtraukti attīstīts un papildināts dažādu projektu un lietotāju vajadzībām. DataNode™ nodrošina augšupejošu savietojamību (upwards compatibility) ar iepriekšējām DataNode™ versijām. Versiju nomaiņa neprasa atkārtotu datu ielādi.

TEHNOLOĢIJU ATBALSTS – DATANODE™ ATBALSTA ŠĀDAS ORACLE TEHNOLOĢIJAS:

Oracle RDBMS – Versija ne zemāka kā 18c, visas redakcijas (editions) – XE, SE2, EE un Oracle mākoni;
Oracle APEX – Versija ne zemāka kā 20.2;
Oracle ORDS – Versija ne zemāka kā 20.2.
DataNode™ funkcionēšanai ir nepieciešams RIXCAT CloudLIB™ versija ne zemāka kā 4.0 P70

NEPIECIEŠAMĀ INFRASTRUKTŪRA:

Serveri Oracle komponenšu izvietošanai;
Docker izpildes vide mikroservisu komponenšu izvietošanai;
Iespēja pieslēgties SMTP serverim (e-pasts).
Piekļuve Amazon S3 datu uzglabāšanas servisam.