RIXCAT Datanode™

Izstrādājot informācijas sistēmas, ievērojams laiks tiek tērēts atsauces datu (klasifikatoru, vārdnīcu un terminoloģiju) pārvaldībā. Lielās informācijas sistēmās atsauces datu avotu skaits var sniegties simtos, tiem jānodrošina integritāte, versionēšana, datu izplatīšana un saņemšana.

RIXCAT DataNode™ ir programmatūras risinājums, kas ļauj ievērojami samazināt datu kopu (klasifikatoru) pārvaldībai nepieciešamo izstrādātāju darba ieguldījumu kā projektu izstrādes tā arī praktiskas ekspluatācijas laikā.

FUNKCIONALITĀTE

Datu kopu ielāde

RIXCAT DataNode™ nodrošina automātisku regulāru datu kopu ielādi no dažāda veida datu avotiem. Iebūvētais datu ielādes API ļauj veidot katrai informācijas sistēmai specifiskus adapterus. RIXCAT DataNode™ var apstrādāt ne tikai pilnās, bet arī inkrementālās datu kopas nodrošinot ātru un efektīvu apstrādi. Tiek atsekotas datu kopu versiju atkarības. Saņemot datus no cita RIXCAT DataNode™ servisa, dati tiek pārsūtīt optimizētā kumulatīvo datu formātā (satur visas versijas sākot ar pirmo). RIXCAT DataNode™ neuzliek nekādus ierobežojumus datu kopu skaitam, datu kopas izmēram un to sarežģītībai. Šobrīd ir izveidoti datu ielādes adapteri e-veselības klasifikatoru servisiem (FTP un DIT) un HL7 datu kopām (no HL7 standarta tehniskā formāta). RIXCAT DataNode™ nodrošina automātisku datu kopu metadatu definēšanu un uzturēšanu.

Datu kopu reprezentācija

Lai nodrošinātu efektīvu darbu ar importētajām datu kopām, tās tiek unificētas un prezentētas izstrādātājam tabulārā formā kā Oracle RDBMS skati (VIEW). Vadoties no metadatu definīcijām, datu kopu dati ielādes procesā tiek pārveidoti uz Oracle iebūvētajiem datu tipiem. Ātrdarbības uzlabošanai datu kopas tiek automātiski indeksētas pēc koncepta koda. Sarežģītām un/vai lielām datu kopām RIXCAT DataNode™ var konfigurēt Oracle materializēto skatījumu (Materialized VIEW) un papildu indeksu veidošanai. Ja to pieļauj datu bāzes licence, var tikt izmantota Oracle automātiskās indeksēšanas funkcionalitāte. Piekļuve datu kopām tiek pārvaldīta ar RIXACT CloudLIB™ API pārvaldnieku.

Datu kopu publicēšana

RIXCAT DataNode™ API ļauj periodiski vai arī pēc pieprasījuma publicēt informācijas sistēmā uzturēto datu kopu versijas. RIXCAT DataNode™ nodrošina datu kopu versionēšanu un metadatu uzturēšanu. Iespējams vaidot adapterus datu kopu publicēšanai dažāda tipa (piemēram FTP vai HTTP) datu izplatīšanas servisos. RIXCAT DataNode™ neierobežo publicējamo datu kopu skaitu, datu kopu versiju skaitu, datu kopu izmēru vai sarežģītību.

DataNode servisu sadarbība

RIXCAT DataNode™ ļauj paziņot datu kopas kā pieejamas (publicētas) citiem RIXCAT DataNode™ servisa eksemplāriem (instances) un automātiski saņemt publicētas datu kopas no citiem RIXCAT DataNode™ servisiem. Pieeja tiek kontrolēta ar servisa piekļuves atslēgām (access key). RIXCAT DataNode datu sinhronizācija nodrošina gan datu kopu, gan arī saistīto metadatu apmaiņu, ļaujot efektīvi izplatīt ne tikai datus bet arī datu struktūru izmaiņas. Viens RIXCAT DataNode™ serviss var apkalpot praktiski neierobežotu RIXCAT DataNode™ klientu skaitu. Mērogošanas iespēju nodrošina izplatāmo datu glabāšana Amazon S3 infrastruktūrā (visi dati tiek uzglabāti Eiropas Savienībā, tiek pārsūtīti un glabāti tikai drošā, šifrētā formātā).

Datu kopu uzglabāšana

Datu bāzes serverī datu kopu dati tiek glabāti optimizētā tabulu struktūrā. Ja to pieļauj Oracle licence RIXCAT DataNode™ datu glabā un pārsūta saspiestā (compressed) datu formātā. Datu apmaiņai starp RIXCAT DataNode™ servisiem dati tiek glabāti saspiestā un šifrētā formā Amazon S3 infrastruktūrā. RIXCAT DataNode var uzkrāt oriģinālos (pirms dekodēšanas un ielādes) avota (source) datus. Avota dati tiek glabāti Amazon S3 infrastruktūrā vai Oracle tabulu struktūrā, prezentējot tos lietotājam pierastā un saprotamā failu sistēmas struktūras formā.

Papildu funkcijas

• RIXCAT DataNode™ nodrošina virkni papildus iespēju sistēmu izstrādātājiem, padarot RIXCAT DataNode™ funkcijas pieejamas, kā pielietojumiem izmantojamus API:
• RIXCAT DataNode™ tiek automātiski uzturēts zināmo datu kopu OID (Object Identifier) reģistrs. Reģistrā tiek automātiski apkopota informācija par visām RIXCAT DataNode datu kopām, kā arī tike nodrošināts API jaunas informācijas pievienošanai.
• Failu sistēmas paradigma ir labi zināma un saprotama izstrādātājiem. RIXCAT DataNode™ nodrošina API darbam ar virtuālajām failu sistēmām(VFS) lietojot tradicionālos faila un mapes (folder) terminus. Failu sistēmā ievietoti dati var tikt glabāti kā Oracle datu tabulās, tā arī arējā Amazon S3 infrstruktūrā.
• S3 interfeiss nodrošina iespēju Oracle servera vidē tieši strādāt ar Amazon S3 failu infrastruktūru (nolasīt, dzēst un publicēt datus).
• FTP interfeiss nodrošina iespēju Oracle servera vidē tieši strādāt ar FTP (FTPS) tipa datu serveriem (nolasīt, dzēst un publicēt datus).

DATANODE™ UN RIXCAT CLOUDLIB

RIXCAT DataNode™ ir izveidots kā RIXCAT CloudLIB™ modulis. Piekļuve RIXCAT DataNode™ iespējām tiek kontrolēta ar CloudLIB™ API pārvaldnieku. Žurnālēšanu un darba uzraudzību nodrošina CloudLIB™ komponenšu bibliotēka.

Uzturēšana un attīstība – RIXCAT DataNode™ tiek nepārtraukti attīstīts un papildināts dažādu projektu un lietotāju vajadzībām. RIXCAT DataNode™ nodrošina augšupejošu savietojamību (upwards compatibility) ar iepriekšējām RIXCAT DataNode™ versijām. Versiju nomaiņa neprasa atkārtotu datu ielādi.

TEHNOLOĢIJU ATBALSTS – DATANODE™ ATBALSTA ŠĀDAS ORACLE TEHNOLOĢIJAS:

Oracle RDBMS – Versija ne zemāka kā 18c, visas redakcijas (editions) – XE, SE2, EE un Oracle mākoni;
Oracle APEX – Versija ne zemāka kā 20.2;
Oracle ORDS – Versija ne zemāka kā 20.2.
RIXCAT DataNode™ funkcionēšanai ir nepieciešams RIXCAT CloudLIB™ versija ne zemāka kā 4.0 P70

NEPIECIEŠAMĀ INFRASTRUKTŪRA:

Serveri Oracle komponenšu izvietošanai;
Docker izpildes vide mikroservisu komponenšu izvietošanai;
Iespēja pieslēgties SMTP serverim (e-pasts).
Piekļuve Amazon S3 datu uzglabāšanas servisam.