Aspecte privind organizarea si structurarea datelor

Aspecte privind organizarea si structurarea datelor

Dezvoltarea rapida si complexa a societatii a dus in mod inevitabil la o sporire insemnata a volumului de date, care tind sa aglomereze si sa blocheze canalele informationale, in aceeasi masura in care creste continuu nevoia de informatie.  Orice organism economic se confrunta cu un volum mare de date, supus unor prelucrari relativ simple, dar cu un caracter repetitiv si cu o frecventa mare. In acelasi timp datele se caracterizeaza printr-o structura uniforma rezultata din structura documentelor primare specifice operatiilor economice. Toate acestea reprezinta, de fapt, restrictii in activitatea de structurare si organizare a datelor economice in sistemele informatice.

Organizarea datelor reprezinta procesul de identificare, definire, structurare si memorare a datelor . O buna organizare a datelor impune folosirea unor structuri care sa permita o prelucrare  cu un cost cat mai redus. Pentru specificul activitatilor economice, fiecare nivel de abstractizare implica date elementare si date structurate.

1. Date elementare si date structurate

Data este un model de reprezentare a informatiei, accesibil unui anumit procesor (om, calculator, program), model cu care se va putea opera pentru a obtine noi informatii.

O data care apare ca o entitate indivizibila, atat in raport cu informatia pe care o reprezinta, cat si in raport cu procesorul care o prelucreaza se numeste data elementara. Data elementara  poate fi privita ca model de reprezentare a informatiei la nivelul unui procesor uman (nivel logic) sau la nivelul reprezentarii interne, respectiv pe suport (nivel fizic).

Din punct de vedere logic, data poate fi reprezentata printr-un triplet de forma:

Identificatorul datei (numele) este un simbol asociat datei pentru a o putea distinge de alte date si pentru a se putea face referiri la ea in timpul procesului de prelucrare (de exemplu, codprod, denprod, um)

Atributele precizeaza proprietatile datei si determina modul in care poate fi ea tratata in procesul de prelucrare. Iata cateva exemple de atribute:

tipul datei care defineste apartenenta acesteia la o anumita clasa de date, in functie de natura si de domeniul valorilor luate. Se disting astfel date de tip numeric (intreg, real, complex), logic, sir de caractere.

precizia reprezentarii interne care defineste cat mai fidel reproduce modelul intern de reprezentare obiectul pe care il reprezinta. Precizia depinde de zona de memorie afectata datei. Ea poate fi simpla precizie sau dubla precizie.

valoarea initiala

modul de alocare a memoriei pe parcursul prelucrarii (static, dinamic).

Valorile datei pot fi precizate prin enumerare sau printr-o proprietate comuna si pot fi numere, valori logice, siruri de caractere. In functie  de valoare, datele se clasifica in :

date variabile (variabile) - date care pe tot parcursul procesului de prelucrare pot lua orice valori din domeniul de definitie a datei;

date constante (constante) - date care pe parcursul procesului de prelucrare isi pastreaza aceeasi valoare din domeniul de definitie al datei.

Din punct de vedere fizic, o data elementara apare ca o zona de memorie sau de suport de o anumita marime, situata la o anumita adresa, in care se socheaza intr-o forma specifica valorile datei.

Principalele tipuri de date elementare sunt:

Tipul numeric care include numerele intregi, reale si complexe si asupra carora se pot realiza operatii de adunare, scadere, etc.;

Tipul logic (boolean) utilizat pentru precizarea starilor de adevar (TRUE, YES) sau neadevar (FALSE, NO) ale unui enunt. Asupra acestor date se pot efectua operatii logice: NOT, AND, OR;

Tipul caracter care reprezinta o succesiune de caractere alfanumerice asupra careia se pot defini operatii de concatenare, ordonare etc.;

Tipul pointer, adica date elementare ale caror valori sunt adrese, referinte pentru alte date.

In majoritatea aplicatiilor, datele se prezinta sub forma unor multimi sau colectii, a caror prelucrare nu poate fi conceputa fara o organizare corespunzatoare. Intre elementele unei colectii de date pot fi identificate si/sau introduse relatii care sa determine pe multimea respectiva o anumita structura. Natura relatiei poate diferi la diferite nivele de abstractizare in mod considerabil, putand fi o relatie de ordine in multimea elementelor colectiei, o relatie ce descrie mecanismul de acces la memorie. In acest mod se obtine tipul de data structurata sau structura de date. Structurile de date sunt colectii de date pe care s-a definit o structura si careia ii este specific un anumit mecanism de selectie si identificare a componentelor. O structura este o entitate de sine-statatoare, indentificabila prin nume, ale carei componente isi mentin proprietatile. Componentele unei structuri de date pot fi individualizate si selectate prin nume (identificatori) sau prin pozitia ce o ocupa in structura, conform cu relatia de ordine specificata.

La orice nivel de abstractizare rezolvarea unei probleme, utilizand calculatorul electronic, implica atat date elementare, cat si date structurate. Componentele unei structuri de date pot fi date elementare sau la randul lor structuri de date. Daca toate componentele sunt de acelasi tip atunci structura de date este omogena. Definirea structurilor de date se bazeaza, in majoritatea aplicatiilor, pe structurile liniare, arborescente si de tip retea. Acestea sunt considerate structuri de baza, deoarece, prin combinarea lor convenabila, se pot construi structuri oricat de complexe.

Cele mai utilizate date structurate sunt:

articolul;

fisierul;

tabloul.

Articolul este o structura de tip arborescent ale carui campuri sunt descendentii radacinii (nivelul 1), subcampurile sunt descendentii campurilor (nivelul 2) s.a.m.d. Campurile unui articol pot fi date elementare sau grupuri de date de diverse tipuri. In principiu fiecare camp sau subcamp se defineste prin urmatoarele atribute:

nume - un cod unic de identificare;

tip - natura datei;

lungime - numarul total de caractere;

partea zecimala - se specifica numai pentru datele numerice.

De exemplu, articolul ARTSALAR poate avea urmatoarea structura:

Fig. nr. 1.7. Descrierea articolului ARTSALAR

Fisierul reprezinta un ansamblu organizat de articole cu aceeasi natura, dispuse pe un suport de inregistrare (de exemplu, fisierul FSAL cuprinde articolele ARTSALAR cu date privind salariatii unei organizatii).

Tabloul este o colectie de date de acelasi tip, aranjate intr-o structura rectangulara, cu una sau mai multe dimensiuni. Tablourile cu o dimensiune se numesc vectori, iar cele cu mai multe dimensiuni se numesc matrici sau masive. Pentru fiecare dimensiune se asociaza un indice ale carui valori sunt folosite pentru referirea elementelor tabloului.

Exemplu: T (i₁, i₂i_k), unde k reprezinta numarul de dimensiuni, iar i₁, i₂.i_k sunt elementele tabloului T. De exemplu, pentru introducerea notelor obtinute de studenti in cele 2 sesiuni, fiecare sesiune avand cate 5 examene, definim variabila Nota(2,5). Vom obtine un tablou de variabile astfel: Nota(1,1), Nota(1,2), Nota(1,3), Nota(1,4), Nota(1,5), Nota(2,1), etc.

Asupra structurilor de date se pot efectua atat operatii generale, cat si operatii specifice tipului structurii. Cele mai intalnite sunt:

Crearea se executa o singura data la inceputul ciclului de viata a structurii respective, presupunand memorarea structurii respective de date in forma initiala, pe suportul de memorie interna sau externa.

Actualizarea reprezinta operatia de aducere la zi a unei structuri de date create anterior si presupune:

adaugarea si/sau inserarea de noi elemente ale structurii;

modificarea valorilor unor elemente ale structurii;

stergerea fizica si/sau logica a unor elemente ale structurii.

Consultarea (exploatarea) asigura accesarea elementelor componente ale unei structuri in scopul prelucrarii sau vizualizarii acesteia.

Sortarea permite ordonarea crescatoare sau descrescatoare a elementelor unor structuri, dupa anumite criterii stabilite de utilizator, fiind o rearanjare fizica a acestora.

Separarea este desfacerea unei structuri in doua sau mai multe structuri.

Fuzionarea sau interclasarea este combinarea a doua sau mai multor structuri intr-o singura structura conform unor criterii.

Copierea presupune obtinerea unei dubluri, integrale sau partiale aleasa de utilizator.

2. Categorii de operatiuni definite asupra datelor

Prelucrarea datelor presupune parcurgerea unei succesiuni ordonate de operatii care actioneaza asupra valorilor acestora. Ele se pot grupa in urmatoarele categorii:

operatiuni de atribuire;

operatiuni de calcul;

operatiuni de decizie;

operatiuni de intrare /iesire;

operatiuni de transfer a controlului.

Operatiunile de atribuire sunt acelea prin care unei variabile i se atribuie o anumita valoare predefinita sau rezultatul evaluarii unei expresii.

Exemplu:

NOTA = 8

MEDIA=(NOTA1+NOTA2)/2

Operatiunile de calcul se definesc pe multimea numerelor reale. Dintre acestea fac parte operatia de adunare, scadere, inmultire, impartire, ridicare la putere, calculul unor expresii numerice etc. Ca operatori se utilizeaza:

+ pentru adunare;

- pentru scadere;

* pentru inmultire;

/ pentru impartire;

** pentru ridicare la putere.

De asemenea, in cadrul expresiilor se pot utiliza si parantezele, evaluarea acestora facandu-se dupa regulile din algebra.

Exemplu:

SALARIU NET = ((NRORLUCR * TARIFO) + SPORVECH) - IMPOZ

a = (b * c)**2 + 1650

Operatiunile de decizie sunt utilizate pentru a determina valoarea logica a unei propozitii (adevarat sau fals). Ele conditioneaza executarea unor operatiuni sau grupuri de operatiuni. Operatorii utilizati pentru scrierea conditiilor pot fi operatori relationali (=, >, <, ≠) si/sau operatori logici (NOT, AND, OR).

Exemplu:

IF STOCSIGURANTA < 5000 THEN

PRINT Este necesara reaprovizionarea"

ENDIF

Operatiunile de intrare/iesire vizeaza realizarea transferului de date intre memoria externa si cea interna si invers. Pentru optimizarea operatiei de intrare/iesire se interpun zone tampon (buffere) atat pentru intrare cat si pentru iesire. Cele mai utilizate operatii de intrare/iesire sunt cele de deschidere si inchidere a fisierelor si de citire si scriere date.

Operatiunile de transfer a controlului sunt operatii de salt si de apelare. Cele de salt au rolul de a preda controlul unei alte operatiuni decat cea imediat urmatoare, iar cele de apel, determina lansarea in executie a unor proceduri (grupuri de operatiuni), evitandu-se astfel descrierea lor de mai multe ori in cadrul algoritmului de rezolvare a problemei

Baze de date, banci de date si depozite de date

Pe masura evolutiei sistemelor de prelucrare automata a datelor si, in mod special, a componentei hardware si software, dar si ca urmare a cresterii volumului datelor de prelucrat s-a dezvoltat un nou concept, cel al bazelor de date. El isi face aparitia in a doua parte a anilor '60, aducand un element de noutate, respectiv existenta unui fisier de descriere globala a datelor, ceea ce asigura independenta datelor de programe si invers, fisier denumit dictionar de date (vezi figura nr. 1.9). La momentul respectiv, in cadrul sistemelor informatice implementate in intreprinderi, informatiile erau organizate in fisiere de date (secventiale, indexate etc.) create cu ajutorul unor programe scrise in limbaje din generatia a III-a: COBOL, FORTRAN etc.

Principiul fundamental al bazelor de date il constituie unicitatea informatiilor, adica orice informatie este inregistrata o singura data si poate fi utilizata ori de cate ori este nevoie de catre diferiti utilizatori si in diferite momente.

O baza de date este un ansamblu de date ce poate fi intrebuintat de mai multi utilizatori avand viziuni diferite asupra acestora. Ea reprezinta un ansamblu structurat de fisiere care grupeaza datele prelucrate in aplicatiile informatice ale unei persoane, grup de persoane, intreprinderi, institutii etc., ansamblu partajat intre mai multi utilizatori in mod concurent si competitiv.

Fig. nr. 1.9. Structura unei baze de date

Formal, baza de date poate fi definita ca o colectie de date aflate in interdependenta, impreuna cu descrierea structurii si a relatiilor dintre ele. Intr-o abordare mai analitica, o baza de date este un ansamblu de date structurate, coerente, neredundante, independente de orice program specific de aplicatii, direct accesibile dupa criterii multiple.

Bazele de date sunt concepute pentru a prelucra un volum mare de date. Gestiunea acestora impune nu numai o structurare riguroasa a datelor, dar si o rationalizare a procedurilor de acces si prelucrare. Pentru a putea fi exploatata de catre utilizatori o baza de date trebuie sa aiba asociat un set de programe, numit generic sistem de gestiune a bazelor de date care sa permita exploatarea rationala a datelor continute. Obiectivul esential al unui sistem de gestiune a bazelor de date este, deci, furnizarea unui mediu eficient, adaptat utilizatorilor care doresc sa consulte sau sa actualizeze informatiile continute in baza de date.

Sistemul de gestiune a bazelor de date reprezinta un ansamblu coordonat de programe care permite descrierea, memorarea, manipularea, interogarea si tratarea datelor continute intr-o baza de date. El trebuie, de asemenea, sa asigure securitatea si confidentialitatea datelor intr-un mediu multi-utilizator.

In general, in arhitectura unui SGBD intra cel putin 5 clase de module:

programe de gestiune a bazei de date care realizeaza accesul fizic la date ca urmare a unei comenzi primite printr-un program de aplicatii sau interactiv prin intermediul ecranului.;

limbajul de definire/descriere a datelor (LDD) care permite traducerea (prin compilare sau interpretare, dupa caz) si descrierea naturii datelor si a legaturilor lor logice fie la nivelul global (sub forma schemei conceptuale), fie la nivelul specific fiecarei aplicatii (sub forma schemei externe sau sub-schemei);

limbajul de manipulare a datelor (LMD) care permite gestionarea si actualizarea datelor dintr-o baza de date;

utilitare de intretinere a bazei de date care permit gestionarea de catre un operator a bazei de date si care pot efectua urmatoarele operatii : crearea versiunii initiale a bazei de date si incarcarea acesteia folosindu-se fie o copie creata anterior, fie date neorganizate, crearea si actualizarea jurnalelor tranzactiilor realizate asupra bazelor de date, reorganizarea bazei de date pentru recuperarea spatiului vid, restaurarea bazei de date dupa un incident logic sau fizic, cu refacerea starii existente anterior acestuia, realizarea diverselor statistici ce permit cunoasterea activitatii si utilizarii bazei de date etc

componente de control a programelor de aplicatii care constituie mijloace de prevenire si corectare a anumitor erori ce pot sa apara in conditii "multi-utilizator".

Modulele enumerate interactioneaza cu o serie de componente fizice ale bazei de date:

Fisierele de date care reprezinta suportul propriu-zis al bazei de date;

Dictionarul de date ce inregistreaza informatii relative la structura bazei, fiind solicitat in toate operatiunile de consultare si actualizare;

Indecsii, intr-un numar suficient de mare pentru cresterea vitezei de acces la date.

Banca de date reprezinta un sistem de colectii de date aflate in interdependenta, impreuna cu descrierea datelor si a relatiilor dintre ele si cu sistemul de programe pentru gestiunea datelor care asigura independenta programelor aplicative fata de modul de structurare a datelor, o redundanta minima si controlata in memorarea lor, precum si un timp minim de raspuns la solicitarile utilizatorilor . Ea reprezinta un ansamblu de informatii organizate, inregistrate pe suporturi magnetice sau optice care pot fi consultate local sau la distanta prin intermediul calculatoarelor si a retelelor de comunicatie. Deoarece permit accesul unui mare numar de utilizatori la datele stocate bancile de date sunt considerate sisteme de documentare.

In unele lucrari, banca de date este redusa la doua componente: baza de date si SGBD-ul asociat. Alti autori extind notiunea de banca de date, care ar ingloba: baza de date, sistemul de gestiune a bazei de date, sistemul electronic de calcul, echipamentele de teleprelucrare, programele de aplicatii, sistemul de operare, utilizatorii.

Daca in anii '70 si la inceputul anilor '80, notiunea cvasi-utilizata era cea de banca de date, in lucrarile din ultimii ani, termenul devine din ce in ce mai putin invocat, majoritatea lucrarilor de profil, ca si toti marii furnizori de software fac trimitere, aproape exclusiv, la notiunile de baza de date si SGBD.

Depozitul de date reprezinta o alta directie de dezvoltare si evolutie a bazelor de date. El desemneaza o baza de date special conceputa pentru analiza datelor si suportul deciziilor, prin consolidarea tuturor datelor intreprinderii.

Conceptul de depozit de date a aparut la sfarsitul deceniului 8, dar s-a conturat si dezvoltat in anii '90. Conceptul datawarehouse (depozit de date) este definit de William Inmon (vicepresedintele firmei Prism Solution) ca fiind o "colectie de date destinate fundamentarii deciziei manageriale, colectie care este tematica, integrata, plasata intr-un context temporal si permanenta".

Deosebirile fata de o baza de date sunt urmatoarele:

scopul pe care il au datele stocate - acestea nu sunt utilizate in scop operational, ci pentru sarcini analitice, de la identificarea unui nou segment de piata pana la brainstorming;

daca o baza de date este utilizata pentru prelucrarea tranzactiilor on-line, depozitele de date se bazeaza pe prelucrarea analitica on-line, o noua aplicatie strategica;

daca o baza de date inregistraza si raporteaza ce s-a intamplat, un depozit de date arata si de ce.

Patru elemente determinante caracterizeaza depozitul de date:

datele stocate privesc o functiune sau un proces din intreprindere (sunt orientate pe subiect);

datele sunt integrate si redefinite penteu a putea fi exploatate;

informatiile sunt conservate mai multi ani, acesta reprezentand un atu al depozitelor de date (se asigura continuitatea si comparabilitatea);

datele nu pot fi modificate sau sterse.

Datele organizate in depozite provin din datele preluate din sistemul operational, din datele de arhiva (in perioada de constituire a depozitului), precum din surse externe (baze de date publice, date din recensaminte, date de prognoza economica etc.). Utilizarea depozitelor de date se concretizeaza in extragerea unor rapoarte (la cerere sau pe baza unui abonament cu o anumita periodicitate), extragerea unor date pentru a putea fi utilizate de aplicatiile de birotica (programe de calcul tabelar, procesoare de texte, programe de prezentare etc.), dar mai ales pentru a putea fi utilizate in aplicatii specializate de analiza. Pentru realizarea unor analize economice complexe sunt oferite instrumente de analiza ce pot fi clasificate in doua categorii: mineritul in date "data mining" si analiza multidimensionala, referita prin OLAP (On Line Analytical Processing). Data mining reprezinta o tehnica care vizeaza descoperirea unor sabloane semnificative in colectiile de date. Instrumentele de analiza on-line (OLAP) permit aflarea raspunsurilor la intrebari ce au de obicei un caracter multidimensional (de exemplu: Care este contributia la vanzarile saptamanale totale a produselor informatice vandute prin magazinele situate in regiunea Moldova intre 10 si 20 septembrie?).

Pentru realizarea unui depozit de date sunt necesare sapte categorii de instrumente:

Instrumente pentru modelarea datelor ce permit persoanelor implicate in realizarea depozitelor de date sa determine continutul fiecarei date, semnificatia acesteia, care sunt celelalte date cu care interactioneaza si cine o utilizeaza

O enciclopedie a metadatelor (metadate = date despre date) ce pastreaza informatii relevante despre fiecare data a depozitului: ce reprezinta, tipul ei, ce inseamna, unde se gaseste, cum poate fi accesata, formatul sau etc.;

Baza de date - nucleu care constituie "inima" depozitului;

Instrumente pentru transportul datelor utilizate pentru a muta copii ale datelor din sistemul operational (tranzactional) in depozitul de date si a le insera in locul potrivit;

Instrumente pentru extragerea, rafinarea si standardizarea (normalizarea datelor) menite sa asigure "curatarea" datelor la preluarea lor in depozit: identificarea si contopirea multiplelor inregistrari care se refera la aceeasi informatie, ajustarea eventualelor lungimi diferite ale unei aceleiasi date, uniformizarea prescurtarilor.

Middleware - un set de resurse care asigura conectivitatea in cadrul retelelor de calculatoare, necesare cand datele sunt preluate din mai multe baze sau cand baza de date este distribuita pe mai multe noduri ale retelei de calculatoare a organizatiei.

Instrumente ce asigura accesul utilizatorilor la datele de care au nevoie.

Pentru a explora datele din depozit utilizatorii dispun de instrumente specializate. Cele mai simple sunt instrumentele pentru interogare si raportare, cunoscute si din SGBD-uri. Pe langa acestea, mai sunt necesare o serie de instrumente pentru administrarea depozitului, asigurarea replicarii si sincronizarii intre mai multe baze de date, dezvoltarea aplicatiilor ce utilizeaza depozitul de date etc.

Au fost prezentate doar cateva aspecte privind diferitele modalitati de organizare a datelor la nivelul unui sistem informatic. Nu poate fi data o solutie ideala. Personalul implicat in realizarea unui sistem este cel care trebuie sa stabileasca modalitatea optima de organizare a datelor in functie de specificul organizatiei, marimea sistemului si, in primul rand, de cerintele utilizatorilor.