Ciclul de viață al inteligenței artificiale

Sfetcu, Nicolae (2022), Ciclul de viață al inteligenței artificiale, IT & C, 1:2, 10-26Sfetcu, Nicolae (2022), Ciclul de viață al inteligenței artificiale, IT & C, 1:2, 10-26, DOI: 10.58679/IT46421, https://www.internetmobile.ro/ciclul-de-viata-al-inteligentei-artificiale/

 

Rezumat

Ciclul de viață al unui sistem al inteligenței artificiale include mai multe faze interdependente, de la proiectarea și dezvoltarea acestuia (inclusiv subfaze precum analiza cerințelor, colectarea datelor, instruire, testare, integrare), instalare, implementare, operare, întreținere și eliminare. Având în vedere complexitatea sistemelor inteligenței artificiale (și în general cele de informații), se pot defini mai multe modele și metodologii pentru a gestiona această complexitate, în special în fazele de proiectare și dezvoltare, cum ar fi dezvoltare de software agilă, cascadă sau spirală, prototipare rapidă și incrementală. Ciclul de viață al inteligenței artificiale definește fazele pe care ar trebui să le urmeze o organizație pentru a profita de tehnicile inteligenței artificiale și în special de modelele de învățare automată pentru a obține valoare practică de afaceri.

 

Cuvinte cheie: ciclul de viață, inteligența artificială

 

Abstract

The life cycle of an AI system includes several interrelated phases, from its design and development (including subphases such as requirements analysis, data collection, training, testing, integration), installation, implementation, operation, maintenance and disposal. Given the complexity of artificial intelligence (and information systems in general), several models and methodologies can be defined to manage this complexity, especially in the design and development phases, such as agile, waterfall or spiral software development , rapid and incremental prototyping. The AI lifecycle defines the phases an organization should follow to take advantage of AI techniques and specifically machine learning models to achieve practical business value.

 

Keywords: life cycle, artificial intelligence

 

IT & C, Volumul 1, Numărul 2, Decembrie 2022, pp. 10-26
ISSN 2821 – 8469, ISSN – L 2821 – 8469
URL: https://www.internetmobile.ro/ciclul-de-viata-al-inteligentei-artificiale/
© 2022 Nicolae Sfetcu. Responsabilitatea conținutului, interpretărilor și opiniilor exprimate revine exclusiv autorilor.

 

Acesta este un articol cu Acces Deschis distribuit în conformitate cu termenii licenței de atribuire Creative Commons CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/), care permite utilizarea, distribuirea și reproducerea fără restricții pe orice mediu, cu condiția ca lucrarea originală să fie citată corect.

This is an Open Access article distributed under the terms of the Creative Commons Attribution License CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/), which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.

 

Ciclul de viață al inteligenței artificiale

Nicolae Sfetcu

 

Pentru a încadra în mod corespunzător domeniul inteligenței artificiale (AI), este esențial să se urmeze o abordare structurată și metodică pentru a înțelege diferitele sale fațete. Din acest motiv, se poate opta pentru a obține o viziune funcțională a ciclului de viață a sistemelor AI tipice. În consecință, activele implicate (de exemplu, actori, procese, artefacte, hardware etc.), se pot constitui ca bază pentru identificarea amenințărilor (4). Trebuie să se acorde o atenție specială la protecția datelor în contextul AI, o preocupare orizontală în toate etapele ciclului de viață al AI.

Ciclul de viață al unui sistem AI include mai multe faze interdependente, de la proiectarea și dezvoltarea acestuia (inclusiv subfaze precum analiza cerințelor, colectarea datelor, instruire, testare, integrare), instalare, implementare, operare, întreținere și eliminare. Având în vedere complexitatea sistemelor AI (și în general cele de informații), se pot defini mai multe modele și metodologii pentru a gestiona această complexitate, în special în fazele de proiectare și dezvoltare, cum ar fi dezvoltare de software agilă, cascadă sau spirală, prototipare rapidă și incrementală (5). Ciclul de viață AI definește fazele pe care ar trebui să le urmeze o organizație pentru a profita de tehnicile AI și în special de modelele de învățare automată (ML) pentru a obține valoare practică de afaceri. În scopul acestui document, modelele ML sunt utilizate pentru a reprezenta o transformare matematică a datelor de intrare într-un rezultat nou, de ex. utilizați datele de intrare ale imaginii pentru a recunoaște fețele. În schimb, algoritmii sunt utilizați pentru a actualiza parametrii modelului (antrenament) sau pentru a descoperi modele și relații în datele nou furnizate și pentru a deduce rezultatul (6).

Având în vedere gama largă și complexitatea tehnicilor, tehnologiilor, algoritmilor și modelelor implicate în sistemele AI, maparea integrală a acestora într-un singur model de ciclu de viață AI nu este posibilă. Particularitățile sistemelor AI și numeroasele subdomenii ale AI (de exemplu, sisteme de raționament, robotică, AI coecționistă vs simbolică etc.) ar necesita generarea de modele de referință țintite bazate pe tehnologia utilizată. Având în vedere importanța actuală a învățării automate (ML) în utilizarea și implementarea sistemelor AI, am optat pentru a orienta modelul de referință al ciclului de viață AI către ML, pentru a-l face pe de o parte specific și detaliat și, pe de altă parte, abordăm majoritatea sistemelor AI actuale. ML a fost vârful de lance a exploziei AI în ultimii zece ani în ceea ce privește identificarea imaginilor și a vocii.

Pe baza cercetării de birou (7), a fost elaborat un model de referință generic al diferitelor componente găsite în sistemele AI comune, prezentat în figură. Scopul existenței unui model de referință este de a stabili un cadru conceptual care să asigure înțelegerea comună a activelor care compun un sistem AI și relațiile lor semnificative. Acest lucru facilitează alocarea proprietarilor la diferite active pe de o parte și, pe de altă parte, oferă o modalitate sistematică și structurată de analiză a amenințărilor de securitate relevante. Cu condiția ca activele să fi fost definite, amenințările la adresa sistemelor AI pot fi mapate împotriva acestor active și, în urma acestora, pot fi furnizate măsuri de securitate direcționate către proprietarii de active corespunzători.

Ciclul de viață AI

Model de referință generic pentru ciclul de viață AI(Model de referință generic pentru ciclul de viață AI)

Datele sunt unul dintre cele mai valoroase active din inteligența artificială; sunt în continuă transformare de-a lungul ciclului de viață AI (8). Figura de mai jos ilustrează transformarea datelor de-a lungul diferitelor etape ale ciclului de viață: Ingestia datelot, Explorarea datelor, Preprocesarea datelor, Evidențierea caracteristicilor, Instruire, Testare și Evaluare. Transformarea datelor de-a lungul ciclului de viață AI implică mai multe alte tipuri de active, cum ar fi actorii implicați, resursele de calcul, software-ul etc., și chiar unele active netangibile, cum ar fi procesele, cultura și modul în care experiența și cunoștințele actorilor pot determina amenințări potențial neintenționale (de exemplu părtinire neintenționată).

Diferitele etape ale ciclului de viață AI se pot descrie punând accent pe diferitele active, procese și actori implicați (9), precum și analizând transformările relevante ale datelor.

Transformarea datelor de-a lungul etapelor de dezvoltare a ciclului de viață al AI(Transformarea datelor de-a lungul etapelor de dezvoltare a ciclului de viață al AI)

Entități implicate în ciclul de viață

Există diferite entități (actori) implicați activ în contextul întregului ciclu de viață al AI. Printre actori se numără designerii AI / designeri de aplicații AI implicați în proiectarea și crearea sistemelor AI. Există, de asemenea, dezvoltatorii AI care dezvoltă și construiesc software-ul și algoritmii utilizați în sistemele AI, și care lucrează și pentru a le rafina și îmbunătăți. Experiența și capacitatea lor joacă un rol cheie în dezvoltarea sistemelor AI securizate.

Dezvoltatorii și designerii AI lucrează îndeaproape cu specialițtii din știința datelor. Munca acestora ar putea implica asistența la proiectarea și dezvoltarea modelelor AI, sau poate consta în utilizarea unor astfel de modele și analizarea rezultatelor. Mai precis, pecialițtii din știința datelor sunt implicați în colectarea și interpretarea datelor, concentrându-se pe extragerea de cunoștințe și perspective din acele date. Alți actori ai ciclului de viață AI sunt inginerii de date, a căror activitate implică în primul rând extragerea și colectarea datelor din diferite surse, apoi transformarea, curățarea, standardizarea și stocarea acestora. Inginerii de date se concentrează în principal pe proiectarea, gestionarea și optimizarea fluxului de date.

Alți actori importanți ai ciclului de viață AI sunt proprietarii de date (10). Proprietarii de date dețin seturile de date care sunt utilizate fie pentru a instrui/valida sistemele AI, fie pentru a folosi aceste sisteme pentru a îndeplini sarcini. Sunt adesea companii care au propriile seturi de date legate de afacerea lor, la care implementează un sistem AI pentru a îndeplini o sarcină în numele lor. Proprietarii de date pot fi, de asemenea, furnizori / brokeri de date. Aceștia sunt terțe părți care monetizează datele utilizate de sistemele AI, fie în scopuri de instruire, fie pentru a îndeplini diverse sarcini. Aceștia pot include brokerii comerciali de date, care colectează, stochează și vând diferite tipuri de date, în mod legal. Există, de asemenea, rapoarte ale brokerilor de date din zona gri, care adună date despre utilizatori fără ca aceștia să știe că datele lor personale sunt colectate, stocate și vândute (11).

Alți actori ai ciclului de viață AI includ furnizorii de modele, care livrează modele (precum și implementări ale acestora sub formă de biblioteci AI/ML) care au fost deja testate și ajustate. Unii furnizori de modele sunt furnizori de cloud, care oferă modelele ca serviciu, în special utilizarea capabilităților de calcul și analiză a datelor bazate pe AI în cloud. Pe lângă furnizorii de modele, alți actori implică furnizori terți care pot oferi, de asemenea, cadre software și biblioteci terțe, pe care dezvoltatorii le pot folosi pentru instruirea sistemelor AI și hardware specializat de înaltă performanță.

În cele din urmă, există utilizatorii finali care folosesc sisteme AI, inclusiv consumatorii de servicii. Acestea ar putea fi companii, dintre care multe sunt utilizatori de modele. Acestea includ, de asemenea, consumatorii și publicul larg. Utilizatorii finali pot fi și utilizatori ai altor sisteme AI.

Fazele ciclului de viață AI

Definirea scopului

Înainte de a realiza orice dezvoltare de aplicație/sistem AI, este important ca organizația utilizator să înțeleagă pe deplin contextul de afaceri al aplicației/sistemului AI și datele necesare pentru a atinge obiectivele de afaceri ale aplicației AI, precum și valorile de afaceri care vor fi utilizate pentru a evalua gradul în care aceste obiective au fost atinse.

Faza de definire a obiectivelor de afaceri pe scurt: Identificarea scopului comercial al aplicației/sistemului AI. Conectarea scopului cu întrebarea la care trebuie să răspundă modelul AI care va fi utilizat în aplicație/sistem. Identificarea tipului de model pe baza întrebării.

Ingestia datelor

Ingestia datelor este etapa ciclului de viață AI în care datele sunt obținute din surse multiple (datele brute pot fi sub orice formă structurată sau nestructurată) pentru a alcătui puncte de date multidimensionale, numite vectori, pentru utilizare imediată sau pentru stocare pentru a fi accesate și folosite ulterior. Ingestia datelor stă la baza oricărei aplicații AI. Datele pot fi ingerate direct din sursele lor în timp real, într-un mod continuu cunoscut și sub denumirea de streaming, sau prin importul de loturi de date, unde datele sunt importate periodic în macro-loturi mari sau în micro-loturi mici.

Diferite mecanisme de asimilare pot fi active simultan în aceeași aplicație, sincronizând sau decuplând ingerarea în lot și în flux a acelorași fluxuri de date. Componentele de asimilare pot, de asemenea, specifica adnotarea datelor, adică dacă ingerarea este efectuată cu sau fără metadate (dicționar de date sau ontologia/taxonomia tipurilor de date). Adesea, controlul accesului operează în timpul ingerării datelor, modelând starea de confidențialitate a datelor (date personale/non-personale), alegând tehnici adecvate de păstrare a confidențialității și ținând cont de compromisul realizabil între impactul asupra confidențialității și acuratețea analitică. Conformitatea cu cadrul legal aplicabil al UE privind confidențialitatea și protecția datelor trebuie să fie asigurată în toate cazurile.

Statutul de confidențialitate alocat datelor este utilizat pentru a defini Acordul privind nivelul de servicii al aplicației AI (SLA) în conformitate cu cadrul legal aplicabil al UE privind confidențialitatea și protecția datelor, incluzând, printre altele, posibilitatea de inspecție/auditare a autorităților de reglementare competente (cum ar fi Autoritățile de protecție a datelor). Este important de remarcat că, în ingerarea datelor, poate apărea un conflict de guvernare IT. Pe de o parte, datele sunt compartimentate de către proprietarii săi pentru a asigura controlul accesului și protecția vieții private; pe de altă parte, trebuie să fie integrat pentru a permite analiza. Adesea, pentru articolele din aceeași categorie se aplică politici și reguli diferite. Pentru sursele de date multimedia, protocoalele de acces pot urma chiar și o abordare Digital Right Management (DRM) în care dovada de reținere trebuie mai întâi negociată cu serverele de licență. Este responsabilitatea designerului de aplicații AI să se asigure că ingerarea se face respectând politicile furnizorilor de date privind utilizarea datelor și cadrul legal aplicabil în UE privind confidențialitatea și protecția datelor.

Faza de colectare/ingestie a datelor pe scurt: Identificarea datelor de intrare (dinamice) care trebuie colectate și metadatele de context corespunzătoare. Organizarea asimilării în funcție de cerințele aplicației AI, importând date într-un flux, lot sau multimodal.

Explorarea datelor

Explorarea datelor în inteligența artificială (AI) este etapa în care informațiile încep să fie preluate din datele ingerate. Deși poate fi omisă în unele aplicații AI unde datele sunt bine înțelese, este de obicei o fază a ciclului de viață AI care necesită foarte mult timp. În această etapă, este important să înțelegeți tipul de date care au fost colectate. Trebuie făcută o distincție cheie între diferitele tipuri posibile de date, datele numerice și cele categoriale fiind cele mai proeminente (12), alături de datele multimedia (de exemplu, imagine, audio, video etc.) (13). Datele numerice se pretează la reprezentare grafică și permit calculul statisticilor descriptive și verificarea dacă datele se potrivesc cu distribuțiile parametrice simple precum cea gaussiană. Valorile datelor lipsă pot fi, de asemenea, detectate și gestionate în etapa de explorare. Variabilele categoriale sunt cele care au două sau mai multe categorii, dar fără o ordine intrinsecă. Dacă variabila are o ordonare clară, atunci este considerată ca o variabilă ordinală.

Validarea/explorarea datelor pe scurt: Verificați dacă datele se potrivesc unei distribuții statistice cunoscute, fie prin componentă (distribuții monovariate), fie ca vectori (distribuții multivariate). Estimați parametrii statistici corespunzători.

Preprocesarea datelor

Etapa de pre-procesare a datelor folosește tehnici de curățare, integrare și transformare a datelor. Acest proces are ca scop îmbunătățirea calității datelor care va îmbunătăți performanța și eficiența întregului sistem AI prin economisirea de timp în faza de pregătire a modelelor analitice și prin promovarea unei calități mai bune a rezultatelor. Mai exact, termenul de curățare a datelor desemnează tehnici de corectare a inconsecvențelor, de eliminare a zgomotului și de anonimizare/pseudonimizare a datelor.

Integrarea datelor reunește datele care provin din mai multe surse, în timp ce transformarea datelor pregătește datele pentru a alimenta un model analitic, de obicei prin codificarea lor într-un format numeric. O codificare tipică este o codificare one-hot folosită pentru a reprezenta variabilele categoriale ca vectori binari. Această codificare necesită mai întâi ca valorile categoriale să fie mapate la valori întregi. Apoi, fiecare valoare întreagă este reprezentată ca un vector binar care are toate valorile zero, cu excepția poziției numărului întreg, care este marcat cu 1.

Odată convertite în numere, datele pot fi supuse altor tipuri de transformări: redimensionare, standardizare, normalizare și etichetare (14). La finalul acestui proces, se obține un set de date numerice, care va sta la baza antrenării, testării și evaluării modelului AI.

Deoarece a avea un set de date suficient de mare este unul dintre factorii cheie de succes atunci când se instruiește corect un model, este obișnuit să se aplice diferite tehnici de creștere a datelor acelor seturi de date de antrenament care sunt prea mici. De exemplu, este obișnuit să se includă într-un set de date de antrenament diferite versiuni scalate sau rotite de imagini, care erau deja în acel set de date. Un alt exemplu de tehnică de creștere a datelor care poate fi folosită la procesarea textului este înlocuirea unui cuvânt cu sinonimul său. Chiar și în acele cazuri în care setul de date de antrenament este suficient de mare, tehnicile de creștere a datelor pot îmbunătăți modelul antrenat final. Datele pot fi, de asemenea, augmentate pentru a le crește cantitatea și diversitatea scenariilor acoperite. Augmentarea datelor constă de obicei în aplicarea transformărilor despre care se știe că păstrează etichetele, de exemplu modelul nu ar trebui să-și modifice rezultatul (și anume predicția) atunci când este prezentat cu elementele de date transformate. Augmentarea datelor poate servi la îmbunătățirea performanței unui model și în special a robusteței acestuia la perturbații benigne. O sarcină în care augmentarea datelor este utilizată în mod implicit este clasificarea imaginilor, unde datele pot fi augmentate, de exemplu, aplicând translații, rotații și filtre de estompare.

Preprocesarea datelor pe scurt: Convertirea datelor ingerate într-un format metric (numeric), integrarea datelor din diferite surse, gestionarea valorilor lipsă/nule prin interpolare, densificarea pentru a reduce dispersitatea datelor, eliminarea zgomotului, filtrarea valorii aberante, modificarea intervalului de reprezentare, anonimizarea/pseudonimizarea datelor, augmentarea datelor.

Selectarea caracteristicilor

Selectarea caracteristicilor (în ingineria generală a caracteristicilor) este etapa în care se reduce numărul de componente sau caracteristici (numite și dimensiuni) care compun fiecare vector de date, prin identificarea componentelor care se consideră a fi cele mai semnificative pentru modelul AI (15). Rezultatul este un set de date redus, deoarece fiecare vector de date are mai puține componente decât înainte (16). Pe lângă reducerea costurilor de calcul, selecția caracteristicilor poate aduce modele mai precise. În plus, modelele construite pe baza datelor de dimensiuni inferioare sunt mai înțelese și explicabile. Această etapă poate fi, de asemenea, încorporată în faza de construire a modelului (de exemplu, la procesarea datelor de imagine sau de vorbire).

Selectarea caracteristicilor pe scurt: Identificarea dimensiunilor setului de date care reprezintă un parametru global, de ex. varianța generală a etichetelor. Datele proiectului sunt stabilite de-a lungul acestor dimensiuni, eliminând pe celelalte.

Selectarea/construirea modelului

Această etapă realizează selecția/construirea celui mai bun model sau algoritm AI (17) pentru analiza datelor. Este o sarcină dificilă, adesea supusă încercărilor și erorilor. Pe baza obiectivului de afaceri și a tipului de date disponibile, pot fi utilizate diferite tipuri de tehnici AI. Cele trei categorii majore identificate în mod obișnuit sunt învățarea supravegheată, învățarea nesupravegheată și modelele de învățare prin întărire. Tehnicile supravegheate tratează datele etichetate: modelul AI este folosit pentru a învăța maparea dintre exemplele de intrare și ieșirile țintă.

Modelele supravegheate pot fi proiectate ca Clasificatori, al căror scop este să prezică o etichetă de clasă, și Regresori, al căror scop este să prezică o funcție de valoare numerică a intrărilor. Aici, câțiva algoritmi obișnuiți sunt Support Vector Machines, Naïve Bayes, Hidden Markov Model, rețele bayesiene și rețele neuronale.

Tehnicile nesupravegheate folosesc date de antrenament neetichetate pentru a descrie și a extrage relații din acestea, cu scopul de a le organiza în clustere, de a evidenția asocierea dintre spațiul de intrare a datelor, de a rezuma distribuția datelor și de a reduce dimensionalitatea datelor. Învățarea prin întărire mapează situații cu acțiuni, prin învățarea comportamentelor care vor maximiza o funcție de recompensă dorită.

În timp ce tipul de date de antrenament, etichetat sau nu, este esențial pentru tipul de tehnică necesar a fi utilizat și selectat, modelele pot fi, de asemenea, construite de la zero (deși acest lucru este destul de puțin probabil), cercetătorul de date proiectând și codificând modelul, cu tehnicile inerente de inginerie software; sau construind un model prin combinarea unei compoziţii de metode (18). Este important de remarcat că selecția modelului (și anume alegerea modelului adaptat la date) poate declanșa o transformare ulterioară a datelor de intrare, deoarece diferite modele AI necesită codificări numerice diferite ale vectorilor de date de intrare.

În general, selectarea unui model include și alegerea strategiei sale de antrenament. În contextul învățării supravegheate, de exemplu, antrenamentul presupune calcularea (o funcție de învățare a) diferenței dintre rezultatul modelului atunci când primește fiecare element de date din set de antrenament D ca intrare și eticheta lui D. Acest rezultat este folosit pentru a modifica modelul pentru a reduce diferența.

Sunt disponibili mulți algoritmi de antrenament pentru minimizarea erorilor, majoritatea bazați pe coborârea gradientului. Algoritmii de antrenament au proprii lor hiperparametri, inclusiv funcția (19) care trebuie utilizată pentru a calcula eroarea modelului (de exemplu, eroarea medie pătrată) și dimensiunea lotului, adică numărul de eșantioane etichetate care urmează să fie alimentate modelului pentru a acumula o valoare a erorii la să fie utilizat pentru adaptarea modelului în sine.

Selecția modelului AI pe scurt: Alegerea tipului de model AI potrivit pentru aplicație. Codificarea vectorilor de intrare a datelor pentru a se potrivi cu formatul de intrare preferat al modelului.

Instruirea modelului

După ce am selectat un model AI, care în contextul acestui model de referință se referă în principal la un model de învățare automată (ML), începe faza de instruire a sistemului AI. În contextul învățării supravegheate, modelul ML selectat trebuie să treacă printr-o fază de antrenament, în care parametrii interni ai modelului, cum ar fi ponderile și părtinirea, sunt învățați din date. Acest lucru permite modelului să înțeleagă datele utilizate și, astfel, să devină mai capabil să le analizeze. Din nou, antrenamentul presupune calcularea (o funcție a) diferenței dintre rezultatul modelului atunci când primește fiecare element de date D al setului de antrenament ca intrare și eticheta lui D. Acest rezultat este folosit pentru a modifica modelul pentru a reduce diferența dintre rezultatul dedus și rezultatul dorit și astfel duce progresiv la rezultate mai precise, așteptate.

Faza de antrenament va alimenta modelul ML cu loturi de vectori de intrare și va folosi funcția de învățare selectată pentru a adapta parametrii interni ai modelului pe baza unei măsuri (de exemplu, pierdere liniară, pătratică, log) a diferenței dintre ieșirea modelului și etichetele. Adesea, setul de date disponibil este împărțit în această etapă într-un set de antrenament, utilizat pentru setarea parametrilor modelului, și un set de testare, în care criteriile de evaluare (de exemplu rata de eroare) sunt înregistrate doar pentru a evalua performanța modelului în afara setului de antrenament. Schemele de validare încrucișată partiționează aleatoriu de mai multe ori un set de date într-un antrenament și o porțiune de testare de dimensiuni fixe (de exemplu, 80% și 20% din datele disponibile) și apoi repetă fazele de instruire și validare pe fiecare partiție.

Instruirea modelului AI pe scurt: Aplicarea algoritmului de antrenament selectat cu parametrii corespunzători pentru a modifica modelul ales în funcție de datele de antrenament. Validarea antrenamentului modelului pe setul de testare conform unei strategii de validare încrucișată.

Ajustarea modelului

Reglajul modelului se suprapune de obicei cu antrenamentul modelului, deoarece reglarea este de obicei luată în considerare în cadrul procesului de antrenament. Am optat pentru separarea celor două etape din ciclul de viață AI pentru a evidenția diferențele în ceea ce privește operarea funcțională, deși cel mai probabil este ca în majoritatea sistemelor AI să fie ambele parte a procesului de instruire.

Anumiți parametri definesc concepte de nivel înalt despre model, cum ar fi funcția sau modalitatea lor de învățare, și nu pot fi învățați din datele de intrare. Acești parametri speciali, adesea numiți hiper-parametri, trebuie configurați manual, deși în anumite circumstanțe pot fi reglați automat prin căutarea în spațiul parametrilor modelului (20). Această căutare, numită optimizare cu hiper-parametri (21), este adesea efectuată folosind tehnici clasice de optimizare, cum ar fi căutarea în grilă, dar pot fi utilizate căutarea aleatorie și optimizarea bayesiană. Este important de remarcat faptul că etapa Ajustarea modelului folosește un set de date special (numit adesea set de validare), distinct de seturile de antrenament și test utilizate în etapele anterioare. De asemenea, poate fi luată în considerare o fază de evaluare pentru a estima limitele rezultatelor și pentru a evalua modul în care modelul s-ar comporta în condiții extreme, de exemplu, prin utilizarea seturilor de date greșite/nesigure. Este important de remarcat faptul că, în funcție de numărul de hiper-parametri care trebuie ajustați, încercarea tuturor combinațiilor posibile poate să nu fie fezabilă.

Ajustarea modelului AI pe scurt: Aplicarea adaptării modelului la hiper-parametrii modelului AI antrenat folosind un set de date de validare, în funcție de condiția de implementare.

Învățarea prin transfer

În această fază, organizația utilizatorului se aprovizionează cu un model AI pre-antrenat și pre-ajustat și îl folosește ca punct de plecare pentru formarea ulterioară pentru a obține o convergență mai rapidă și mai bună. Acesta este de obicei cazul când sunt disponibile puține date pentru antrenament. Trebuie remarcat faptul că toți pașii descriși mai sus (reglare, testare etc.) se aplică și pentru învățarea prin transfer. Mai mult, deoarece în multe cazuri învățarea prin transfer este aplicată, se poate considera învățarea prin transfer ca parte a fazei de antrenament a modelului, având în vedere că învățarea prin transfer servește de obicei ca punct de plecare al algoritmului de antrenament. Pentru a asigura un domeniu mai larg, distingem învățarea prin transfer într-o fază distinctă din ciclul de viață AI prezentat aici.

Învățarea prin transfer pe scurt: Obținerea unui model AI pregătit în prealabil în același domeniu de aplicație și aplicarea instruirii suplimentare, după cum este necesar, pentru îmbunătățirea acurateții în producție.

Implementarea modelului

Un model de învățare automată va aduce cunoaștere unei organizații numai atunci când predicțiile sale devin disponibile pentru utilizatorii finali. Implementarea este procesul de preluare a unui model instruit și de punere la dispoziție utilizatorilor.

Implementarea modelului pe scurt: Generarea unei încadrări în producție a modelului ca software, firmware sau hardware. Implementarea încadrării modelului în edge sau cloud, conectând fluxurile de date din producție.

Întreținerea modelului

După implementare, modelele AI trebuie monitorizate și menținute în mod continuu pentru a gestiona schimbările de concept și potențialele devieri de concept care pot apărea în timpul funcționării lor. O schimbare de concept are loc atunci când semnificația unei intrări în model (sau a unei etichete de ieșire) se schimbă, de ex. din cauza reglementărilor modificate. O deviere a conceptului apare atunci când schimbarea nu este drastică, ci apare încet. Deriva se datorează adesea încrustării senzorului, adică evoluției lente în timp a rezoluției senzorului (cea mai mică diferență detectabilă între două valori) sau a intervalului general de reprezentare. O strategie populară pentru a gestiona întreținerea modelului este reînvățarea bazată pe ferestre, care se bazează pe puncte de date recente pentru a construi un model ML. O altă tehnică utilă pentru întreținerea modelului AI este testarea înapoi. În cele mai multe cazuri, organizația utilizatoruluir știe ce s-a întâmplat după adoptarea modelului AI și poate compara predicția modelului cu realitatea. Acest lucru evidențiază schimbările de concept: dacă un concept de bază se schimbă, organizațiile văd o scădere a performanței. O altă modalitate de a detecta aceste devieri de concept poate determina caracterizarea statistică a setului de date de intrare utilizat pentru antrenamentul modelului AI, astfel încât să fie posibil să se compare acest set de date de antrenament cu datele de intrare curente în ceea ce privește proprietățile statistice. Diferențele semnificative între seturile de date pot indica prezența unor potențiale deviații de concept care pot necesita efectuarea unui proces de reînvățare, chiar înainte ca rezultatul sistemului să fie afectat semnificativ. În acest fel, procesele de recalificare/reînvățare, care pot fi consumatoare de timp și resurse, pot fi efectuate numai atunci când este necesar și nu periodic, ca în strategiile de reînvățare bazate pe ferestre menționate mai sus. Întreținerea modelului reflectă, de asemenea, nevoia de a monitoriza obiectivele și activele de afaceri care ar putea evolua în timp și, în consecință, să influențeze modelul în sine.

Întreținerea modelului pe scurt: Monitorizarea rezultatelor inferenței ML ale modelului AI implementat, precum și datele de intrare primite de model, pentru a detecta posibile modificări sau derive ale conceptului. Reantrenarea modelului atunci când este necesar.

Înțelegerea afacerii

Construirea unui model AI este adesea costisitoare și întotdeauna necesită timp. Prezintă mai multe riscuri de afaceri, inclusiv nerespectarea unui impact semnificativ asupra organizației utilizatorului, precum și lipsa termenelor limită în producție după finalizare. Înțelegerea afacerii este etapa în care companiile care implementează modele AI obțin o perspectivă asupra impactului AI asupra afacerii lor și încearcă să maximizeze probabilitatea de succes.

Înțelegerea afacerii pe scurt: Evaluarea propunerilor de valoare a modelului AI implementat. Estimarea (înainte de implementare) și verificarea (după implementare) a impactului său asupra afacerii.

Note

  1. A se vedea https://ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines, aprilie 2019
  2. Evident, modelele de cutie albă sunt, de asemenea, susceptibile la atacuri cibernetice, deoarece adversarii au informații la scară largă pentru a adapta atacurile.
  3. Aceasta se referă atât la atacurile fizice asupra sistemelor AI, cât și la robustețea sistemelor AI împotriva variațiilor și evenimentelor care apar în mod natural.
  4. Aici considerăm că sursele de date pentru AI au fost protejate și sunt considerate a fi sigure. În abordarea noastră, ciclul de viață al aplicației AI este considerat un model generic pentru fundamentul identificării activelor și amenințărilor, și nu este conceput ca o declarație. Buclele de feedback prezentate nu sunt exhaustive, deoarece cazuri de utilizare diferite pot urma drumuri diferite și omite unele dintre fazele ciclului de viață generic. Hărțile mentale au fost incluse ca un prim pas către un model de referință complet.
  5. A se vedea https://ec.europa.eu/digital-single-market/en/news/assessment-list-trustworthy-artificial-intelligence-altai-self-assessment
  6. Peisajul amenințărilor presupune înțelegerea de bază a terminologiei și conceptelor AI.
  7. Inclusiv lucrările deja menționate de la EC JRC, EC AI HLEG, EDA, ETSI ISG SAI, NIST, Stiftung Neue Verantwortung, Mcrosoft (https://docs.microsoft.com/en-us/security/engineering/threat-modeling-aiml ), Berryville Institute of Machine Learning (https://berryvilleiml.com/) și BSI (https://doi.org/10.3389/fdata.2020.00023).
  8. În ceea ce privește categoriile de date și proveniența datelor, distingem între următoarele.
    1. Date auto-raportate, furnizate voluntar de un operator „de încredere” (de exemplu, AIS pentru o navă sau ADS-B pentru o aeronavă, date cooperative și guvernamentale).
    2. Datele observate colectate de sisteme „securizate” active sau pasive (de exemplu IDS, senzori, RFID, camere, IoT în general, radare), integritatea datelor depinde de o varietate de parametri (rezoluție, interval, reîmprospătare, latență, condiții de mediu, dimensiune, orientare, caracteristici electromagnetice).
    3. Registre de informații și baze de date: conțin informații care leagă date (ID-uri aeronave sau nave, ID-uri umane din sistemele moștenite civile, ID-uri obiecte inteligente din industrii) cu detalii despre structura acesteora, construcție, aspect, istoric și interacțiuni, activitate, social media din sursele de internet libere și deschise (ex. Twitter, Youtube, Facebook, WhatsApp, Media, Open DB) sunt de asemenea incluse în această categorie.
  9. Modelul de referință detaliază fazele tipice, diferite ale ciclului de viață AI. O referire demnă de remarcat trebuie făcută la soluțiile automate de învățare automată (oferite de mai mulți furnizori) care cuprind marea majoritate a etapelor ciclului de viață AI pentru a facilita dezvoltatorii de produse. În ciuda numeroaselor inițiative de cercetare și comerciale pentru dezvoltarea unor mecanisme și instrumente automate eficiente de învățare automată, au fost identificate multe provocări, inclusiv probleme de transparență (funcționare în cutie neagră), reproductibilitate limitată etc.
  10. De reținut că, în cazul datelor cu caracter personal, rolul proprietarilor de date este echivalent cu cel al operatorilor de date.
  11. Evident, dacă apar astfel de cazuri, atunci există o lipsă clară de conformitate cu prevederile GDPR și o analiză juridică suplimentară (în afara domeniului de aplicare al acestei lucrări) este foarte recomandată.
  12. Discuția se referă în principal la date nunerice, tabelare. Cu toate acestea, trebuie menționat că sistemele AI pot folosi și alte tipuri de date, de ex. discurs, imagini. Acestea sunt, de asemenea, numerice, dar verificările de corectitudine au un grad avansat de complexitate, pentru care nu se efectuează nicio explorare a datelor așa cum este descrisă aici.
  13. Datele multimedia sunt date complexe care sunt foarte relevante în contextul învățării profunde.
  14. Re-scalarea este utilizată pentru a se asigura că toate variabilele sunt exprimate pe aceeași scară, deoarece unele metode pot trece cu vederea variabilele cu intensitate mai mică. Standardizarea este utilizată pentru a modifica media unei distribuții de valori la 0, în timp ce normalizarea mapează datele la un interval de reprezentare compact (de exemplu, intervalul (0, 1), împărțind toate valorile la maxim). Etichetarea (realizată de experți umani sau de alte aplicații AI) asociază fiecare element de date la o categorie sau o predicție.
  15. Modelele de învățare automată sunt algoritmi antrenați cu date istorice care descoperă modele și relații și construiesc modele matematice folosind aceste descoperiri.
  16. Este de remarcat faptul că nu este întotdeauna cazul. În special, în abordările recente de învățare profundă care iau în considerare abordări end-to-end de învățare profundă, în care nu se realizează nicio procesare a caracteristicilor.
  17. Stuart J. Russell și Peter Norvig, „Artificial Intelligence: A Modern Approach”, Prentice Hall Press. ISBN:978-0-13-604259-4
  18. Prin combinare de metode ne referim la ansamblu de modele care constă în combinarea rezultatelor mai multor modele pentru a profita de avantajele diferitelor abordări, cu prețul unei complexități mai mari.
  19. În învățarea profundă, unde sunt concepute funcții de pierdere posibil extrem de complexe și sunt un element cheie al procesului de formare.
  20. Reglarea hiper-paratametrelor este adesea o sarcină dificilă, având în vedere că spațiul hiper-parametrilor este de obicei imens, iar procesul necesită o cantitate mare de timp și resurse de calcul. Mai mult, trebuie remarcat faptul că acest tip de reglare necesită o reinstruire frecventă a modelului.
  21. Trebuie remarcat faptul că acest proces este foarte costisitor din punct de vedere computațional și tinde să fie limitat, în special în aplicațiile de învățare profundă, unde antrenamentul poate dura zile sau săptămâni.

Referințe

L.A. Adamic – N. Glance, The political blogosphere and the 2004 US election: divided they blog, Proceedings of the 3rd International Workshop on Link discovery 2005, pp. 36-43

  1. Aslay et al., Maximising the diversity of exposure in a social network, IEEE International Conference on Data Mining 2018, pp. 863-868
  2. Caliskan Islam et al., Semantics derived automatically from language corpora necessarily contain human biases, arXiv preprint arXiv:1608.07187 2016
  3. Carter – H.V. Auken., Small firm bankruptcy, Journal of Small Business Management 2006, 44: pp. 493-512
  4. De Biase, Homo pluralis. Essere umani nell’era tecnologica. Codice, Torino 2016
  5. Garimella et al., Reducing controversy by connecting opposing views, Proceedings of the Tenth ACM International Conference on Web Search and Data Mining 2017, pp. 81-90
  6. Guidotti et al., A survey of methods for explaining black box models, ACM computing surveys (CSUR) 2018, pp. 1-42
  7. Hegselmann – U. Krause, Opinion dynamics and bounded confidence: models, analysis and simulation, «Journal of Artificial Societies and Social Simulation» V (2002) 3
  8. Lowry – G. Macpherson, A blot on the profession, British medical journal (Clinical research ed.) 1988, pp. 657
  9. Pasquale, The black box society, Harvard University Press 2015
  10. Pedreschi et al., Discrimination-aware data mining, Proceedings of the 14th ACM SIGKDD international conference on Knowledge discovery and data mining 2008, pp. 560-568
  11. Pedreschi et al., Meaningful explanations of Black Box AI decision systems. Proceedings of the 33rd AAAI Conference on Artificial Intelligence 2019, 9780-9784
  12. Plous, The Psychology of Judgment and Decision Making. McGraw-Hill, New York 1993

M.T. Ribeiro et al., „Why should I trust you?” Explaining the predictions of any classifier, Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining 2016, pp. 1135-1144

A.L. Schmidt et al., Polarisation of the vaccination debate on Facebook, National Center for Biotechnology Information 36 (2018) 25, pp. 3606-3612

  1. Sirbu et al., Algorithmic bias amplifies opinion fragmentation and polarisation: A bounded confidence model, «PLoS ONE» 14(3), 2019
  2. Surowiecki, The wisdom of crowds, Anchor Books, New York 2004

Artificial Intelligence for Europe, Communication from the Commission to the European Parliament, the European Council, the Council, the European Economic and social committee and the committee of the Regions, Brussels 2018

Divina Frau-Meigs, Societal costs of “fake news” in the Digital Single Market, Study requested by the IMCO committee, 2018

Žiga TURK, Technology as Enabler of Fake News and a Potential Tool to Combat It, In-Depth Analysis requested by the IMCO committee, 2018

XAI (2019-2024, ERC Advanced Grants 2018) Science and technology for the explanation of AI decision making. https://xai-project.eu/

SoBigData (2015-2024, H2020-Excellent Science Research Infrastructures) Integrated Infrastructure for Social Mining & Big Data Analytics. A research infrastructure at the second stage of “Advanced community”, aggregating 32 partners of 12 EU Countries. http://www.sobigdata.eu/

Humane-AI (2019-2020, H2020-FETFLAG-2018-01 Coordination Action) Toward AI Systems That Augment and Empower Humans by Understanding Us, our Society and the World Around Us. https://www.humane-ai.eu/

 

 

Sursa: Sfetcu, Nicolae (2020). Introducere în inteligența artificială, MultiMedia Publishing, ISBN 978-606-033-659-4, https://www.telework.ro/ro/e-books/introducere-in-inteligenta-artificiala/. Licența CC-BY 3.0

Proiectarea și arhitectura rețelelor de comunicații 5G

Sfetcu, Nicolae (2022), Proiectarea și arhitectura rețelelor de comunicații 5G, IT & C, 1:2, 27-34Sfetcu, Nicolae (2022), Proiectarea și arhitectura rețelelor de comunicații 5G, IT & C, 1:2, 27-34, DOI: 10.58679/IT74636, https://www.internetmobile.ro/proiectarea-si-arhitectura-retelelor-de-comunicatii-5g/

 

Rezumat

Arhitectura 5G prezentată aici a rezultat din analiza diferitelor rapoarte accesibile publicului publicate de organisme de standardizare, cercetare și științifice. Această sarcină a vizat stabilirea unei înțelegeri comune și coerente asupra componentelor arhitecturii 5G. În ciuda unui număr mare de documente referitoare la diferite aspecte ale arhitecturii 5G (de exemplu, funcții de rețea individuale, interfețe, funcții de securitate, diferite domenii 5G etc.), doar câteva oferă o imagine de ansamblu compresivă. Pentru aceasta, a fost necesară vizualizarea diferitelor componente într-un mod modular și general. Odată ce arhitectura tehnică cuprinzătoare 5G a fost definită, și după examinarea punctelor slabe cunoscute ale componentelor, a fost posibil să se enumere activele sensibile și să se descrie cele mai relevante amenințări.

 

Cuvinte cheie: proiectare, arhitectura, rețele de comunicații, 5G

 

Abstract

The 5G architecture presented here resulted from the analysis of various publicly available reports published by standards, research and scientific bodies. This task aimed to establish a common and coherent understanding of the components of the 5G architecture. Despite a large number of documents relating to different aspects of the 5G architecture (e.g. individual network functions, interfaces, security functions, different 5G domains, etc.), only a few provide a comprehensive overview. For this, it was necessary to visualize the various components in a modular and general way. Once the comprehensive technical architecture of 5G was defined, and after examining the known weaknesses of the components, it was possible to list the sensitive assets and describe the most relevant threats.

 

Keywords: design, architecture, communication networks, 5G

 

IT & C, Volumul 1, Numărul 2, Decembrie 2022, pp. 27-34
ISSN 2821 – 8469, ISSN – L 2821 – 8469
URL: https://www.internetmobile.ro/proiectarea-si-arhitectura-retelelor-de-comunicatii-5g/
© 2022 Nicolae Sfetcu. Responsabilitatea conținutului, interpretărilor și opiniilor exprimate revine exclusiv autorilor.

 

Acesta este un articol cu Acces Deschis distribuit în conformitate cu termenii licenței de atribuire Creative Commons CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/), care permite utilizarea, distribuirea și reproducerea fără restricții pe orice mediu, cu condiția ca lucrarea originală să fie citată corect.

This is an Open Access article distributed under the terms of the Creative Commons Attribution License CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/), which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.

 

Proiectarea și arhitectura rețelelor de comunicații 5G

Nicolae Sfetcu

 

Arhitectura 5G prezentată aici a rezultat din analiza diferitelor rapoarte accesibile publicului publicate de organisme de standardizare, cercetare și științifice. Această sarcină a vizat stabilirea unei înțelegeri comune și coerente asupra componentelor arhitecturii 5G. În ciuda unui număr mare de documente referitoare la diferite aspecte ale arhitecturii 5G (de exemplu, funcții de rețea individuale, interfețe, funcții de securitate, diferite domenii 5G etc.), doar câteva oferă o imagine de ansamblu compresivă. Pentru aceasta, a fost necesară vizualizarea diferitelor componente într-un mod modular și general. Odată ce arhitectura tehnică cuprinzătoare 5G a fost definită, și după examinarea punctelor slabe cunoscute ale componentelor, a fost posibil să se enumere activele sensibile și să se descrie cele mai relevante amenințări.

Din acest motiv, abordarea adoptată aici, preluată de la ENISA, a fost dezvoltarea unei arhitecturi 5G generice și furnizarea detaliilor componentelor cheie individuale prin intermediul „Zoom-in-urilor”, permițând detalii suplimentare despre funcționalitatea și scopul acestora. Procedând astfel, pe lângă arhitectura generică 5G descrisă, ENISA a oferit o serie de vizualizări detaliate ale anumitor componente, și anume: Core Network, Management and Network Orchestrator (MANO), Radio Access Network (RAN), Network Function Virtualization (NFV), Software Defined Network (SDN), Multi-access Edge Computing (MEC), User Equipment (UE), Security Architecture (SA) și componente de infrastructură fizică 5G (Enisa Threat Landscape for 5G Network – Threat assessment for the fifth generation of mobile telecommunications networks (5G), November 2019. © European Union Agency for Cybersecurity (ENISA), 2019. Traducere și adaptare independente de Nicolae Sfetcu).

Cazuri de utilizare 5G

3GPP a definit aceste cazuri de utilizare ca parte a proiectului său New Services and Markets Technology Enabler (SMARTER ). (1) Obiectivul din spatele SMARTER a fost să dezvolte cazuri de utilizare la nivel înalt și să identifice care sunt caracteristicile și funcționalitățile necesare pentru a le permite. Procesul a început în 2015 și a dus la peste 70 de cazuri de utilizare, grupate inițial în cinci categorii, care au fost reduse la trei. Cele trei seturi de cazuri de utilizare sunt după cum urmează.

  • Banda largă mobilă îmbunătățită (Enhanced mobile broadband, eMBB). (2) Definită ca o extensie la serviciile existente în bandă largă 4G, eMBB va fi primul serviciu comercial 5G care permite descărcări mai rapide și mai fiabile. Pragurile definite în cerințele ITU pentru eMBB se stabilesc la minimum 20Gbps pentru legătura descendentă și 10Gbps pentru legătura ascendentă. În plus, cerința minimă pentru timpul de întrerupere a mobilității eMBB este de 0 ms.
  • Comunicare ultra-fiabilă cu latență scăzută (Ultra-reliable low latency communication, URLLC). Promisiunea de a furniza comunicații ultra-fiabile și cu latență redusă pentru rețelele fără fir 5G este considerată de o importanță capitală. URLLC este conceput pentru a sprijini companiile în scenarii de comunicare critice, cum ar fi situații de urgență, operațiuni de sisteme autonome, printre altele. (3) Realizarea URLLC reprezintă una dintre provocările majore cu care se confruntă rețelele 5G.
  • Comunicații tip mașină (Machine Type Communications, MTC). (4) Acest caz de utilizare se așteaptă să joace un rol esențial în viitorul sistemelor 5G. În proiectul METIS al șaptelea program-cadru UE (FP7), (5) MTC a fost clasificat în continuare ca o „comunicație masivă de tip mașină” (mMTC) și „comunicație de tip mașină ultra-fiabilă” (uMTC). În timp ce mMTC se referă la conectivitate fără fir la zeci de miliarde de terminale de tip mașină, uMTC se referă la disponibilitate, latență scăzută și fiabilitate ridicată. Principalele provocări ale mMTC sunt de a oferi conectivitate scalabilă și eficientă pentru un număr masiv de dispozitive care trimit pachete foarte scurte, ceea ce nu se realizează în mod adecvat în sistemele celulare concepute pentru comunicații de tip uman. În plus, soluțiile mMTC trebuie să permită o acoperire extinsă și o penetrare profundă în interior, având în același timp costuri reduse și eficiență energetică. Pentru MTC, ITU a definit o cerință minimă pentru densitatea conexiunii de 1.000.000 de dispozitive pe km2.

Mai multe scenarii de implementare pentru eMBB, mMTC și URLLC pot fi imaginate în implementările viitoare ale acestei tehnologii. Un studiu elaborat de ETSI a identificat unele dintre aceste scenarii viitoare prezentate în Scenarii de implementare 5G.

Scenarii de implementare 5G:

  • Sisteme inteligente de transport (ITS) și comunicații vehicul-orice (V2X): Un exemplu de caz de utilizare în misiuni critice este sistemul de transport. Utilizarea rețelei 5G pentru a spori siguranța auto este un alt domeniu principal al lansării 16. Acesta include mai multe îmbunătățiri în sprijinul comunicațiilor vehiculului celular la toate (C-V2X) și a sistemelor inteligente de transport (ITS). Îmbunătățirile din specificațiile C-V2X includ comunicații vehicul-vehicul (V2V), vehicul-pieton (V2P) și comunicații vehicul-infrastructură (V2I). Toate acestea sunt necesare pentru creșterea siguranței transportului în mediul actual, dar și în implementarea viitoare a conducerii autonome. Sistemele inteligente de transport sunt o altă zonă majoră de focalizare verticală în versiunea 16. Această zonă verticală va oferi o gamă largă de cazuri de utilizare a transportului și gestionării traficului către rețea. (6)
  • Internetul industrial al obiectelor (IIoT) și comunicare ultra-fiabilă cu latență scăzută (URLLC): IIOT este, de asemenea, o zonă de focalizare verticală majoră a versiunii 16. Introducerea 5G NR în cazurile de utilizare IIoT va permite cercetarea și inovarea unei viitoare fabrici conectate fără fir și reconfigurabile. Acesta creează o oportunitate de a introduce IIoT pentru a sprijini automatizarea fabricii, distribuția energiei electrice și transportul. Introduce îmbunătățiri importante în latența și fiabilitatea rețelei. Suportul pentru rețea sensibilă la timp (TSN) este, de asemenea, inclus în această versiune, unde sincronizarea orei foarte precisă este esențială în utilizarea automatizărilor din fabrică IIoT.
  • Acces integrat și backhaul (IAB): Pentru a extinde acoperirea rețelei 5G NR mmWave, costul noilor instalații de backhaul cu fibră optică este de obicei ridicat și reprezintă o provocare majoră la implementarea stațiilor de bază suplimentare. Versiunea 16 elimină necesitatea acestui backhaul cu fir, deoarece introduce acces integrat care permite unei stații de bază să ofere atât acces wireless pentru dispozitive, cât și conectivitate wireless backhaul.
  • Acces bazat pe NR la spectrul fără licență (NR-U): Versiunea 16 permite rețelelor 5G să funcționeze în spectru fără licență, care este cel mai mare disponibil. Banda fără licență globală existentă de 5 GHz și 6 GHz este utilizată de Wi-Fi și LTE LAA și este un caz de utilizare atractiv pentru creșterea ratelor de date și a capacității rețelei. Specificațiile definesc două moduri de funcționare: NR-U cu o ancoră în asistență licențiată (spectru partajat) și NR-U independent cu numai spectru fără licență.

Pe lângă aceste aplicații verticale, noua specificație adaugă peste 20 de caracteristici tehnologice standard, inclusiv o serie de îmbunătățiri pentru bandă largă mobilă îmbunătățită (eMBB) și alte aplicații verticale. Aceste îmbunătățiri eMBB acoperă MIMO masiv, transferul fără întrerupere a celulei și suprimarea interferențelor de la distanță. Mai mult, îmbunătățirile suplimentare introduse pot fi considerate ca facilitatori care vor spori eficiența 5G pentru o serie de aplicații ulterioare. Tabelul de mai jos oferă un rezumat al acestor îmbunătățiri / caracteristici.

Funcții suplimentare de activare 5G pentru toate verticalele – Eficiența 5G:

  • Îmbunătățiri importante în caracteristicile versiunii 16 pot fi găsite în domeniile îmbunătățirilor de intrare multiplă, ieșire multiplă (MIMO) și de formare a fasciculului, partajare dinamică a spectrului (DSS), conectivitate duală (DC) și agregare a purtătorului (CA), poziționare și echipamente de utilizator (UE) economie de energie. Cele mai relevante îmbunătățiri ale eficienței 5G sunt următoarele:
  • Atenuarea interferențelor: Versiunea 16 introduce caracteristicile de reducere a interferențelor la distanță (RIM) și a interferențelor încrucișate (CLI). Stațiile de bază pot comunica și coordona (prin semnale de referință (RIM-RS) prin aer sau în combinație cu semnalizarea backhaul) atenuarea interferențelor fluxurilor TDD DL-la-UL ale stației de bază (pentru a indica prezența interferențelor și dacă este suficientă atenuare). Cu CLI, dispozitivele pot măsura și raporta interferențe inter- / intra-celulare (Inter-celulă: când dispozitivele au programare TDD semi-statică, Intra-celulă: când dispozitivele acceptă TDD dinamic) cauzate de dispozitive învecinate cu configurații TDD diferite.
  • Performanță MIMO:
    • Versiunea 16 introduce îmbunătățiri MIMO, inclusiv:
      • manipulare îmbunătățită a fasciculului;
      • feedback-ul informațiilor despre starea canalului (CSI);
      • suport pentru transmisie către un singur UE din mai multe puncte de transmisie (multi-TRP)
      • transmisie de putere completă de la mai multe antene UE din legătura în sus (UL).
    • Unele dintre aceste îmbunătățiri sunt menite să mărească debitul rețelei, să reducă cheltuielile generale și / sau să ofere o rezistență suplimentară.
  • Poziționare de înaltă precizie: Cu o creștere a numărului de cazuri de utilizare și aplicații care necesită poziționare precisă în exterior și interior, versiunea 16 introduce diverse metode de poziționare bazate pe DL și UL, pentru a îndeplini cerințele de precizie pentru diferite cazuri de utilizare. În funcție de modul în care este operat, serverul de localizare a rețelei colectează și distribuie informații legate de poziționarea dispozitivului utilizator (capacități UE, date de asistență, măsurători, estimări de poziție etc.) către celelalte entități implicate în procedurile de poziționare. Poziționarea cu o singură și mai multe celule aduce, de asemenea, geolocalizare de precizie în sprijinul comunicațiilor ITS / V2X și aplicațiilor IIoT.
  • Consum de energie: Un alt aspect important al versiunii 16 este acela de a reduce și mai mult consumul de energie al dispozitivelor pe dispozitivele utilizatorului. De exemplu, utilizarea unui semnal de trezire (WUS), un canal de control de putere redusă pentru a indica activitatea sau lipsa acesteia în perioada corespunzătoare de monitorizare DRX (recepție discontinuă). Alte exemple includ setări optimizate de consum redus de energie, controale eficiente ale puterii și reducerea cheltuielilor generale și mecanisme mai eficiente de control al puterii. Noile funcții inteligente de economisire a energiei contribuie la îmbunătățirea autonomiei bateriei dispozitivului chiar și în aplicațiile cu utilizare ridicată (7).
  • Conectivitate dublă și agregare a operatorilor (CA / DC): Versiunea 16 reduce, de asemenea, latența pentru configurarea și activarea CA / DC pentru a atinge rate de date mai mari. În acest caz, conectivitatea poate fi reluată după perioade de inactivitate. Mai mult, versiunea 16 introduce, de asemenea, o declanșare a transmisiilor de semnal de referință CSI în cazul agregării purtătorilor cu numerologie diferită.
  • Îmbunătățiri ale mobilității: Reducerea timpului de întrerupere a transferului de 0 ms activat de stiva de protocol activă duală cu transmisii / recepție simultană de sursă / celulă țintă. Robustețe îmbunătățită a mobilității Transmisie condiționată bazată pe dispozitiv pentru conectivitate simplă și dublă și recuperare rapidă a eșecului transferului.
    • Sub-7 GHz și mmWave;
    • Ambele transferuri inter- și intra-frecvență;
    • Benefic pentru cazurile de utilizare cu mobilitate ridicată (de exemplu, tren, aerian).
  • Comunicare îmbunătățită ultra-fiabilă, cu latență scăzută (eURLLC): Un aspect important din versiunea 16 a vizat îmbunătățirea suportului pentru comunicații de înaltă fiabilitate și cu latență redusă. Principalele caracteristici introduse de acest caz includ îmbunătățiri în mecanismele rețelei 5G Core, îmbunătățiri ale straturilor fizice pentru 5G New Radio și suport pentru mecanismele Internetului nou al obiectelor radio industriale pentru a crește fiabilitatea includ un mecanism de transmisie redundant, monitorizare QoS îmbunătățită și suport RAN pentru multi-conectivitate de nivel superior (8). Mecanismele de reducere a latenței și de garantare a continuității sesiunii au fost, de asemenea, introduse în funcțiile Core 5G și susținute de îmbunătățiri ale specificațiilor stratului fizic ale 5G New Radio. În cele din urmă, îmbunătățirile care vizează în mod special scenariile IoT industriale includ livrarea exactă a calendarului de referință, îmbunătățiri ale planificării și gestionarea îmbunătățită a datelor de comunicare sensibile la timp.
  • Rețea auto-organizată (SON): Versiunea 16 îmbunătățește SON cu conceptul de optimizare robustă a mobilității (MRO), echilibrare a sarcinii de mobilitate (MLB) și optimizare RACH. Specificarea raportării dispozitivelor necesare pentru a îmbunătăți configurațiile de rețea și schimbul de informații între noduri (de exemplu, îmbunătățiri la interfețe precum N2 și Xn).

Referitor la evoluția planificată a specificațiilor 5G 3GPP: Specificațiile 5G sunt în continuă dezvoltare de către Proiectul de parteneriat de generația a treia (3GPP). Începând cu raportul de anul trecut, specificația actuală 5G este versiunea 16, care a atins înghețarea specificațiilor în iulie 2020, cu articole legate de rețeaua de acces radio. (9)

Se consideră că este util să planificăm versiuni potențiale ale peisajului amenințărilor 5G pentru a se potrivi actualizărilor introduse de versiunile mai noi ale specificației (de exemplu, sfârșitul anului 2021, care acoperă versiunea 17 prima etapă și sfârșitul anului 2022 care acoperă versiunea 17 etapa a doua).

Arhitectura 5G generică

Arhitectura 5G a evoluat ca rezultat al actualizărilor de specificații ale versiunii 3GPP 16. Actualizările au fost implementate fie la nivelul descrierilor, fie ca noi componente introduse de specificația 3GPP Versiunea 16.

Arhitectura 5G generică(Arhitectura 5G generică)

La fel ca în versiunea anterioară a 5G TL, arhitectura generică 5G este prezentată prin componentele sale principale descrise ca niște cutii etichetate. Aceste cutii au fost aranjate pe baza straturilor, prezentând rolul lor funcțional în arhitectura 5G (adică stratul de virtualizare și stratul de infrastructură fizică). Această arhitectură își propune să ofere o imagine de ansamblu asupra principalelor grupe de funcționalități 5G prevăzute și este o consolidare a componentelor / funcțiilor găsite în materialul analizat.

Mai exact în 5G, arhitectura a fost concepută astfel încât conectivitatea și serviciile să poată fi acceptate, permițând tehnici precum Virtualization Function Network (NFV), Network Slicing (NS) și Software Defined Networking (SDN), Slicing, etc. Această arhitectură bazată pe servicii îndeplinește mai multe cerințe funcționale și de performanță bazate pe noi cazuri de utilizare.

Arhitectura 5G generică este o prezentare generală a diferitelor componente care sunt detaliate și prezentate ulterior prin „Zoom-in” specifice. Componentele Transport și OSS au fost incluse în arhitectura generică 5G din motive de consistență, iar relațiile cu OSS sunt detaliate în zoom-in corespunzătoare pentru NVF și Network Slicing Management.

De asemenea, ca evoluție față de prima versiune a arhitecturii, în această versiune sunt luate în considerare procesele relevante, deoarece procesele MNO, Vânzător și Asigurare sunt consecințe pentru securitatea generală a rețelei 5G. Arhitectura 5G tehnică generică sau de nivel înalt este descrisă în figura de mai sus.

Referințe

(1) https://5g-ppp.eu/wp-content/uploads/2016/11/01_10-Nov_Session-3_Dino-Flore.pdf, accessed September 2019.

(2) https://5g.co.uk/guides/what-is-enhanced-mobile-broadband-embb/, accessed September 2019.

(3) https://arxiv.org/pdf/1801.01270.pdf, accessed September 2019.

(4) https://www.researchgate.net/profile/Carsten_Bockelmann/publication/305881263_Massive_Machine-type_Communications_in_5G_Physical_and_MAC-layer_solutions/links/5ad996fba6fdcc293586dbcd/Massive-Machine-type-Communications-in-5G-Physical-and-MAC-layer-solutions.pdf, accessed September 2019.

(5) https://metis2020.com/, accessed September 2019.

(6) https://www.ericsson.com/en/reports-and-papers/ericsson-technology-review/articles/5g-nr-evolution, accessed October 2020.

(7) https://www.qualcomm.com/news/onq/2020/07/07/propelling-5g-forward-closer-look-3gpp-release-16?, accessed October 2020.

(8) 3GPP TR 21.916 V0.5.0 (2020-07) Technical Report 3rd Generation Partnership Project; Technical Specification Group Services and System Aspects; Release 16 Description; Summary of Rel-16 Work Items (Release 16) – https://www.3gpp.org/ftp/Specs/archive/21_series/21.916, accessed October 2020.

(9) https://www.3gpp.org/release-16, accessed October 2020.

 

 

Sursa: Sfetcu, Nicolae (2022). Rețele de comunicații 5G, MultiMedia Publishing, ISBN 978-606-033-633-4, https://www.telework.ro/ro/e-books/retele-de-comunicatii-5g/

Servere web

Mendez, Michael (2022), Servere web, IT & C, 1:2, 63-73. Traducere și adaptare independente: Nicolae SfetcuMendez, Michael (2022), Servere web, IT & C, 1:2, 63-73. Traducere și adaptare independente: Nicolae Sfetcu, https://www.internetmobile.ro/servere-web/

 

Rezumat

În activitatea de creare de pagini web și site-uri web, nimic nu este posibil fără componentele hardware și software care sprijină paginile pe care le creăm. Examinarea a ceea ce sunt aceste componente și modul în care acestea interacționează ne ajută să înțelegem de ce este capabil serverul nostru.

Având în vedere popularitatea acestei combinații specifice de patru aplicații (Linux, Apache, MySQL și PHP – LAMP), este ușor să înțelegem de ce acest tip de server web a devenit pur și simplu sistemul. Cu toate acestea, nevoile și preferințele pot schimba motivul pentru care este selectată o anumită abordare.

 

Cuvinte cheie: server web, Linux, Apache, MySQL, PHP, LAMP

 

Abstract

In the business of creating web pages and websites, nothing is possible without the hardware and software components that support the pages we create. Examining what these components are and how they interact helps us understand what our server is capable of. Given the popularity of this particular combination of four applications (Linux, Apache, MySQL and PHP – LAMP), it’s easy to see why this type of web server simply became the system. However, needs and preferences may change why a particular approach is selected.

 

Keywords: web server, Linux, Apache, MySQL, PHP, LAMP

 

IT & C, Volumul 1, Numărul 2, Decembrie 2022, pp. 63-73

ISSN 2821 – 8469, ISSN – L 2821 – 8469
URL: https://www.internetmobile.ro/servere-web/
© 2022 Nicolae Sfetcu. Responsabilitatea conținutului, interpretărilor și opiniilor exprimate revine exclusiv autorilor. Responsabilitatea traducerii revine translatorului. Licența CC BY-NC-SA 3.0.

 

Creative Commons CC BY 4.0Acesta este un articol cu Acces Deschis distribuit în conformitate cu termenii licenței de atribuire Creative Commons CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/), care permite utilizarea, distribuirea și reproducerea fără restricții pe orice mediu, cu condiția ca lucrarea originală să fie citată corect.

This is an Open Access article distributed under the terms of the Creative Commons Attribution License CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/), which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.

 

Servere web

Michael Mendez

 

Introducere

În activitatea de creare de pagini web și site-uri web, nimic nu este posibil fără componentele hardware și software care sprijină paginile pe care le creăm. Examinarea a ceea ce sunt aceste componente și modul în care acestea interacționează ne ajută să înțelegem de ce este capabil serverul nostru.

Diagrama de mai jos reprezintă elementele de bază ale unui server web. Hardware, un sistem de operare și un server http cuprind necesitățile. Adăugarea unei baze de date și a unui limbaj de script extind capacitățile unui server și sunt utilizate și în majoritatea serverelor.

Servere web(Structura serverului web)

Hardware

Menționarea unor fraze precum centru de date, furnizor de găzduire sau chiar companii mari precum Microsoft și Google pot invoca imagini mentale ale unor camere mari, sterile, pline de rafturi înalte de hardware, cu lumini intermitente și un labirint de fire. Cei mai familiarizați cu astfel de camere vor cunoaște, de asemenea, răceala rezultată din atmosfera puternic alimentată cu aer condiționat și zvâcnirile ventilatoarelor care le însoțesc de obicei. Totuși, aceasta nu este o cerință și nici o portretizare exactă a multor servere conectate la Internet. Odată cu adăugarea software-ului potrivit (presupunând că consumați acest text digital), dispozitivul pe care îl utilizați pentru a citi acest lucru ar putea deveni un server conectat la internet. Deși nu ar susține cerințele făcute de domenii precum Amazon.com sau MSN.com, veți putea efectua acțiunile de bază ale unui server cu majoritatea dispozitivelor actuale.

Chiar dacă am ajuns la acest punct, este dificil să uităm imaginea mentală evocată de ideea centrului de date. În modelul actual „tradițional”, serverele subțiri, compacte din punct de vedere fizic, sunt stivuite vertical. Acestea sunt denumite hardware montate pe rack. Multe sisteme montate pe rack conțin astăzi hardware similar cu ceea ce avem pe calculatoarele noastre, în ciuda diferenței de aspect.

O serie de companii, inclusiv Google, Yahoo și Facebook, caută să reinventeze acest concept. Google, de exemplu, a folosit deja servere personalizate în anumite părți ale rețelei sale pentru a îmbunătăți eficiența și a reduce costurile. O implementare pe care au încercat-o s-a dovedit atât de eficientă încât au reușit să elimine unitățile de rezervă de mare putere plasând o baterie de 9 volți în fiecare server – oferindu-i suficientă energie de urgență pentru a continua să funcționeze până când sursa de alimentare de rezervă a clădirii ar putea intra în funcțiune cu metode alternative de răcire, cum ar fi utilizarea apei din iazurile de retenție sau plasarea de centre de date unde pot profita de resursele naturale, cum ar fi apa de mare pentru răcire sau eoliană și solară pentru energie.

NOTE ADIȚIONALE

Luați aminte! Deși toate programele la care ne referim ca stiva noastră LAMP au versiuni gratuite, open source, nu toate utilizările pot fi acoperite de aceste licențe (utilizarea acestora în scopuri de studiu și cercetare este acoperită).

Chiar și dispozitivele mici, cu putere redusă, găsesc cerere ca servere, în parte, pentru a permite Internetul Obiectelor. Dispozitive precum Raspberry Pi12 și o explozie de produse similare, cum ar fi „stick-uri Android”, pot fi achiziționate cu doar 25 USD. Aceste dispozitive mici, de „putere suficientă”, sunt utilizate pentru a conecta date din mediul înconjurător sau alte dispozitive la Internet, lăsând centrul de date în urmă și găsindu-se în schimb în sursa însăși de date.

Software

Un server web tipic conține astăzi patru elemente în plus față de hardware-ul fizic. Acestea sunt sistemul de operare, serverul web, o bază de date și un limbaj de script. Una dintre cele mai populare combinații ale acestor sisteme a fost abreviată în LAMP, reprezentând Linux, Apache, MySQL și PHP, denumite în aceeași ordine. Există multe combinații de soluții care îndeplinesc aceste caracteristici, rezultând o serie de variante ale acronimului, cum ar fi WAMP pentru Windows, Apache, MySQL, PHP sau MAMP, identice cu excepția Mac (sau, pe bună dreptate, un sistem de operare dezvoltat de Macintosh ). Printre multitudinea de combinații, utilizarea LAMP predomină ca referință de captare la un server cu aceste tipuri de servicii.

Servere web

Tot ceea ce este necesar în cele din urmă pentru a transmite pagini statice unui utilizator final este sistemul de operare și serverul HTTP, prima jumătate a acronimului WAMP. Soldul adaugă capacitatea de interactivitate și de a schimba informațiile pe baza rezultatului interacțiunilor utilizatorilor.

Sistem de operare – Linux

Servere web

Sistemul de operare este cel care vă permite să interacționați cu aplicațiile și hardware-ul care alcătuiesc computerul. Facilitează alocarea resurselor către aplicațiile dvs. și comunicarea între hardware și software. De obicei, sistemele de operare pentru servere se încadrează în trei categorii: Linux, Windows și Mac. În fiecare dintre aceste categorii există mai multe opțiuni, cum ar fi diverse versiuni de sisteme de operare Mac și Windows și o mare varietate de sisteme de operare Linux. Linux este alegerea predominantă.

Dezvoltat de Linus Torvalds la începutul anilor 1990 în timp ce era student, Linux a fost creat astfel încât Linus să poată accesa sistemele UNIX la universitatea sa fără să se bazeze pe un sistem de operare. Pe măsură ce proiectul său a devenit mai robust, a decis să-l împărtășească și altora, căutând contribuții, dar crezând că va rămâne un efort mai personal. Ceea ce el nu ar fi putut prezice a fost comunitatea care avea să se reunească și să participe cu contribuții la dezvoltarea ei în ceea ce este astăzi. Ca bază a unui număr mare de sisteme de operare bazate pe Linux (sau „arome” de Linux), nucleul Linux poate fi găsit în întreaga lume, chiar și în camerele de servere ale concurenților săi, cum ar fi Microsoft.

Servere HTTP – Apache

Apache este un server web în sursă deschisă dezvoltat inițial pentru sistemele UNIX. Acceptat acum pe majoritatea platformelor, inclusiv UNIX, Linux, Windows și Mac, Apache este una dintre cele mai utilizate aplicații server. Dezvoltat pentru prima dată în 1995, Apache urmărește o abordare similară a sursei deschise ca Linux, permițând utilizatorilor să se extindă pe software și să contribuie la comunitatea de utilizatori. Grupul de utilizatori din jurul Apache a dezvoltat Apache Foundation, care menține o bibliotecă de soluții pentru servicii web.

Servere web

Pe un server web, Apache servește ca componentă HTTP, care compilează rezultatele din limbaje de script, baze de date și fișiere HTML pentru a genera conținut care este trimis utilizatorului. Apache (sau orice serviciu web) va urmări ce fișiere de pe server aparțin și nu aparțin site-ului web și, de asemenea, controlează ce opțiuni sunt disponibile pentru scriptul bazei de date a utilizatorului final prin fișierele sale de configurare.

Apache și alte servere HTTP ne permit să partajăm paginile noastre web, scripturile și fișierele cu utilizatorii noștri finali. Orice ieșire din baza noastră de date și limbajele de script este transformată în ieșire HTML afișată de browserul clientului ca pagină web. Deși putem vizualiza fișiere HTML și JavaScript pe un computer care nu este un server web, avem nevoie de un server http pentru a le vizualiza ca destinație într-o rețea.

Fișiere de configurare

Când creăm un sistem nou, este posibil ca setările să nu fie exact așa cum le dorim, sau poate să vină momentul în care dorim să adăugăm, să eliminăm sau să schimbăm ceva la serverul nostru. Pentru a face acest lucru, va trebui să edităm fișierele de configurare care controlează diferitele piese ale sistemului nostru. Fișierul nostru actual de configurare a serverului web se numește httpd.conf. Pentru setările PHP, trebuie să ne referim la php.ini, iar pentru MySQL ne referim la my.cnf. Aceste fișiere pot fi amplasate în diferite locuri, în funcție de sistemul de operare și de versiunea utilizată, deci este mai bine să utilizați instrumentele de căutare a fișierelor din sistemul dvs. pentru a afla unde se află pe dispozitivul dvs. Fișierele de configurare (sau setare) sunt de obicei fișiere în format text simplu, cu o setare pe fiecare linie, cu comentarii lângă fiecare valoare care descrie utilizarea setării. Aceste fișiere vor utiliza, de asemenea, același delimitator de comentarii pentru notele lor pentru a activa sau a dezactiva setările individuale. De obicei, delimitatorul utilizat este un punct și virgulă; sau semnul de număr #.

Dacă doriți să modificați setările serverului dvs. însuși, cum ar fi portul folosit, în ce dosar să se caute fișierele, numele său sau alte caracteristici conexe, căutați în fișierul httpd.conf. Din fișierul php.in puteți controla elemente precum modulele care sunt instalate și activate pentru sistemul dvs., cât de multe date sunt permise să consume și multe altele. În mod similar, fișierul dvs. de configurare MySQL determină ce port folosește, ce utilizator rulează pe serverul dvs., care sunt acreditările contului dvs. de administrator și multe altele.

Modificările aduse acestor fișiere necesită în mod normal să reporniți serverul dvs. web (în cazul nostru, pentru modificările Apache sau PHP), sau cel puțin serviciul pe care îl modificați (în cazul nostru, modificările MySQL). Acest lucru se poate face folosind panoul de control dacă utilizați un program combinat precum Wamp 2 sau utilizând instrumentele de service ale sistemului de operare sau utilizând comenzile de sistem la un prompt de comandă. Repornirea Wamp 2 într-un sistem de operare GUI, cum ar fi Windows, se poate face făcând clic dreapta pe pictograma Wamp. Pe un server Cent OS, același efect poate fi obținut prin tastarea „service httpd restart”. Dacă toate celelalte nu reușesc, puteți oricând să reporniți fizic mașina („bouncing”), dar acest lucru este ceva ce veți dori să evitați într-un sistem activ, deoarece va provoca o perioadă mult mai lungă de oprire.

Dacă utilizați pachete de instalare sau un program de instalare combo precum Wamp 2, probabil că veți folosi valorile inițiale fără a face modificări la aceste fișiere. Cu toate acestea, instalatorii binari nu vor ști unde sau cum să facă modificări la fișierele de configurare și va trebui să urmați instrucțiunile de editare manuală a acestor fișiere pentru a integra toate elementele dvs.

De ce aș folosi o altă combinație decât Linux, Apache, MySQL și PHP?

Având în vedere popularitatea acestei combinații specifice de patru aplicații (Linux, Apache, MySQL și PHP – LAMP), este ușor să înțelegem de ce a devenit pur și simplu sistemul. Cu toate acestea, nevoile și preferințele pot schimba motivul pentru care este selectată o anumită abordare. Poate că vă aflați într-un mediu Windows complet și vă simțiți mai confortabil cu un sistem de operare Windows. Poate că datele dvs. sunt deja disponibile într-un fișier plat sau în format XML și doriți o bază de date care să poată utiliza fișiere XML, cum ar fi MongoDB.

Sau, ați putea prefera abordarea și pachetele disponibile în Python decât cele găsite în PHP. Fiecare sistem are punctele sale forte și punctele slabe și ar trebui să fie ales pe baza nevoilor proiectului.

Sursa deschisă

În acest moment, ați întâlnit numeroase referințe la termeni cum ar fi gratuit, liber de editat și sursă deschisă în text. De fapt, toate elementele din exemplul nostru LAMP sunt soluții gratuite, în sursă deschisă. Sursă deschisă (open source) înseamnă că furnizorul software-ului permite utilizatorului final accesul la codul propriu-zis al software-ului său, permițând să se facă modificări oriunde în program.

Acest lucru diferă de software-ul tradițional în care dețineți o copie sau o licență pentru a utiliza programul, dar nu puteți extinde sau modifica elemente ale programului dincolo de ceea ce permite dezvoltatorul. Un executabil în Windows, de exemplu, este sursa închisă. Nu puteți deschide executabilul pentru a citi codul sau pentru a face modificări. Dacă doriți să schimbați programul, dezvoltatorul ar trebui să vă furnizeze fișierele folosite pentru a-l crea (numit cod sursă), astfel încât să puteți face modificări și să compilați propriul program executabil modificat.

Open source crește în popularitate, dar conceptul există de ceva timp. Recent, guvernele mai mari au început să adopte soluții gratuite, open source, ca mijloc de a reduce costurile și de a realiza modificări care personalizează programele pentru a se potrivi nevoilor lor. Istoric open source a fost privit ca un risc de securitate, deoarece oricine ar putea trimite modificări la proiect și s-a temut că vor fi inserate vulnerabilități sau coduri rău intenționate. De fapt, cu atât de mulți utilizatori capabili să vizualizeze și să modifice fișierele, acesta i-a făcut pe cei rău intenționați să fie mai puțin capabili să-și ascundă modificările (uneori numită abordarea „multor ochi” a fiabilității). Timpul de dezvoltare a fost, de asemenea, redus, deoarece comunitatea de dezvoltatori dintr-un proiect popular open source poate depăși cu mult cea a unei soluții în sursă închisă cu personal de dezvoltare limitat.

Un acronim popular care se referă la aceste proiecte este FOSS (Free, Open Source Software). Deoarece nu toate programele open source sunt gratuite în ceea ce privește achiziționarea sau acordarea de licențe, FOSS indică soluții care nu conțin costuri, dar și care pot fi schimbate. Aceste soluții pot fi dezvoltate în întregime de o comunitate de voluntari sau pot proveni de la o companie comercială cu dezvoltatori dedicați proiectului. Deși este ciudat să ne gândim la o companie care își oferă gratuit creația, aceste companii generează venituri prin încorporarea publicității în software-ul lor sau prin oferirea de servicii premium precum asistență pentru produse sau contractarea cu clienții pentru a personaliza produsul. Multe companii vor oferi, de asemenea, doar câteva instrumente ca sursă deschisă alături de alte produse pe care le vând sau vor oferi un model „freemium” în care platforma open source conține majoritatea caracteristicilor software-ului lor. Aici, caracteristicile sau suplimentele dincolo de pachetul open source implică licențe și costuri suplimentare.

FTP

Deși nu este inclus în acronimele LAMP, un alt element important de remarcat este existența unui server de protocol de transfer de fișiere (FTP). Deoarece, de obicei, veți dori să efectuați activități de dezvoltare pe serverul privat înainte de a edita serverul live, veți avea nevoie de un mecanism care vă permite să mutați fișiere între cele două. FTP este conceput pentru a muta fișiere între sisteme, permițându-vă să sincronizați articole când sunteți gata. În plus pe lângă un server FTP, veți dori, de asemenea, o aplicație client FTP pentru mașina care conține fișierele pe care doriți să le mutați. Clientul vă permite să vedeți fișiere în ambele locații și să interacționați cu acestea pentru a determina ce fișier este mutat pe ce mașină. Există o serie de programe gratuite de transfer de fișiere disponibile, dintre care unele pot fi chiar integrate în browsere precum Chrome utilizând extensii de browser.

 

Sursa: Michael Mendez, The Missing Link – An Introduction to Web Development and Programming (CC BY-NC-SA 3.0 License), Published by Open SUNY Textbooks, Milne Library (IITG PI), State University of New York at Geneseo. Traducere și adaptare independente: Nicolae Sfetcu

Utilizarea limbajului de programare R în știința datelor cu RStudio

Irizarry, Rafael A. (2022), Utilizarea limbajului de programare R în știința datelor cu RStudio, IT & C, 1:2, 49-62, Traducere și adaptare independente: Nicolae SfetcuIrizarry, Rafael A. (2022), Utilizarea limbajului de programare R în știința datelor cu RStudio, IT & C, 1:2, 49-62, Traducere și adaptare independente: Nicolae Sfetcu, https://www.internetmobile.ro/utilizarea-limbajului-de-programare-r-in-stiinta-datelor-cu-rstudio/

 

Rezumat

R nu este un limbaj de programare precum C sau Java. Nu a fost creat de inginerii software pentru dezvoltarea de software. În schimb, a fost dezvoltat de statisticieni ca un mediu interactiv pentru analiza datelor. Cu toate acestea, ca și în alte limbaje de programare, vă puteți salva munca folosind scripturi care pot fi executate cu ușurință în orice moment. Aceste scripturi servesc ca o înregistrare a analizei pe care le-ați efectuat, o caracteristică cheie care facilitează munca reproductibilă. Dacă sunteți un programator expert, nu trebuie să vă așteptați ca R să respecte convențiile cu care sunteți obișnuit, deoarece veți fi dezamăgiți. Dacă aveți răbdare, veți ajunge să apreciați puterea inegalabilă a lui R atunci când vine vorba de analiza datelor și, în special, de vizualizarea datelor.

RStudio este util pentru proiectele de știință a datelor. Nu numai că oferă un editor pentru a crea și edita scripturile, ci oferă și multe alte instrumente utile.

 

Cuvinte cheie: limbajul de programare R, știința datelor, RStudio

 

Abstract

R is not a programming language like C or Java. It was not created by software engineers for software development. Instead, it was developed by statisticians as an interactive environment for data analysis. However, as with other programming languages, you can save your work using scripts that can be easily executed at any time. These scripts serve as a record of the analysis you performed, a key feature that facilitates reproducible work. If you’re an expert programmer, don’t expect R to follow the conventions you’re used to, because you’ll be disappointed. If you’re patient, you’ll come to appreciate R’s unmatched power when it comes to data analysis, and especially data visualization.

RStudio is useful for data science projects. Not only does it provide an editor to create and edit scripts, it also provides many other useful tools.

 

Keywords: R programming language, data science, RStudio

 

IT & C, Volumul 1, Numărul 2, Decembrie 2022, pp. 49-62
ISSN 2821 – 8469, ISSN – L 2821 – 8469
URL: https://www.internetmobile.ro/utilizarea-limbajului-de-programare-r-in-stiinta-datelor-cu-rstudio/
© 2022 Nicolae Sfetcu. Responsabilitatea conținutului, interpretărilor și opiniilor exprimate revine exclusiv autorilor. Responsabilitatea traducerii revine translatorului. Licența CC BY-NC-SA 4.0.

 

Creative Commons CC BY 4.0Acesta este un articol cu Acces Deschis distribuit în conformitate cu termenii licenței de atribuire Creative Commons CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/), care permite utilizarea, distribuirea și reproducerea fără restricții pe orice mediu, cu condiția ca lucrarea originală să fie citată corect.

This is an Open Access article distributed under the terms of the Creative Commons Attribution License CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/), which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.

 

Utilizarea limbajului de programare R în știința datelor cu RStudio

Rafael A. Irizarry

 

De ce R?

R nu este un limbaj de programare precum C sau Java. Nu a fost creat de inginerii software pentru dezvoltarea de software. În schimb, a fost dezvoltat de statisticieni ca un mediu interactiv pentru analiza datelor. Puteți citi istoricul complet în lucrarea A Brief History of S (1). Interactivitatea este o caracteristică indispensabilă în știința datelor deoarece, după cum veți afla în curând, capacitatea de a explora rapid datele este o necesitate pentru succesul în acest domeniu. Cu toate acestea, ca și în alte limbaje de programare, vă puteți salva munca folosind scripturi care pot fi executate cu ușurință în orice moment. Aceste scripturi servesc ca o înregistrare a analizei pe care le-ați efectuat, o caracteristică cheie care facilitează munca reproductibilă. Dacă sunteți un programator expert, nu trebuie să vă așteptați ca R să respecte convențiile cu care sunteți obișnuit, deoarece veți fi dezamăgiți. Dacă aveți răbdare, veți ajunge să apreciați puterea inegalabilă a lui R atunci când vine vorba de analiza datelor și, în special, de vizualizarea datelor.

Alte caracteristici atractive ale lui R sunt:

  1. R este gratuit și open source (2).
  2. Funcționează pe toate platformele majore: Windows, Mac Os, UNIX/Linux.
  3. Scripturile și obiectele de date pot fi partajate fără probleme pe platforme.
  4. Există o comunitate mare, în creștere și activă de utilizatori R și, ca urmare, există numeroase resurse pentru a învăța și a pune întrebări (3,4,5).
  5. Este ușor pentru alții să contribuie cu suplimente care le permit dezvoltatorilor să partajeze implementări software ale noilor metodologii de știință a datelor. Acest lucru oferă utilizatorilor R acces timpuriu la cele mai recente metode și la instrumente care sunt dezvoltate pentru o mare varietate de discipline, inclusiv ecologie, biologie moleculară, științe sociale și geografie, doar pentru a numi câteva exemple.

Consola R

Analiza interactivă a datelor are loc de obicei pe consola R care execută comenzi pe măsură ce le tastați. Există mai multe modalități de a obține acces la o consolă R. O modalitate este să porniți pur și simplu R pe computer. Consola arată cam așa:

Ca exemplu rapid, încercați să utilizați consola pentru a calcula un bacșiș de 15% pentru o masă care a costat 19,71 USD:

0.15 * 19.71

#> [1] 2.96

Rețineți că în acest articol casetele gri sunt folosite pentru a afișa codul R introdus în consola R. Simbolul #> este folosit pentru a indica ceea ce iese la consola R.

Scripturi

Unul dintre marile avantaje ale lui R față de software-ul de analiză point-and-click este că vă puteți salva munca sub formă de scripturi. Puteți edita și salva aceste scripturi folosind un editor de text. Materialul din această carte a fost dezvoltat folosind mediul de dezvoltare interactiv integrat (IDE) RStudio (6). RStudio include un editor cu multe caracteristici specifice R, o consolă pentru a executa codul și alte panouri utile, inclusiv unul pentru a afișa cifre.

Majoritatea consolelor R bazate pe web oferă, de asemenea, un panou pentru editarea scripturilor, dar nu toate vă permit să salvați scripturile pentru o utilizare ulterioară.

Toate scripturile R utilizate pentru a genera această carte pot fi găsite pe GitHub (7).

RStudio

RStudio este util pentru proiectele de știință a datelor. Nu numai că oferă un editor pentru a ne crea și edita scripturile, ci oferă și multe alte instrumente utile.

Panourile

Când porniți RStudio pentru prima dată, veți vedea trei panouri. Panoul din stânga arată consola R. În partea dreaptă, panoul de sus include file precum Environment și History, în timp ce panoul de jos arată cinci file: File, Plots, Packages, Help și Viewer (aceste file se pot modifica în versiunile noi). Puteți face clic pe fiecare filă pentru a vă deplasa printre diferitele caracteristici.

Pentru a începe un nou script, puteți face clic pe File, apoi New File, apoi R Script.

Aceasta pornește un nou panou din stânga și aici puteți începe să vă scrieți scriptul.

Combinații de taste

Multe sarcini pe care le executăm cu mouse-ul pot fi realizate cu o combinație de taste. Aceste versiuni de tastatură pentru realizarea sarcinilor sunt denumite key bindings. De exemplu, tocmai am arătat cum să folosiți mouse-ul pentru a porni un nou script, dar puteți utiliza și o combinație de taste: Ctrl+Shift+N pe Windows și comandă+shift+N pe Mac.

Deși aici arătăm cum să se folosească și mouse-ul, vă recomandăm să memorați combinațiile de taste pentru operațiunile pe care le utilizați cel mai mult. RStudio oferă o foaie de note cu referințe rapide utilă cu cele mai utilizate comenzi. O puteți obține direct de la RStudio:

S-ar putea să doriți să păstrați aceasta la îndemână, astfel încât să puteți căuta combinații de taste atunci când vă aflați în situația de a efectua clicuri repetitive.

Rularea comenzilor în timpul editării scripturilor

Există multe editoare special create pentru codare. Acestea sunt utile deoarece culoarea și indentarea sunt adăugate automat pentru a face codul mai ușor de citit. RStudio este unul dintre acești editori și a fost dezvoltat special pentru R, dar este foarte util și pentru limbajul de programare Python. Unul dintre principalele avantaje oferite de RStudio față de alți editori este că ne putem testa cu ușurință codul pe măsură ce ne edităm scripturile. Mai jos arătăm un exemplu.

Să începem prin a deschide un nou script așa cum am făcut înainte. Un pas următor este să dai un nume scriptului. Putem face acest lucru prin intermediul editorului salvând noul script fără nume. Pentru a face acest lucru, faceți clic pe pictograma de salvare sau utilizați combinarea tastelor Ctrl+S pe Windows și command+S pe Mac.

Când cereți ca documentul să fie salvat pentru prima dată, RStudio vă va solicita un nume. O convenție bună este să folosiți un nume descriptiv, cu litere mici, fără spații, doar cratime pentru a separa cuvintele, iar apoi urmat de sufixul .R. Vom numi acest script my-first-script.R.

Acum suntem gata să începem editarea primului nostru script. Primele linii de cod dintr-un script R sunt dedicate încărcării bibliotecilor pe care le vom folosi. O altă caracteristică utilă a RStudio este că, odată ce introducem library(), începe să completeze automat bibliotecile pe care le-am instalat. Rețineți ce se întâmplă când introducem library(ti):

O altă caracteristică pe care poate ați observat-o este că atunci când scrieți library( a doua paranteză este adăugată automat. Acest lucru vă va ajuta să evitați una dintre cele mai frecvente erori de codare: uitarea de a închide o paranteză.

Acum putem continua să scriem cod. De exemplu, vom face un grafic care să arate totalul crimelor în raport cu totalul populației în funcție de stat. După ce ați terminat de scris codul necesar pentru a realiza acest plot, îl puteți încerca executând codul. Pentru a face acest lucru, faceți clic pe butonul Run din partea dreaptă sus a panoului de editare. De asemenea, puteți utiliza combinarea tastelor: Ctrl+Shift+Enter pe Windows sau command+shift+return pe Mac.

Odată ce rulați codul, îl veți vedea că apare în consola R și, în acest caz, graficul generat apare în consola ploturilor. Rețineți că consola ploturilor are o interfață utilă care vă permite să faceți clic înapoi și înainte pe diferite ploturi, să măriți plotul sau să salvați ploturile ca fișiere.

Pentru a rula o linie la un moment dat în loc de întregul script, puteți utiliza Control-Enter pe Windows și command-return pe Mac.

Modificarea opțiunilor globale

Puteți schimba destul de mult aspectul și funcționalitatea lui RStudio.

Pentru a schimba opțiunile globale, faceți clic pe Tools, apoi pe Global Options….

Ca exemplu, vă arătăm cum să faceți o schimbare pe care o recomandăm. Aceasta este pentru a schimba Save workspace to .RData on exit to Never în Never și debifați Restore .RData into workspace at start. În mod implicit, când ieșiți din R salvați toate obiectele pe care le-ați creat într-un fișier numit .RData. Acest lucru se face astfel încât atunci când reporniți sesiunea în același folder, va încărca aceste obiecte. Constatăm că acest lucru provoacă confuzie mai ales atunci când partajăm codul cu colegii și presupunem că au acest fișier .RData. Pentru a modifica aceste opțiuni, faceți setările generale să arate astfel:

Instalarea pachetelor R

Funcționalitatea oferită de o nouă instalare a lui R este doar o mică parte din ceea ce este posibil. De fapt, ne referim la ceea ce obțineți după prima instalare ca R de bază. Funcționalitatea suplimentară provine din suplimentele disponibile de la dezvoltatori. În prezent, există sute dintre acestea disponibile de la CRAN și multe altele partajate prin alte depozite, cum ar fi GitHub. Cu toate acestea, deoarece nu toată lumea are nevoie de toate funcționalitățile disponibile, R pune la dispoziție diferite componente prin intermediul pachetelor. R ușurează instalarea pachetelor din R. De exemplu, pentru a instala pachetul dslabs, pe care îl folosim pentru a partaja seturi de date și cod, ar trebui să tastați:

install.packages(„dslabs”)

În RStudio, puteți naviga la fila Tools și selectați pachetele de instalare. Apoi puteți încărca pachetul în sesiunile R folosind funcția de bibliotecă:

library(dslabs)

Putem încărca pachete fără a le instala. Acest lucru se datorează faptului că odată ce instalați un pachet, acesta rămâne instalat și trebuie doar încărcat cu bibliotecă. Pachetul rămâne încărcat până când ieșim din sesiunea R. Dacă încercați să încărcați un pachet și obțineți o eroare, probabil că trebuie să îl instalați mai întâi.

Putem instala mai mult de un pachet simultan, introducând un vector de caractere la această funcție:

install.packages(c(„tidyverse”, „dslabs”))

Rețineți că instalarea tidyverse instalează de fapt mai multe pachete. Acest lucru se întâmplă de obicei atunci când un pachet are dependențe sau folosește funcții din alte pachete. Când încărcați un pachet folosind bibliotecă, încărcați și dependențele acestuia.

Odată ce pachetele sunt instalate, le puteți încărca în R și nu trebuie să le instalați din nou, cu excepția cazului în care instalați o versiune nouă de R. Rețineți că pachetele sunt instalate în R, nu în RStudio.

Este util să păstrați o listă cu toate pachetele de care aveți nevoie pentru munca dvs. într-un script, deoarece, dacă trebuie să efectuați o nouă instalare a lui R, puteți să reinstalați toate pachetele pur și simplu rulând un script.

Puteți vedea toate pachetele pe care le-ați instalat folosind următoarea funcție:

installed.packages()

Referințe

  1. https://pdfs.semanticscholar.org/9b48/46f192aa37ca122cfabb1ed1b59866d8bfda.pdf
  2. https://opensource.org/history
  3. https://stats.stackexchange.com/questions/138/free-resources-for-learning-r
  4. https://www.r-project.org/help.html
  5. https://stackoverflow.com/documentation/r/topics
  6. https://www.rstudio.com/
  7. https://github.com/rafalab/dsbook

 

Sursa: Rafael A. Irizarry, Introduction to Data Science. (2022) Licența CC BY-NC-SA 4.0. Traducere și adaptare independente: Nicolae Sfetcu

1 … 40 41 42 43 44 45 46 47