Rezumarea automată în inteligența artificială prin învățare nesupravegheată: TextRank

IT & C - Descarcă PDFSfetcu, Nicolae (2023), Rezumarea automată în inteligența artificială prin învățare nesupravegheată: TextRank, IT & C, 2:2, 43-52, DOI: 10.58679/IT78864, https://www.internetmobile.ro/rezumarea-automata-in-inteligenta-artificiala-prin-invatare-nesupravegheata-textrank/

 

Automatic summarization in artificial intelligence via unsupervised learning: TextRank

Abstract

Automatic summarization is the process of summarizing a text document with a computer program to create a summary that captures the most important points of the original document. Technologies that can make a coherent abstract take into account variables such as length, writing style, and syntax. Machine learning is a subfield of artificial intelligence dedicated to understanding and building methods that allow machines to „learn”. One key phrase extraction algorithm is TextRank, which exploits the structure of the text itself to determine key phrases that appear „central” to the text.

Keywords: summarization, machine learning, unsupervised machine learning, TextRank, LexRank

Rezumat

Rezumarea automată este procesul de sumarizare a unui document text cu un program de calculator pentru a crea un rezumat care să rețină cele mai importante puncte ale documentului original. Tehnologiile care pot face un rezumat coerent iau în considerare variabile precum lungimea, stilul de scriere și sintaxa. Învățarea automată este un subdomeniu al inteligenței artificiale dedicat înțelegerii și construirii de metode care permit mașinilor să ”învețe”. Un algoritm de extragere a frazelor cheie este TextRank, careexploatează structura textului în sine pentru a determina expresiile cheie care apar „centrale” pentru text.

Cuvinte cheie: rezumare, rezumarea automată, învățarea automată, învățarea automată nesupravegheată, TextRank, LexRank

 

IT & C, Volumul 2, Numărul 3, Septembrie 2023, pp. 43-52
ISSN 2821 – 8469, ISSN – L 2821 – 8469, DOI: 10.58679/IT78864
URL: https://www.internetmobile.ro/rezumarea-automata-in-inteligenta-artificiala-prin-invatare-nesupravegheata-textrank/
© 2023 Nicolae Sfetcu. Responsabilitatea conținutului, interpretărilor și opiniilor exprimate revine exclusiv autorilor.

 

Rezumarea automată în inteligența artificială prin învățare nesupravegheată: TextRank

Nicolae Sfetcu[1]

nicolae@sfetcu.com

[1] Cercetător – Academia Română – Comitetul Român de Istoria și Filosofia Științei și Tehnicii (CRIFST), Divizia de Istoria Științei (DIS)

 

Rezumarea automată

Rezumarea automată (1) este procesul de sumarizare a unui document text cu un program de calculator pentru a crea un rezumat care să rețină cele mai importante puncte ale documentului original. Tehnologiile care pot face un rezumat coerent iau în considerare variabile precum lungimea, stilul de scriere și sintaxa. Rezumarea automată a datelor face parte din învățarea automată și extragerea datelor. Ideea principală a rezumatului este de a găsi un subset reprezentativ de date, care conține informațiile întregului set. Tehnologiile de rezumat sunt folosite astăzi într-un număr mare de sectoare din industrie. Un exemplu de utilizare a tehnologiei de rezumare îl reprezintă motoarele de căutare, cum ar fi Google. Alte exemple includ rezumatul documentelor, rezumatul colecției de imagini și rezumatul video. Rezumatul documentului încearcă să creeze automat un sumar reprezentativ sau un rezumat al întregului document, prin găsirea celor mai informative propoziții. În mod similar, în rezumarea imaginilor, sistemul găsește imaginile cele mai reprezentative și importante (sau proeminente). În mod similar, în videoclipurile pentru consumatori a’i dori să eliminați scenele plictisitoare sau repetitive și să extrageți o versiune mult mai scurtă și concisă a videoclipului. Acest lucru este, de asemenea, important, să zicem pentru videoclipurile de supraveghere, în care s-ar putea să doriți să extrageți numai evenimente importante din videoclipul înregistrat, din moment ce cea mai mare parte a videoclipului poate fi neinteresantă, fără a se întâmpla nimic. Pe măsură ce problema supraîncărcării informaționale crește și pe măsură ce cantitatea de date crește, interesul pentru rezumarea automată crește și el.

În general, există două abordări ale rezumării automate: extracția și abstracția. Metodele extractive funcționează prin selectarea unui subset de cuvinte, fraze sau propoziții existente în textul original pentru a forma rezumatul. În schimb, metodele abstractive construiesc o reprezentare semantică internă și apoi folosesc tehnici de generare a limbajului natural pentru a crea un rezumat care este mai aproape de ce poate genera un om. Un astfel de rezumat poate conține cuvinte care nu sunt prezente în mod explicit în original. Cercetarea metodelor abstractive este un domeniu de cercetare din ce în ce mai important și activ; cu toate acestea, din cauza constrângerilor de complexitate, cercetarea până în prezent s-a concentrat în primul rând pe metodele extractive. În unele domenii de aplicație, rezumatul extractiv are mai mult sens. Exemple dintre acestea includ rezumatul colecțiilor de imagini și rezumatul videoclipurilor.

Învățarea automată

Mașinile kernel pentru învățarea automată

(Mașinile kernel sunt utilizate pentru a calcula funcții neliniar separabile într-o funcție de dimensiune mai mare separabilă liniar. Credit: Alisneaky/Wikimedia, licența CC0 1.0)

Învățarea automată  (2) este un domeniu dedicat înțelegerii și construirii de metode care permit mașinilor să „învețe” – adică metode care valorifică datele pentru a îmbunătăți performanța computerului la un set de sarcini.[1] Este văzut ca un subdomeniu larg al inteligenței artificiale [2].

Algoritmii de învățare automată construiesc un model bazat pe date eșantion, cunoscut sub numele de date de antrenament, pentru a face predicții sau decizii fără a fi programat în mod explicit pentru a face acest lucru.[3] Algoritmii de învățare automată sunt utilizați într-o mare varietate de aplicații, cum ar fi în medicină, filtrarea e-mailului, recunoașterea vorbirii, agricultură și viziunea computerizată, unde este dificil sau imposibil să se dezvolte algoritmi convenționali pentru a îndeplini sarcinile necesare.[4][5] ]

Un subset al învățării automate este strâns legat de statisticile computaționale, care se concentrează pe realizarea de predicții folosind computere, dar nu toată învățarea automată este învățare statistică. Studiul optimizării matematice oferă metode, teorii și domenii de aplicare în domeniul învățării automate. Mineritul datelor este un domeniu de studiu conex, concentrându-se pe analiza exploratorie a datelor prin învățare nesupravegheată.[7][8]

Unele implementări ale învățării automate folosesc datele și rețelele neuronale într-un mod care imită funcționarea unui creier biologic.[9][10]

În aplicarea sa în problemele de afaceri, învățarea automată este denumită și analitica predictivă.

Algoritmii de învățare funcționează pe baza faptului că strategiile, algoritmii și inferențele care au funcționat bine în trecut vor continua să funcționeze bine în viitor. Aceste concluzii pot fi uneori evidente, cum ar fi „deoarece soarele a răsărit în fiecare dimineață în ultimele 10.000 de zile, probabil că va răsări și mâine dimineață”. Alteori, acestea pot fi mai nuanțate, cum ar fi „X% din familii au specii separate geografic, cu variante de culoare, deci există o șansă de Y% ca lebede negre nedescoperite să existe”.[11]

Programele de învățare automată pot îndeplini sarcini fără a fi programate în mod explicit pentru a face acest lucru. Implică ideea unor calculatoare care învață din datele furnizate astfel încât să îndeplinească anumite sarcini. Pentru sarcini simple atribuite computerelor, este posibil să se programeze algoritmi care spun mașinii cum să execute toți pașii necesari pentru a rezolva problema în cauză; din partea computerului, nu este nevoie de învățare. Pentru sarcini mai avansate, poate fi o provocare pentru un om să creeze manual algoritmii necesari. În practică, se poate dovedi mai eficient să ajute mașina să-și dezvolte propriul algoritm, mai degrabă decât ca programatorii umani să specifice fiecare pas necesar.[12]

Disciplina învățării automate folosește diverse abordări pentru a învăța computerele să îndeplinească sarcini în care nu este disponibil un algoritm pe deplin satisfăcător. În cazurile în care există un număr mare de răspunsuri potențiale, o abordare este de a eticheta unele dintre răspunsurile corecte ca fiind valide. Acestea pot fi apoi folosite ca date de antrenament pentru computer pentru a îmbunătăți algoritmul (algoritmii) pe care îl folosește pentru a determina răspunsurile corecte. De exemplu, pentru a instrui un sistem pentru sarcina de recunoaștere digitală a caracterelor, a fost adesea folosit setul de date MNIST de cifre scrise de mână.[12]

Abordări de învățare nesupravegheată: TextRank

Un algoritm de extragere a frazelor cheie este TextRank. (1) În timp ce metodele supravegheate au câteva proprietăți frumoase, cum ar fi capacitatea de a produce reguli interpretabile pentru caracteristicile care caracterizează o expresie cheie, ele necesită, de asemenea, o cantitate mare de date de antrenament. Sunt necesare multe documente cu expresii cheie cunoscute. În plus, antrenamentul pe un anumit domeniu tinde să personalizeze procesul de extracție la acel domeniu, astfel încât clasificatorul rezultat nu este neapărat portabil, așa cum demonstrează unele dintre rezultatele lui Turney. Extragerea nesupravegheată a frazelor cheie elimină nevoia de date de antrenament. Ea abordează problema dintr-un unghi diferit. În loc să încerce să învețe caracteristici explicite care caracterizează expresiile cheie, algoritmul TextRank exploatează structura textului în sine pentru a determina expresiile cheie care apar „centrale” pentru text, în același mod în care PageRank selectează paginile web importante. Amintiți-vă că acest lucru se bazează pe noțiunea de „prestigiu” sau „recomandare” din rețelele sociale. În acest fel, TextRank nu se bazează deloc pe date de antrenament anterioare, ci mai degrabă poate fi rulat pe orice bucată de text arbitrară și poate produce rezultate pur și simplu pe baza proprietăților intrinseci ale textului. Astfel algoritmul este ușor de portat în noi domenii și limbaje.

TextRank [13] este un algoritm de clasare bazat pe grafice de uz general pentru NLP. În esență, rulează PageRank pe un grafic special conceput pentru o anumită sarcină NLP. Pentru extragerea frazelor cheie, construiește un grafic folosind un set de unități de text ca noduri. Muchiile se bazează pe o anumită măsură a asemănării semantice sau lexicale între nodurile unității de text. Spre deosebire de PageRank, marginile sunt de obicei nedirecționate și pot fi ponderate pentru a reflecta un grad de similitudine. Odată construit graficul, acesta este folosit pentru a forma o matrice stocastică, combinată cu un factor de amortizare (ca în „modelul de surfer aleatoriu”), iar clasificarea peste noduri este obținută prin găsirea vectorului propriu corespunzător valorii proprii 1 (adică,  distribuţia staţionară a mersului aleator pe grafic).

Nodurile ar trebui să corespundă cu ceea ce vrem să clasăm. Potențial, am putea face ceva similar cu metodele supravegheate și am crea un nod pentru fiecare unigramă, bigramă, trigramă etc. Cu toate acestea, pentru a menține graficul mic, autorii decid să clasifice unigramele individuale într-un prim pas, apoi să includă un al doilea pas care îmbină unigramele adiacente bine clasate pentru a forma expresii cu mai multe cuvinte. Acest lucru are un efect secundar frumos de a ne permite să producem fraze cheie de lungime arbitrară. De exemplu, dacă clasificăm unigramele și constatăm că „procesare” „avansat”, „limbaj” și „natural”  obțin toate ranguri înalte, atunci ne-am uita la textul original și vom vedea că aceste cuvinte apar consecutiv și creează în final expresia cheie folosind toate patru împreună. Rețineți că unigramele plasate în grafic pot fi filtrate printr-o parte a vorbirii. Autorii au descoperit că adjectivele și substantivele sunt cele mai bune de inclus. Astfel, unele cunoștințe lingvistice intră în joc în acest pas.

Marginile sunt create pe baza apariției simultane a cuvintelor în această aplicație a TextRank. Două noduri sunt conectate printr-o muchie dacă unigramele apar într-o fereastră de dimensiune N în textul original. N este de obicei în jur de 2-10. Astfel, „natural” și „limbaj” ar putea fi legate într-un text despre NLP. „Natural” și „procesare” ar fi, de asemenea, conectate, deoarece ambele ar apărea în același șir de N cuvinte. Aceste margini se bazează pe noțiunea de „coeziune a textului” și pe ideea că cuvintele care apar unul lângă altul sunt probabil legate într-un mod semnificativ și se „recomandă” reciproc cititorului.

Deoarece această metodă clasifică pur și simplu nodurile individuale, avem nevoie de o modalitate de a limita sau de a produce un număr limitat de fraze cheie. Tehnica aleasă este să setați un număr T să fie o fracțiune specificată de utilizator din numărul total de noduri din grafic. Apoi, nodurile/unigramele de sus T sunt selectate pe baza probabilităților lor staționare. Se aplică apoi un pas de postprocesare pentru a îmbina instanțele adiacente ale acestor unigrame T. Ca rezultat, vor fi produse mai multe sau mai puține expresii cheie finale, dar numărul ar trebui să fie aproximativ proporțional cu lungimea textului original.

Inițial, nu este clar de ce aplicarea PageRank unui grafic de co-ocurență ar produce expresii cheie utile. O modalitate de a gândi la asta este următoarea. Un cuvânt care apare de mai multe ori într-un text poate avea mai mulți vecini concomitenți. De exemplu, într-un text despre învățarea automată, unigrama „învățare” poate apărea împreună cu „mașină”, „supravegheată”, „nesupravegheată” și „semi-supravegheată” în patru propoziții diferite. Astfel, nodul „învățare” ar fi un „hub” central care se conectează la aceste alte cuvinte modificatoare. Rularea PageRank/TextRank pe grafic are probabil ca „învățare” să se claseze foarte bine. În mod similar, dacă textul conține expresia „clasificare supravegheată”, atunci ar exista o margine între „supravegheat” și „clasificare”. Dacă „clasificarea” apare mai multe alte locuri și, prin urmare, are mulți vecini, importanța sa ar contribui la importanța „supravegheată”. Dacă ajunge la un rang înalt, va fi selectat ca una dintre primele T unigrame, împreună cu „învățare” și probabil „clasificare”. În pasul final de post-procesare, vom ajunge apoi cu expresii cheie „învățare supravegheată” și „clasificare supravegheată”.

Pe scurt, graficul de co-ocurență va conține regiuni dens conectate pentru termeni care apar des și în contexte diferite. O plimbare aleatorie pe acest grafic va avea o distribuție staționară care atribuie probabilități mari termenilor din centrele clusterelor. Acest lucru este similar cu paginile web dens conectate care sunt clasate foarte bine de PageRank. Această abordare a fost utilizată și în rezumarea documentelor, analizată mai jos.

TextRank și LexRank

Abordarea nesupravegheată a rezumatului este, de asemenea, destul de asemănătoare în spirit cu extragerea nesupravegheată a frazelor cheie și ocolește problema datelor costisitoare de antrenament. (1) Unele abordări de rezumare nesupravegheate se bazează pe găsirea unei propoziții „centroid”, care este vectorul cuvântului mediu al tuturor propozițiilor din document. Apoi propozițiile pot fi clasificate în funcție de asemănarea lor cu această propoziție centroid.

O modalitate mai bazată pe principii de a estima importanța propoziției este utilizarea mersurilor aleatorii și a centralității vectorului propriu. LexRank [14] este un algoritm în esență identic cu TextRank și ambii folosesc această abordare pentru rezumarea documentelor. Cele două metode au fost dezvoltate de grupuri diferite în același timp, iar LexRank s-a concentrat pur și simplu pe rezumat, dar puteau fi la fel de ușor utilizate pentru extragerea expresiilor cheie sau orice altă sarcină de clasare NLP.

Atât în LexRank, cât și în TextRank, un grafic este construit prin crearea unui nod pentru fiecare propoziție din document.

Marginile dintre propoziții se bazează pe o formă de similitudine semantică sau de suprapunere a conținutului. În timp ce LexRank folosește asemănarea cosinus a vectorilor TF-IDF, TextRank folosește o măsură foarte similară, bazată pe numărul de cuvinte pe care două propoziții le au în comun (normalizate de lungimea propozițiilor). Lucrarea LexRank a explorat utilizarea marginilor neponderate după aplicarea unui prag valorilor cosinus, dar a experimentat și utilizarea marginilor cu ponderi egale cu scorul de similaritate. TextRank folosește scoruri de similaritate continue ca ponderi.

În ambii algoritmi, propozițiile sunt ordonate prin aplicarea PageRank la graficul rezultat. Un rezumat se formează prin combinarea propozițiilor de top, folosind un prag sau o lungime limită pentru a limita dimensiunea rezumatului.

Merită remarcat faptul că TextRank a fost aplicat rezumatului exact așa cum este descris aici, în timp ce LexRank a fost folosit ca parte a unui sistem de sumarizare mai mare (MEAD) care combină scorul LexRank (probabilitate staționară) cu alte caracteristici precum poziția și lungimea propoziției folosind o combinație liniară cu greutăți specificate de utilizator sau reglate automată. În acest caz, ar putea fi necesare unele documente de instruire, deși rezultatele TextRank arată că funcțiile suplimentare nu sunt absolut necesare.

O altă distincție importantă este că TextRank a fost folosit pentru rezumarea unui singur document, în timp ce LexRank a fost aplicat pentru rezumarea mai multor documente. Sarcina rămâne aceeași în ambele cazuri – doar numărul de propoziții din care să alegeți a crescut. Cu toate acestea, când rezumați mai multe documente, există un risc mai mare de a selecta propoziții duplicat sau extrem de redundante pentru a le plasa în același rezumat. Imaginați-vă că aveți un grup de articole de știri despre un anumit eveniment și doriți să realizați un rezumat. Este posibil ca fiecare articol să aibă multe propoziții similare și ați dori să includeți numai idei distincte în rezumat. Pentru a rezolva această problemă, LexRank aplică o etapă de post-procesare euristică, care creează un rezumat adăugând propoziții în ordinea clasamentului, dar renunță la orice propoziții care sunt prea asemănătoare cu cele deja plasate în rezumat. Metoda utilizată se numește Cross-Sentence Information Subsumption (CSIS).

Aceste metode funcționează pe baza ideii că propozițiile „recomandă” cititorului alte propoziții similare. Astfel, dacă o propoziție este foarte asemănătoare cu multe altele, va fi probabil o propoziție de mare importanță. Importanța acestei propoziții provine și din importanța propozițiilor care o „recomandă”. Astfel, pentru a obține o poziție superioară și plasată într-un rezumat, o propoziție trebuie să fie similară cu multe propoziții care sunt, la rândul lor, similare cu multe alte propoziții. Acest lucru are sens intuitiv și permite aplicarea algoritmilor oricărui text nou arbitrar. Metodele sunt independente de domeniu și ușor de portat. Ne-am putea imagina caracteristicile care indică propoziții importante în domeniul știrilor putând varia considerabil față de domeniul biomedical. Cu toate acestea, abordarea nesupravegheată bazată pe „recomandări” se aplică oricărui domeniu.

Referințe

(1) Bentley, Drew (2023). Business intelligence și analitica în afaceri, Traducere și adaptare de Nicolae Sfetcu. Editura MultiMedia Publishing, ISBN 978-606-033-776-8, DOI: 10.58679/MM70651

(2) Învățarea automată în inteligența artificială, în Telework, 27.04.2023, https://www.telework.ro/ro/invatarea-automata-in-inteligenta-artificiala/

Bibliografie

[1] Mitchell, Tom (1997). Machine Learning. New York: McGraw Hill. ISBN 0-07-042807-7. OCLC 36417892. Archived from the original on 2020-04-07.

[2] George, Gerard; Haas, Martine R.; Pentland, Alex (2014). „FROM THE EDITORS: BIG DATA AND MANAGEMENT”. The Academy of Management Journal. 57 (2): 321–326. ISSN 0001-4273.

[3] Definiția „fără a fi programat în mod explicit” este adesea atribuită lui Arthur Samuel, care a inventat termenul de „învățare automată” în 1959, dar expresia nu se găsește literal în această publicație și poate fi o parafrază care a apărut mai târziu. Confer „Parafrazând Arthur Samuel (1959), întrebarea este: Cum pot calculatoarele să învețe să rezolve probleme fără a fi programate în mod explicit?” în Koza, John R.; Bennett, Forrest H.; Andre, David; Keane, Martin A. (1996). „Automated Design of Both the Topology and Sizing of Analog Electrical Circuits Using Genetic Programming”. Artificial Intelligence in Design ’96. Artificial Intelligence in Design ’96. Springer, Dordrecht. pp. 151–170. doi:10.1007/978-94-009-0279-4_9. ISBN 978-94-010-6610-5.

[4] Hu, Junyan; Niu, Hanlin; Carrasco, Joaquin; Lennox, Barry; Arvin, Farshad (2020). „Voronoi-Based Multi-Robot Autonomous Exploration in Unknown Environments via Deep Reinforcement Learning”. IEEE Transactions on Vehicular Technology. 69 (12): 14413–14423. doi:10.1109/tvt.2020.3034800. ISSN 0018-9545. S2CID 228989788.

[5] Yoosefzadeh-Najafabadi, Mohsen; Hugh, Earl; Tulpan, Dan; Sulik, John; Eskandari, Milad (2021). „Application of Machine Learning Algorithms in Plant Breeding: Predicting Yield From Hyperspectral Reflectance in Soybean?”. Front. Plant Sci. 11: 624273. doi:10.3389/fpls.2020.624273. PMC 7835636. PMID 33510761.

[6] Bishop, C. M. (2006), Pattern Recognition and Machine Learning, Springer, ISBN 978-0-387-31073-2

[7] Machine learning and pattern recognition „can be viewed as two facets of the same field.”[6]: vii 

[8] Friedman, Jerome H. (1998). „Data Mining and Statistics: What’s the connection?”. Computing Science and Statistics. 29 (1): 3–9.

[9] „What is Machine Learning?”. www.ibm.com. Archived from the original on 2021-08-13

[10] Zhou, Victor (2019-12-20). „Machine Learning for Beginners: An Introduction to Neural Networks”. Medium. Archived from the original on 2022-03-09

[11] Domingos, Pedro (September 22, 2015). The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World. Basic Books. ISBN 978-0465065707, Chapter 6, Chapter 7.

[12] Ethem Alpaydin (2020). Introduction to Machine Learning (Fourth ed.). MIT. pp. xix, 1–3, 13–18. ISBN 978-0262043793.

[13] Rada Mihalcea and Paul Tarau, 2004: TextRank: Bringing Order into Texts, Department of Computer Science University of North Texas „Archived copy” (PDF).

[14] Güneş Erkan and Dragomir R. Radev: LexRank: Graph-based Lexical Centrality as Salience in Text Summarization [1]

 

CC BY SA 4.0Acesta este un articol cu Acces Deschis (Open Access) sub licența Creative Commons CC BY-SA 4.0 (http://creativecommons.org/licenses/by/4.0/).

Arhitectura de bază a rețelelor 5G

IT & C - Descarcă PDFSfetcu, Nicolae (2023), Arhitectura de bază a rețelelor 5G, IT & C, 2:3, 17-25, DOI: 10.58679/IT90882, https://www.internetmobile.ro/arhitectura-de-baza-a-retelelor-5g/

 

Basic architecture of 5G networks

Abstract

March 2019 saw the launch of the industry’s first database tracking global 5G device launches. One of the most important innovations in the 5G architecture is the full virtualization of the core network (5GCN). For example, the „softwareization” of network functions will allow easier portability and greater flexibility of network systems and services (Control-User-Plane Separation, CUPS). New features and improvements brought by GPP specification version 16 are reflected in updates and additions to Core 5G features

Keywords: telecommunications networks, 5G communications, 5G, core network virtualization, GPP specification, Core 5G

Rezumat

În martie 2019 s-a lansat prima bază de date din industrie care urmărește lansările de dispozitive 5G la nivel mondial. Una dintre cele mai importante inovații în arhitectura 5G este virtualizarea completă a rețelei de bază (5GCN). De exemplu, „softwarizarea” funcțiilor de rețea va permite o portabilitate mai ușoară și o flexibilitate mai mare a sistemelor și serviciilor de rețea (Separarea planului de control-utilizator, CUPS). Noile caracteristici și îmbunătățiri aduse de versiunea 16 a specificației GPP sunt reflectate în actualizări și adăugiri la funcțiile Core 5G

Cuvinte cheie: rețele de telecomunicații, comunicații 5G, 5G, virtualizarea rețelei de bază, specificația GPP, Core 5G

 

IT & C, Volumul 2, Numărul 3, Septembrie 2023, pp. 17-25
ISSN 2821 – 8469, ISSN – L 2821 – 8469, DOI: 10.58679/IT90882
URL: https://www.internetmobile.ro/arhitectura-de-baza-a-retelelor-5g/
© 2023 Nicolae Sfetcu. Responsabilitatea conținutului, interpretărilor și opiniilor exprimate revine exclusiv autorilor.

 

Arhitectura de bază a rețelelor 5G

Nicolae Sfetcu[1]

nicolae@sfetcu.com

[1] Cercetător – Academia Română – Comitetul Român de Istoria și Filosofia Științei și Tehnicii (CRIFST), Divizia de Istoria Științei (DIS)

 

Introducere

În martie 2019, Global Mobile Suppliers Association a lansat prima bază de date din industrie care urmărește lansările de dispozitive 5G la nivel mondial.[1] GSA a identificat 23 de furnizori care au confirmat disponibilitatea viitoarelor dispozitive 5G cu 33 de dispozitive diferite, inclusiv variante regionale. Au existat șapte factori de formă anunțați pentru dispozitive 5G: (telefoane (×12 dispozitive), hotspot-uri (×4), echipamente interioare și exterioare la sediul clienților (×8), module (×5), dongle și adaptoare Snap-on (×2) ), și terminale USB (×1)).[2] Până în octombrie 2019, numărul de dispozitive 5G anunțate a crescut la 129, în 15 factori de formă, de la 56 de furnizori.[3]

În arena chipset-urilor 5G IoT, în aprilie 2019 existau patru chipseturi de modem 5G comerciale și un procesor/platformă comercială, fiind așteptate mai multe lansări în viitorul apropiat.[4]

Pe 6 martie 2020, a fost lansat primul smartphone 5G Samsung Galaxy S20. Potrivit Business Insider, caracteristica 5G a fost prezentată ca fiind mai scumpă în comparație cu 4G; gama începe de la 1.000 USD, în comparație cu Samsung Galaxy S10e, care a început de la 750 USD.[5] Pe 19 martie, HMD Global, actualul producător de telefoane marca Nokia, a anunțat Nokia 8.3 5G, despre care a susținut că are o gamă mai largă de compatibilitate 5G decât orice alt telefon lansat până atunci. Se pretinde că modelul de gamă medie, cu un preț inițial în zona euro de 599 EUR, acceptă toate benzile 5G de la 600 MHz la 3,8 GHz.[6]

Pe 13 octombrie 2020, Apple a anunțat iPhone 12 și iPhone 12 Pro, prima linie de telefoane Apple care acceptă conectivitate 5G. Apple a colaborat cu Verizon pentru a activa planurile 5G pe iPhone 12.

Arhitectura

Arhitectura rețelei de bază 5G

Zoom-in arhitectura rețelei de bază

Una dintre cele mai importante inovații în arhitectura 5G este virtualizarea completă a rețelei de bază (5GCN). De exemplu, „softwarizarea” funcțiilor de rețea va permite o portabilitate mai ușoară și o flexibilitate mai mare a sistemelor și serviciilor de rețea (Separarea planului de control-utilizator, CUPS). Rețeaua definită de software (SDN) abstractizează funcționalități de rețea de nivel scăzut pentru a simplifica gestionarea rețelei. Virtualizarea funcției de rețea (NFV) oferă tehnologia de abilitare pentru plasarea diferitelor funcții de rețea în diferite componente de rețea pe baza nevoilor / cerințelor de performanță; și elimină nevoia de hardware specific funcției sau serviciului. SDN și NFV, completându-se reciproc, îmbunătățesc flexibilitatea rețelei, simplifică controlul și gestionarea rețelei, elimină bariera soluțiilor specifice furnizorului sau proprietății, și sunt astfel considerate extrem de importante pentru rețelele viitoare. Aceste noi tehnologii și concepte de rețea care se bazează în mare măsură pe „software” și virtualizarea funcțiilor de rețea vor introduce amenințări noi și complexe. Rețeaua centrală este partea centrală a infrastructurii 5G și permite toate funcțiile legate de tehnologiile multi-acces. Scopul său principal este de a furniza servicii pe toate tipurile de rețele (wireless, fixe, convergente).

Una peste alta, în noua specificație rețeaua de bază a fost modificată cu câteva funcții noi și câteva componente, în timp ce structura generală a rămas aproape neschimbată. Majoritatea funcțiilor adăugate sunt legate de probleme de localizare și implementarea serviciilor de localizare. În figura prezentată mai jos, aceste noi funcții au fost adăugate. În același timp, segmentarea a fost omisă în zoom-ul rețelei de bază, deoarece este inclusă într-un zoom specializat mai târziu în acest ghid. Rețeaua de bază a fost definită de 3GPP și structura sa este următoarea:

Descrierea elementelor rețelei de bază 5G sunt după cum urmează:

  • Element
    • Scurtă descriere
  • Funcția de acces și gestionare a mobilității (AMF)
    • (Așa cum este definit în 3GPP TS23.501 Secțiunea 6.2.117)
    • AMF poate include următoarele funcționalități:
      • Terminarea interfeței RAN CP;
      • Terminarea NAS, cifrarea NAS și protecția integrității;
      • Managementul înregistrării;
      • Managementul conexiunii;
      • Managementul accesibilității;
      • Managementul mobilității; Furnizarea transportului pentru mesajele SM între UE și SMF;
      • Proxy transparent pentru rutarea mesajelor SM;
      • Autentificare acces;
      • Autorizație de acces.
      • Furnizare transportul mesajelor SMS între UE și SMSF;
      • Funcționalitatea ancorei de securitate;
      • Gestionarea serviciilor de localizare pentru servicii de reglementare;
      • Furnizare transport pentru mesajele Serviciilor de localizare între UE și LMF, precum și între RAN și LMF;
      • Alocarea ID-ului purtătorului EPS pentru inter-lucru cu EPS; Notificarea evenimentului de mobilitate UE;
      • Suport pentru optimizarea controlului / planului utilizatorului IoT celular (CIoT);
      • Suport pentru autentificare și autorizare specifice rețelelor.
  • Funcția de gestionare a sesiunii (SMF)
    • (Așa cum este definită în 3GPP TS23.501 secțiunea 6.2.2)
    • SMF poate include următoarele funcționalități:
      • Gestionarea sesiunii; Alocarea și gestionarea adreselor IP UE (funcții DHCPv4 și v6 (server și client));
      • Răspunde solicitărilor Protocolului de rezoluție a adreselor (ARP) și / sau solicitărilor vecinilor IPv6;
      • Selectarea și controlul funcției UP, inclusiv controlul UPF către proxy ARP sau IPv6 Neighbor Discovery;
      • Selectarea și controlul funcției UP;
      • Configurează direcția de trafic la UPF pentru a direcționa traficul către destinația corespunzătoare;
      • Închiderea interfețelor către funcțiile de control al politicii; Colectarea datelor de încărcare și suportul interfețelor de încărcare;
      • Controlul și coordonarea colectării datelor de încărcare la UPF;
      • Terminarea părților de gestionare a sesiunii din mesajele NAS;
      • Notificare date legătură descendentă;
      • Determinare modul sesiunii și continuitatea serviciului unei sesiuni.
      • Suport pentru optimizarea planului de control CIoT
      • Suport pentru compresia antetului;
      • Furnizarea de parametri externi (parametri de comportament UE așteptați sau parametri de configurare a rețelei);
      • Sprijină descoperirea Proxy-CSCF pentru serviciile IP Multimedia Subsystem (IMS);
      • Funcționalitate în roaming;
      • Gestionarea aplicării locale pentru aplicarea SLA-urilor QoS (VPLMN);
      • Colectarea datelor de încărcare și interfața de încărcare
    • (NOTĂ: Nu toate funcționalitățile trebuie să fie acceptate într-o instanță a unei secțiuni de rețea. În plus față de funcționalitățile SMF descrise mai sus, SMF poate include funcționalități legate de politici, așa cum este descris în clauza 6.2.2 din TS 23.50318)
  • Funcția planului utilizatorilor (UPF)
    • UPF suportă:
      • Direcționarea și redirecționarea pachetelor;
      • Inspecția pachetelor;
      • Manipularea QoS;
      • Interceptare legală (colecție UP);
      • Raportarea utilizării traficului;
      • Acționează ca punct de sesiune PDU extern de interconectare la rețeaua de date (DN);
      • Este un punct de ancorare pentru mobilitatea intra și inter-RAT;
      • Funcționalitate pentru a răspunde la solicitările Protocolului de rezoluție a adreselor (ARP) și / sau la solicitările de solicitare a vecinilor IPv6 pe baza informațiilor cache locale pentru PDU-urile Ethernet;
      • Funcționalitatea translatorului în rețea sensibil la timp (TSN);
      • Comunicare cu latență ridicată, vezi clauza;
      • Accesare funcționalitatea de direcționare, comutare și divizare a traficului (ATSSS) pentru a direcționa traficul sesiunii PDU cu acces multiplu;
      • Funcționalitatea Inter PLMN UP Security (IPUPS).
  • Funcția de control al politicii (PCF)
    • PCF suportă:
      • Cadrul de politici unificat;
      • Regulile de politică pentru funcțiile CP și
      • Accesarea informațiilor de abonament pentru deciziile de politică în UDR.
  • Funcția de expunere în rețea (NEF)
    • NEF suportă:
      • Expunerea capabilităților și evenimentelor;
      • Furnizarea sigură de informații din aplicația externă către rețeaua 3GPP;
      • Traducerea informațiilor interne / externe;
      • NEF poate suporta, de asemenea, o funcție de gestionare a grupului 5GLAN: Funcția de gestionare a grupului 5GLAN din NEF poate stoca informațiile despre grupul 5GLAN în UDR prin UDM, așa cum este descris în TS 23.50219;
      • Expunerea analizelor;
      • Suport pentru livrarea de date non-IP;
      • Când UE este capabil să comute între EPC și 5GC, un SCEF + NEF este utilizat pentru expunerea la serviciu.
  • Funcția de depozitare a rețelei (NRF)
    • NRF suportă funcția de descoperire a serviciilor și menține profilul NF și instanțele NF disponibile.
      • Suportă descoperirea Proxy-CSCF pentru serviciile IP Multimedia Subsystem (IMS);
      • Suportă descoperirea Serviciului de comunicare proxy (SCP) și menține profilul SCP al instanțelor SCP disponibile;
      • Notifică instanțele NF și SCP înregistrate / actualizate / radiate și menține starea de sănătate a NF și SCP.
  • Managementul unfificat al datelor (UDM)
    • UDM suportă:
      • Generarea de acreditări de autentificare și acord cheie (AKA);
      • Manipularea identificării utilizatorului;
      • Autorizație de acces;
      • Gestionarea abonamentelor;
      • Gestionarea managementului grupului 5GLAN;
      • Suport pentru aprovizionarea parametrilor externi.
  • Funcția de server de autentificare (AUSF)
    • AUF suportă autentificarea pentru acces 3GPP și acces non-3GPP de încredere.
  • Funcția aplicației (AF)
    • AF interacționează cu rețeaua de bază pentru a furniza servicii, de exemplu pentru a suporta următoarele:
      • Influența aplicației asupra rutei de trafic;
      • Accesarea funcției de expunere la rețea;
      • Interacțiunea cu cadrul politic pentru controlul politicilor.
      • Interacțiunile subsistemului multimedia IP (IMS) cu 5G Core
  • Depozitarea unificată a datelor (UDR)
    • UDR suportă următoarele funcționalități:
      • Stocarea și recuperarea datelor de abonament de către UDM;
      • Stocarea și recuperarea datelor de politică de către PCF;
      • Stocarea și recuperarea datelor structurate pentru expunere;
      • Datele aplicației (inclusiv descrierile fluxului de pachete (PFDs) pentru detectarea aplicației;
      • Informații despre cererea AF pentru mai multe UE), de către NEF.
    • (A se vedea, de asemenea, 3GPP TS23.501 secțiunea 6.2.11)
      • Stocarea și recuperarea ID-ului grupului NF corespunzător identificatorului abonatului (de ex. IMPI, IMPU, SUPI);
  • Funcția de stocare a datelor nestructurate (UDSF)
    • UDSF este o funcție opțională care acceptă stocarea și recuperarea informațiilor ca date nestructurate de către orice NF.
  • Funcția de selectare a segmentării de rețea (NSSF)
    • NSSF oferă servicii către AMF și NSSF într-un PLMN diferit prin intermediul interfeței bazate pe servicii Nnssf (consultați 3GPP TS 23.501 și 3GPP TS 23.502).
  • Centrul de locație mobilă a porții de acces (GMLC) 20
    • GMLC conține funcționalități necesare pentru a sprijini serviciile de localizare (LCS). Într-un singur PLMN, pot exista mai multe GMLC.
    • Un GMLC este primul nod pe care un client LCS extern îl accesează într-un PLMN. AF-urile și NF-urile pot accesa GMLC direct sau prin NEF.
    • După efectuarea autorizării unui client LCS extern sau AF și verificarea confidențialității UE țintă, un GMLC transmite o cerere de localizare fie către un AMF care servește, fie către un GMLC într-un alt PLMN în cazul unui UE în roaming.
  • Funcția de gestionare a localizării (LMF)
    • LMF gestionează coordonarea generală și programarea resurselor necesare pentru locația unui UE care este înregistrat cu sau care accesează 5GCN. De asemenea, calculează sau verifică o locație finală și orice estimare a vitezei și poate estima acuratețea obținută. LMF primește cereri de localizare pentru un UE țintă de la AMF de servire utilizând interfața Nlmf. LMF interacționează cu UE pentru a schimba informații de localizare aplicabile metodelor de poziție asistate de UE și bazate pe UE și interacționează cu NG-RAN, N3IWF sau TNAN pentru a obține informații de localizare.
  • Serviciul de comunicare proxy (SCP)
    • Un serviciu NF este un tip de capacitate expus de un NF (producător de servicii NF) altui NF autorizat (consumator de servicii NF) printr-o interfață bazată pe servicii. Serviciile NF pot comunica direct sau indirect printr-un SCP.
    • Astfel cum este definit în 3GPP TS 23.501, Clauza 6.2.19, Serviciul de comunicare proxy (SCP) include una sau mai multe dintre următoarele funcționalități:
      • Comunicare indirectă;
      • Descoperire delegată;
      • Redirecționarea mesajelor și rutare către serviciul de destinație NF / NF;
      • Redirecționarea mesajelor și rutare către un următor SCP hop;
      • Securitatea comunicării (de exemplu, autorizarea consumatorului de servicii NF pentru a accesa API-ul producătorului de servicii NF), echilibrarea încărcării, monitorizarea, controlul supraîncărcării etc.
  • Funcția de gestionare a capacității radio UE (UCMF)
    • UCMF este utilizat pentru stocarea intrărilor de dicționar corespunzătoare ID-urilor de capacitate radio UE atribuite fie PLMN, fie atribuite de producător.
    • Un AMF se poate abona cu UCMF pentru a obține de la UCMF noi valori ale ID-ului de capacitate radio UE pe care UCMF le atribuie în scopul memorării în cache a acestora local.
  • Funcția de autentificare și autorizare specifică segmentului de rețea (NSSAAF)
    • Funcția de autentificare și autorizare specifică a segmentului de rețea (NSSAAF) oferă suport pentru autentificare și autorizare specifice segmentării rețelei, așa cum este specificat în TS 23.502 cu un server de autentificare, autorizare și acces (AAA-S).
  • Nausf, Nnrf, Nudm, Nnef, Namf, Nmssf, Nsmf, Npcf, Naf, Nlmf, Ngmlc, Nssaaf, Nucmf
    • Acestea sunt interfețe bazate pe servicii prezentate de funcțiile planului de control 5G Core.
  • N1
    • Punct de referință între UE și AMF.
  • N2
    • Punct de referință între RAN și AMF.
  • N3
    • Punct de referință între RAN și UPF.
  • N6
    • Punct de referință între UPF și o rețea de date.

Elemente de noutate în versiunea 16

Noile caracteristici și îmbunătățiri aduse de versiunea 16 a specificației GPP sunt reflectate în actualizări și adăugiri la funcțiile Core 5G, așa cum sunt evidențiate în tabelul detaliat de mai sus. Cele mai importante îmbunătățiri și impactul acestora asupra 5G Core sunt prezentate mai jos:

Noile funcții sunt adăugate la setul de instrumente Core 5G, pentru a sprijini autentificarea specifică a rețelei (NSSAAF), serviciile de localizare (GMLC) și îmbunătățirile aduse specificațiilor funcțiilor existente care acceptă cazuri de utilizare, cum ar fi suport IoT celular, arhitectură ultra-fiabilă cu latență scăzută, servicii LAN 5G, rețea sensibilă la timp pentru IoT industrial, vehicul la toate (tehnologia V2X).

O îmbunătățire semnificativă pentru arhitectura bazată pe servicii este activarea comunicării indirecte și a descoperirii delegate prin intermediul serviciului de comunicare proxy. Acest lucru crește flexibilitatea, permițând comunicarea între funcțiile de rețea prin funcția de depozit de rețea (NRF) și serviciul de comunicare proxy (SCP).

Îmbunătățirile în funcțiile de expunere la analiza rețelei sunt un factor important pentru automatizarea rețelei în sistemul 5G.

O altă caracteristică furnizată este optimizarea semnalizării capacităților radio (Radio Capabilities Signalling, RACS) prin semnalizarea optimizată a capacităților radio UE prin introducerea mapării ID-ului RACS la capacitatea radio UE în rețea. Asocierea dintre ID-ul RACS la capacitățile UE Radio va fi stocată în noua funcție de rețea UE (radio)m funcția de management a capabilității (Capability Management FunctionUCMF) și stocată în cache în AMF și gNB.

Funcția de segmentare a rețelei este îmbunătățită dincolo de autentificarea specifică a segmentării de rețea, cu topologii îmbunătățite SMF / AMF și cu suport inter-funcționare cu Sistemul de pachete Evolved, având în vedere implementările Non Standalone (NSA).

Bibliografie

 

Sursa: Sfetcu, Nicolae (2022). Rețele de comunicații 5G, MultiMedia Publishing, ISBN: 978-606-033-636-5, https://www.telework.ro/ro/e-books/retele-de-comunicatii-5g/

 

CC BY SA 4.0Acesta este un articol cu Acces Deschis (Open Access) sub licența Creative Commons CC BY-SA 4.0 (http://creativecommons.org/licenses/by/4.0/).

The impact of DoS (Denial of Service) cyberattacks on a Local Area Network (LAN)

postat în: Știri 0

In this paper I will highlight a modus operandi of hackers launching Denial of Service (DoS) cyberattacks. I will theoretically show how CAM Overflow and TCP SYN Flood attacks can be performed, using Kali Linux, a Linux distribution used by cyber criminals to launch MitM (Man-in-the-Middle) attacks, DoS attacks, observing traffic in a computer network, etc. Hackers can affect the functioning of devices on an organization’s local network (server, router, switch, etc.) by sending thousands of packets per second to the target device. CAM Overflow is an attack where a hacker aims to overcrowd the CAM table of a switch with MAC addresses, and TCP SYN Flood is an attack that can be launched against a server in the computer network.

INTELLIGENCE INFO, Vol. 1, Nr. 1, Septembrie 2022, pp. 125-130
ISSN 2821 – 8159, ISSN – L 2821 – 8159, DOI: 10.58679/II52272

The impact of DoS (Denial of Service) cyberattacks on a Local Area Network (LAN)

A apărut revista IT & C, Volumul 2, Numărul 2, Iunie 2023

postat în: Media IT 0

 

Revista IT & C, Volumul 2, Numărul 2, Iunie 2023Revista IT & C este o publicație trimestrială din domeniile tehnologiei informației și comunicații, și domenii conexe de studiu și practică.

Cuprins:

EDITORIAL
Filosofia tehnologiei blockchain

TEHNOLOGIA INFORMAȚIEI
Descoperirea proceselor de afaceri

TELECOMUNICAȚII
Implementarea rețelelor de telecomunicații 5G

INTERNET
Aspecte legale în lucrul cu Big Data

SOFTWARE
Mecanismele de consens blockchain

PROGRAMARE
Imaginea memoriei în programarea cu Python

DEZVOLTARE WEB
Taxonomii folosite în dezvoltarea WordPress

SECURITATE CIBERNETICĂ
Inteligența artificială și securitatea cibernetică – Active IA care se pot constitui în amenințări

ISSN 2821– 8469 ISSN – L 2821 – 8469, DOI: 10.58679/IT65591

https://www.internetmobile.ro/revista/revista-it-c-volumul-2-numarul-2-iunie-2023/

1 … 29 30 31 32 33 34 35 … 47