Home / Program Nucleu / Cercetări privind utilizarea algoritmilor de machine learning în implementarea unui sistem de recomandare care se bazează pe un volum foarte mare de date nestructurate (Big Data)

Cercetări privind utilizarea algoritmilor de machine learning în implementarea unui sistem de recomandare care se bazează pe un volum foarte mare de date nestructurate (Big Data)

Responsabil proiect ICI:  dr. ing. Alexandru Stanciu, alex@ici.ro, 021-316.07.36/159

Perioada de execuţie: 2014 – 2015

Suport financiar: Proiectul s-a desfăşurat în cadrul Programului Nucleu: ”Tehnologii avansate şi servicii pentru dezvoltarea societăţii informaţionale – TEHSIN”, obiectivul 5: “Tehnologii şi servicii pentru managementul conţinutului digital”, finanţat de Ministerul Educaţiei, Cercetării şi Inovării, Autoritatea Naţională pentru Cercetare Ştiinţifică.

Echipa de cercetare ICI: dr.ing. Gabriel Neagu, Dr.ing. Vladimir Florian, ing. Mihnea Vrejoiu, ing. Ştefan Preda, ing. Mădălina Zamfir.

Obiective: Proiectul are drept obiectiv investigarea utilizării algoritmilor de machine learning în contextul tehnologiilor specifice prelucrării datelor nestructurate, având o aplicaţie concretă în cadrul unui sistem de recomandare. Pentru atingerea acestui obiectiv, s-au
definit următoarele activităţi:

• identificarea unui domeniupentru sistemul de recomandare. Această activitate se bazează pe analiza principalelor domenii pentru care se utilizează în prezent sistemele de recomandare şi selectarea unuia singur în funcţie de datatele disponibile, potenţial de exploatare ulterioară şi impact;

• analiza stadiului actual în domeniu şi identificarea unor noi direcţii de cercetare în contextul domeniului Big Data;

• implementarea unui model pentru sistemul de recomandare şi evaluarea acestuia în funcţie de anumite metrici specifice precum precizie, acurateţe etc.

Descriere şi stadiu: Din punct de vedere ştiinţific, problema abordată în cadrul acestui proiect se referă la investigarea principalelor metode utilizate pentru prelucrarea datelor de tip Big Data ce sunt necesare în cadrul procesului de filtrare colaborativă. Se au în vedere noi paradigme ce sunt superioare din punct de vedere al performanţelor metodei Map-Reduce, şi care sunt posibile în cadrul unor noi platforme de prelucrare a datelor precum Spark/Shark. Utilizând o tehnică de procesare a datelor în memorie, sistemul Spark oferă performanţe net superioare faţă de sistemul Map-Reduce din cadrul Hadoop. Aceasta permite implementarea eficientă a unor algoritmi de machine learning cum sunt cei utilizaţi în cadrul sistemelor de recomandare.

Integrarea datelor provenind din surse externe precum social media, ce au un format eterogen, şi care trebuie să fie procesate pentru a putea fi utilizate de către algoritmii de machine learning reprezintăo problemă actuală în domeniul sistemelor colaborative. Astfel, întrebarea de cercetare la care se încearcă să se răspundă în cadrul acestui proiect este:
Cum se pot utiliza cât mai eficient datele nestructurate, eterogene, specifice domeniului Big Data, pentru implementarea unui sistem  de recomandare bazat pe algoritmi de machine learning?
Spre exemplu, este utilă evaluarea utilizării informaţiilor externe, provenite din social media, la îmbunătăţirea performanţei sistemului de recomandare, şi determinarea unor metode eficiente de analiză şi prelucrare a datelor.
În cadrul activităţilor desfăşurate pe parcursul derulării etapei întâi a proiectului:

•  s-a făcut o analiză a stadiului actual în domeniul investigat;

•  a fost selectată o temă pentru dezvoltarea sistemului de recomandare;

•  au fost investigaţi algoritmi de machine learning utilizaţi în realizarea unui model pentru sistemul de recomandare;

•  au fost obţinute date necesare pentru implementarea sistemului de recomandare;

•  a fost elaborat raportul tehnic al fazei în care sunt prezentate activităţile desfăşurate  şi rezultatele obţinute.

Rezultate: În prima fază a proiectului a fost elaborat un raport de cercetare care a cuprins un studiu al cercetărilor actuale în domeniu şi care prezintă într-un mod detaliat tema de implementare a sistemului de recomandare.
Tot în cadrul acestui raport de cercetare au fost prezentate rezultatele experimentelor efectuate pentru înregistrarea şi prelucrarea datelor necesare pentru crearea modelului experimental al sistemului de recomandare.

[real3dflipbook id=”86″]