Laboratórium aplikovaných technológií umelej inteligencie

Basic informations

Thematic area: komisia č. 2 pre nové technológie, metódy a formy vo vzdelávaní

Project name (Slovak): Laboratórium aplikovaných technológií umelej inteligencie

Project name (English): Laboratory of Applied Technologies of Artificial Intelligence

Start of project: 2026

End of project: 2028

Condition of project: Financovaný/riešený

Project number: 002STU-4/2026

Project leader: doc. Ing. Ladislav Körösi, PhD.

University: Slovenská technická univerzita v Bratislave

Department: Fakulta elektrotechniky a informatiky

Project annotation in Slovak language

Umelá inteligencia (UI) je oblasť kybernetiky, ktorá sa zaoberá výskumom a vývojom technológií, ktoré umožňujú počítačom vykonávať úlohy, ktoré by inak vyžadovali ľudskú inteligenciu. V súčasnosti je UI jednou z najrýchlejšie sa rozvíjajúcich oblastí kybernetiky a je využívaná v mnohých odvetviach, ako sú napríklad zdravotníctvo, priemysel, doprava, spracovanie textu, atď. V zdravotníctve sa používa napríklad na diagnostiku a predikciu chorôb na základe analýzy obrazových a laboratórnych výsledkov. V priemysle sa používa na optimalizáciu výrobných procesov a znižovanie nákladov, hodnotenie kvality produktov, atď. V doprave sa používa na plánovanie trás, predikciu a minimalizáciu meškaní a optimalizáciu spotreby paliva. Oblasť spracovania textu zahŕňa analýzu, porozumenie a generovanie textu. Cieľom projektu je vybudovať nové laboratórium aplikovaných technológií umelej inteligencie, ktoré sa stane moderným centrom pre vzdelávanie, výskum a vývoj v oblasti UI pre študentov. Laboratórium bude vybavené špičkovou technológiou, ktorá je nevyhnutná pre realizáciu výskumných projektov v oblasti UI z dôvodu výpočtových náročnosti. Je to spôsobené veľkým množstvom dát (tzv. datasety) a hlbokými neurónovými sieťami (HNS), ktoré vyžadujú dlhý čas trénovania. To isté platí pre evolučné výpočty napr. v oblasti neuro-evolúcie, kde sa paralelizujú na jadrách CPU. Laboratórium bude pozostávať zo 6 rôznych pracovísk zameraných na spracovanie obrazu, videa a zvuku pre priemyselné a zdravotnícke aplikácie. Pracoviská sú navrhnuté tak, aby mohli byť nezávislé od operačného systému (Linux, Windows) a softvéru (Matlab, Python, ...). Na každom pracovisku bude realizovaných viacej aplikácií v závislosti od využitia. Laboratórium budú využívať študenti 3. ročníka bakalárskeho štúdia na predmete Umelá inteligencia a študenti 1. a 2. ročníka inžinierskeho štúdia na predmetoch Umelá inteligencie 2, Výpočtová inteligencia v riadení, Hlboké neurónové siete, Počítačové videnie a spracovanie obrazu a študenti bakalárskych, diplomových, individuálnych a tímových prác, ale aj doktorandi. Cieľom pracovísk je integrácia vybraných častí doterajších výskumných aktivít v oblasti UI do pedagogiky ako aj zabudovanie najnovších trendov v oblasti UI. Plánujeme nasledovné pracoviská:

- Vizuálna kontrola kvality výrobkov. Pracovisko bude pozostávať: PC zostava s výkonnou grafickou kartou, hĺbkové kamery, priemyselný riadiaci systém (PLC - programovateľný logický automat), priemyselný dopravník s príslušenstvom. Cieľom pracoviska bude spracovanie obrazu na kontrolu kvality objektov (výrobkov), ako napríklad kontrola kvalita zvarov, kontrola povrchu materiálu, kontrola zloženie výrobku. Použitie viacerých hĺbkových kamier umožní tvorbu datasetov rôznej kvality, verifikáciu a testovanie metód spracovania obrazu s použitím iných kamier ako boli použité pri tvorbe datasetov. Takto študenti budú mať možnosť realizovať experimenty s nízkym/vysokým dynamickým rozsahom, nízkym/vysokým osvetlením, nízkym/vysokým rozlíšením atď. Uvedené experimenty sa budú dať realizovať staticky alebo dynamicky v reálnom čase s použitím priemyselného dopravníka ovládaného PLC, t. j. využitím video signálu z kamier. Zručnosti, ktoré sa študenti získajú na pracovisku: získavanie obrazových dát z kamier, predspracovanie obrazových dát, tvorbu datasetov, získanie existujúcich datasetov z internetu, návrh HNS pre detekciu a lokalizáciu objektov na obrazových dátach, trénovanie a testovanie HNS, nasadenie HNS do priemyselného prostredia.
   
- HMI Pracovisko - Pracovisko bude pozostávať: PC zostava s výkonnou grafickou kartou, hĺbkové kamery, mikrofóny, PLC, existujúci model CNC a nový robotický objekt riadenia. HMI pracovisko, v ktorom CNC a robotické modely budú ovládané gestami alebo hlasovými povelmi. Pracovisko bude slúžiť na návrh a testovanie metód rozpoznávania gest, tváre, hlasových povelov (spracovania zvuku) pomocou HNS. Podobne ako pri prvom pracovisku uvažujeme o viacerých hĺbkových kamerách a mikrofónoch. Mikrofóny rôznej kvality umožnia tvorbu viacerých datasetov rôznej kvality, verifikáciu a testovanie metód spracovania zvuku s nasadením iných mikrofónov. Zručnosti, ktoré študenti získajú na pracovisku: získavanie zvukových dát z mikrofónov a kamier, predspracovanie zvukových a obrazových dát, tvorbu datasetov, získanie existujúcich datasetov z internetu, návrh HNS pre ovládanie priemyselného zariadenie, trénovanie a testovanie HNS, nasadenie HNS do priemyselného prostredia.
   
- Detekcia objektov. Pracovisko bude pozostávať: PC zostava s výkonnou grafickou kartou, kvalitná hĺbková kamera, Nvidia Jetson (Edge zariadenie), PLC, existujúci robot (UR). Pracovisko bude slúžiť na návrh a testovanie metód pre detekciu a segmentáciu objektov pomocou hlbokého učenia. Vhodné napr. pre účely bin picking, pick & place. Pracovisko bude slúžiť aj na realizáciu neurónových sietí na Edge zariadení. Uvažujeme o prepojení pracoviska s pracoviskom vizuálnej kontroly kvality výrobkov, kde sa výstupy z detekcie objektov použijú na kontrolu kvality výrobkov. Za týmto účelom sa využije dopravník ovládaný PLC. Tiež bude možné kamerou simulovať rôzne prostredia, vhodné napr. pre aplikácie mobilných robotov alebo dronov. Výsledné modely budú nasadené na Edge zariadení pre vykonávanie v reálnom čase. Zručnosti, ktoré študenti získajú na pracovisku: získavanie obrazových dát z kamier, predspracovanie obrazových dát, tvorbu datasetov, získanie existujúcich datasetov z internetu, návrh HNS pre účely detekcie objektov, trénovanie a testovanie HNS, nasadenie HNS do priemyselného prostredia s využitím Edge zariadenia.  
   
- Rozpoznávanie ľudských aktivít. Pracovisko bude pozostávať: PC zostava s výkonnou grafickou kartou, kvalitné kamery, Nvidia Jetson (Edge zariadenie), PLC. Cieľom pracoviska bude detegovať osoby, sledovať pohyb osoby z video signálu pomocou HNS. Pracovisko bude slúžiť na návrh a testovanie metód rozpoznávania ľudských aktivít pomocou HNS. Ide napr. o rozpoznávanie násilia, vybraných pohybov osôb, detekcia prítomnosti osôb v nebezpečnom prostredí resp. priblíženie sa k nebezpečnému priestoru. Aj keď existujúci robot UR je kolaboratívny a dopravník bude ovládaný nasadením bezpečnostných prvkov, ako doplnok sa uvažuje detekcia osôb v ich okolí. Viacero kamier umožní návrh a verifikáciu metód reidentifikácie osôb. Výsledné modely budú nasadené na Edge zariadení pre vykonávanie v reálnom čase. Zručnosti, ktoré študenti získajú na pracovisku: získavanie video signálu z kamier, predspracovanie videa, tvorbu datasetov, získanie existujúcich datasetov z internetu, návrh HNS pre účely rozpoznávania ľudských aktivít a detekciu ľudí v nebezpečnom priestore resp. reidentifikácie osôb, spracovanie videa z viacerých kamier, trénovanie a testovanie HNS, nasadenie HNS s využitím Edge zariadenia.
   
- Spracovanie a rozpoznávanie signálov. Pracovisko bude pozostávať: PC zostava s výkonnou grafickou kartou, kvalitný mikrofón, Leap Motion senzor, Nvidia Jetson (Edge zariadenie), priemyselný riadiaci systém, snímač vibrácií, model s akcelerometrom a gyroskopom. Cieľom pracoviska bude spracovanie zvuku alebo iných meraných signálov a odoslanie výsledku spracovania do priemyselného riadiaceho systému. Pracovisko bude slúžiť na návrh aplikácií, v ktorých vstupné dáta sú tvorené meranými signálmi. Napr. rozpoznávanie hlasových povelov, detekcia porúch zariadenia na základe zvuku alebo meraných signálov zo snímačov (akcelerometer, gyroskop, ...). Plánujeme vytvoriť dataset z meraných signálov na určenie typu povrchu vozovky (štrk, asfalt, trávnik, ...), ktorý bude slúžiť na trénovanie HNS pre detekciu typu povrchu vozovky. Výsledné modely budú nasadené na Edge zariadení pre vykonávanie v reálnom čase. Zručnosti, ktoré študenti získajú na pracovisku: získavanie zvukových dát z mikrofónu a snímačov, predspracovanie dát, tvorbu datasetov, získanie existujúcich datasetov z internetu, návrh HNS pre účely spracovania zvuku alebo meraných signálov, trénovanie a testovanie HNS za účelom analýzy získaných dát, nasadenie HNS do Edge zariadenia.
   
- Spracovanie medicínskych dát. Pracovisko bude pozostávať: PC zostava s výkonnou grafickou kartou, kvalitná kamera. Cieľom pracoviska bude spracovanie medicínskych obrazov (napr. v oftalmológii) na diagnostiku a predikciu chorôb. Pracovisko bude slúžiť na návrh a testovanie metód pre spracovanie medicínskych obrazov pomocou HNS napr. pre klasifikáciu a segmentáciu anatomických častí sietnice a patologických nálezov diabetickej retinopatie (DR) na fundus obrazoch. V rámci doterajšieho výskumu bol vytvorený dataset pre detekciu bradykinézy na základe videa z kamery, ale aj snímača Leap Motion. Tento dataset bude slúžiť na trénovanie HNS pre detekciu bradykinézy. Zručnosti, ktoré študenti získajú na pracovisku: získavanie obrazových dát z kamery, predspracovanie obrazových dát, tvorbu datasetov, rozšírenie datasetov a syntetické dáta, získanie existujúcich datasetov z internetu, návrh HNS pre účely spracovania medicínskych dát, trénovanie a testovanie HNS, prepojenie riešenia s cloudovým prostredím a mobilnými zariadeniami.

Vytvorené pracoviská budú študentom umožňovať teoretické poznatky získané na prednáškach využiť na tvorbu praktických aplikácii. Prípravy k jednotlivým pracoviskám budú zohľadňovať inovatívne postupy a formulácie, ktoré študentov budú viesť k uvažovaniu nad úlohami, k motivácii študentov  a budú podporovať tvorivosť a kreativitu. Vďaka vytvoreným pracoviskám bude na vyučovaných predmetoch môcť byť zavedené tzv. Kooperatívne učenie sa (učiace sa tímy) – študenti dostanú študijné podklady, potom odpovedajú na otázky, riešia úlohy a praktickú realizáciu na zariadeniach. Texty zadaní budú vyžadovať od študentov vlastné porozumenie a spracovanie vecí, ktoré nie sú explicitne uvedené v úlohách. Študenti následne svoje výsledky prezentujú iným skupinám. Cieľom uvedených pracovísk je skvalitnenie pedagogického procesu, čím študenti nadobudnú praktické skúsenosti a zručnosti ako aj skvalitnenie výskumnej a publikačnej činnosti pracoviska. Týmto sa zabezpečí lepšia pripravenosť študentov pre prax. Pracoviská sú navrhnuté tak, aby boli využité vo viacerých predmetoch a boli navzájom zastupiteľné v prípade poruchy hardvérových komponentov. Laboratórium bude prístupné pre študentov cez vzdialený prístup.

Výstupy projektu budú:
- moderné pracoviská umožňujúce navrhnúť, implementovať a verifikovať existujúce a nové metódy spracovania, analýzy, klasifikácie, obrazových a zvukových dát,
- vypracované návody cvičení zamerané na zlepšenie pedagogického procesu pre aplikácie klasifikácie, rozpoznávania a detekcie na základe obrazových, zvukových a signálnych dát,
- zvýšená kvalita výučby a výskumu v oblasti UI,
- zapojenie študentov do výskumných aktivít v oblasti UI (napr. formou tímových prác, diplomových prác, atď.),
- publikácie dosiahnutých výsledkov na konferenciách a v časopisoch,
- zverejnenie dosiahnutých výsledkov na webstránke pracoviska a vytvorenej webstránke projektu,
- propagácia laboratória a UI (deň otvorených dverí, prezentácie na konferenciách, atď.),
- skriptum zamerané pre oblasť hlbokých neurónových sietí.

Project annotation in English language

Artificial intelligence (AI) is a field of cybernetics that deals with the research and development of technologies that allow computers to perform tasks that would otherwise require human intelligence. Currently, AI is one of the fastest growing areas of cybernetics and is used in many industries, such as healthcare, industry, transportation, text processing, etc. In healthcare, for example, it is used for disease diagnosis and prediction based on the analysis of image and laboratory results. In industry, it is used to optimize production processes and reduce costs, evaluate product quality, etc. In transportation, it is used for route planning, prediction and minimization of delays and fuel consumption optimization. The field of text processing includes text analysis, understanding and generation. The aim of the project is to build a new laboratory of applied artificial intelligence technologies, which will become a modern center for education, research and development in the field of AI for students. The laboratory will be equipped with state-of-the-art technology, which is necessary for the implementation of research projects in the field of AI due to the computational complexity. This is due to the large amount of data (datasets) and deep neural networks (DNNs) that require long training times. The same applies to evolutionary calculations, e.g. in the field of neuro-evolution, where they are parallelized on CPU cores. The laboratory will consist of 6 different workplaces focused on image, video and sound processing for industrial and medical applications. The workplaces are designed to be independent of the operating system (Linux, Windows) and software (Matlab, Python, ...). Multiple applications will be implemented on each workstation depending on the use. The laboratory will be used by students of the 3rd year of bachelor's study in the subject Artificial Intelligence and students of the 1st and 2nd year of engineering study in the subjects Artificial Intelligence 2, Computational Intelligence in Control, Deep Neural Networks, Computer Vision and Image Processing and students of bachelor's, diploma, individual and team projects, as well as doctoral students. The aim of the workplaces is to integrate selected parts of the existing research activities in the field of AI into pedagogy as well as to incorporate the latest trends in the field of AI. We plan the following workplaces:

- Visual quality control of products. The workplace will consist of a PC set with a powerful graphics card, depth cameras, an industrial control system (PLC - programmable logic controller), an industrial conveyor with accessories. The aim of the workplace will be to process images to control the quality of objects (products), such as weld quality control, material surface control, product composition control. The use of multiple depth cameras will allow the creation of datasets of different quality, verification and testing of image processing methods using other cameras than those used to create the datasets. In this way, students will be able to perform experiments with low/high dynamic range, low/high illumination, low/high resolution, etc. The experiments will be performed statically or dynamically in real time using an industrial conveyor controlled by PLC, i.e. using video signals from cameras. The skills that students will gain at the workplace: obtaining image data from cameras, preprocessing image data, creating datasets, obtaining existing datasets from the Internet, designing DNNs for object detection and localization on image data, training and testing DNNs, deploying DNNs into an industrial environment.

- HMI Workplace - The workplace will consist of a PC set with a powerful graphics card, depth cameras, microphones, PLC, and an existing CNC model. HMI workplace, in which the CNC model will be controlled by gestures or voice commands. The workplace will be used to design and test methods for recognizing gestures, faces, voice commands (sound processing) using DNNs. Similar to the first workplace, we consider multiple depth cameras and microphones. Microphones of different quality will allow the creation of multiple datasets of different quality, verification and testing of sound processing methods using other microphones than those used in the creation of the datasets. The workplace will be used to design and test methods for recognizing gestures, faces, voice commands (sound processing) using DNNs. Similar to the first workplace, we consider multiple depth cameras and microphones. Microphones of different quality will allow the creation of multiple datasets of different quality, verification and testing of sound processing methods using other microphones than those used in the creation of the datasets. The skills that students will gain at the workplace: obtaining sound data from microphones and cameras, preprocessing sound and image data, creating datasets, obtaining existing datasets from the Internet, designing DNNs for controlling industrial equipment, training and testing DNNs, deploying DNNs into an industrial environment.

- Object detection. The workplace will consist of a PC set with a powerful graphics card, high-quality depth camera, Nvidia Jetson (Edge device), PLC, existing robot (UR). The workplace will be used to design and test methods for object detection and segmentation using deep learning. Suitable for bin picking, pick & place applications. The workplace will also be used to implement neural networks on the Edge device. We consider linking the workplace to the visual quality control of products, where the outputs from object detection will be used for quality control of products. For this purpose, a conveyor controlled by PLC will be used. It will also be possible to simulate different environments with the camera, suitable for mobile robots or drones. The resulting models will be deployed on the Edge device for real-time execution. The skills that students will gain at the workplace: obtaining image data from cameras, preprocessing image data, creating datasets, obtaining existing datasets from the Internet, designing DNNs for object detection purposes, training and testing DNNs, deploying DNNs into an industrial environment using an Edge device.

- Human activity recognition. The workplace will consist of a PC set with a powerful graphics card, high-quality cameras, Nvidia Jetson (Edge device), PLC. The aim of the workplace will be to detect people, track human movement from video signals using DNNs. The workplace will be used to design and test methods for recognizing human activities using DNNs. For example, recognizing violence, selected human movements, detecting the presence of people in a dangerous environment or approaching a dangerous area. Although the existing UR robot is collaborative and the conveyor will be controlled by deploying safety elements, as an addition, we consider detecting people in their surroundings. Multiple cameras will allow the design and verification of methods for re-identifying people. The resulting models will be deployed on the Edge device for real-time execution. The skills that students will gain at the workplace: obtaining video signals from cameras, preprocessing video, creating datasets, obtaining existing datasets from the Internet, designing DNNs for recognizing human activities and detecting people in a dangerous environment or re-identifying people, processing video from multiple cameras, training and testing DNNs, deploying DNNs using an Edge device.

- Signal processing and recognition. The workplace will consist of a PC set with a powerful graphics card, high-quality microphone, Leap Motion sensor, Nvidia Jetson (Edge device), industrial control system, vibration sensor, model with accelerometer and gyroscope. The aim of the workplace will be to process sound or other measured signals and send the processing result to an industrial control system. The workplace will be used to design applications where input data is generated from measured signals. For example, recognizing voice commands, detecting device malfunctions based on sound or signals from sensors (accelerometer, gyroscope, ...). We plan to create a dataset from measured signals to determine the type of road surface (gravel, asphalt, lawn, ...) that will be used to train DNNs for detecting the type of road surface. The resulting models will be deployed on the Edge device for real-time execution. The skills that students will gain at the workplace: obtaining sound data from a microphone and sensors, preprocessing data, creating datasets, obtaining existing datasets from the Internet, designing DNNs for sound or signal processing purposes, training and testing DNNs for data analysis, deploying DNNs to an Edge device.

- Medical data processing. The workplace will consist of a PC set with a powerful graphics card, high-quality camera. The aim of the workplace will be to process medical images (e.g. in ophthalmology) for disease diagnosis and prediction. The workplace will be used to design and test methods for processing medical images using DNNs, e.g. for the classification and segmentation of anatomical parts of the retina and pathological findings of diabetic retinopathy (DR) on fundus images. As part of the research to date, a dataset has been created for detecting bradykinesia based on video from the camera, as well as the Leap Motion sensor. This dataset will be used to train DNNs for detecting bradykinesia. The skills that students will gain at the workplace: obtaining image data from cameras, preprocessing image data, creating datasets, expanding datasets and synthetic data, obtaining existing datasets from the Internet, designing DNNs for processing medical data, training and testing DNNs, linking the solution to the cloud environment and mobile devices.

The created workplaces will allow students to apply theoretical knowledge gained in lectures to create practical applications. Preparations for individual workplaces will take into account innovative approaches and formulations that will lead students to think about tasks, motivate students and encourage creativity and innovation. Thanks to the created workplaces, Cooperative Learning (learning teams) can be introduced in the taught subjects - students receive study materials, then answer questions, solve tasks and practical implementation on the devices. The texts of the assignments will require students to understand and process things that are not explicitly stated in the tasks. Students then present their results to other groups. The aim of the workplaces is to improve the quality of teaching and research in the field of AI, which will enable students to gain practical experience and skills as well as improve the research and publication activities of the workplace. This will ensure better preparedness of students for practice. The workplaces are designed to be used in multiple subjects and to be mutually replaceable in case of hardware component failures. The laboratory will be accessible to students via remote access.

The project outputs will be:
- modern workplaces allowing to design, implement and verify existing and new methods of processing, analysis, classification, image and sound data recognition,
- elaborated exercise manuals aimed at improving the pedagogical process for classification, recognition and detection applications based on image, sound and signal data,
- improved quality of teaching and research in the field of AI,
- involvement of students in research activities in the field of AI (e.g. in the form of team work, diploma theses, etc.),
- publication of achieved results at conferences and in journals,
- publication of achieved results on the website of the workplace and the created project website,
- promotion of the laboratory and AI (open day, presentations at conferences, etc.),
- script focused on deep neural networks.

Financial grant of MŠVVandŠ SR within KEGA

	Financial grant of MŠVVandŠ SR within KEGA	Capital expenditures in €
Drawn in year 2026	13 679,00	0,00