Pontfelhő-feldolgozás támogatása mesterséges intelligenciával / AI supported point cloud processing

Elsődleges fülek

Nyilvántartási szám: 
21/34
Témavezető neve: 
Témavezető e-mail címe:
molnar.bence@emk.bme.hu
A témavezető teljes publikációs listája az MTMT-ben:
A téma rövid leírása, a kidolgozandó feladat részletezése: 
A fotogrammetriai vagy lézerszkenneléssel gyűjtött pontfelhő feldolgozása jelenleg jelentős kihívásokat támaszt a mérnökkel szemben. A pontfelhők mérnöki alkalmazása azért terjedt el, mert nagymennyiségű információt tartalmaz a mérendő objektumról; mindez nem kizárólag geometriai adat, hanem a színinformáción keresztül például vizualizációs lehetőséget is nyújt. Ugyanakkor a nagy adatmennyiség a tárolást és a feldolgozást is megnehezíti, jelenleg az adatok értelmezése jobbára csak emberi közreműködés igénybevételével oldható meg.
A fényképek alapján történő térbeli adatfeldolgozásban új távlatokat nyitott a mesterséges intelligencia alkalmazásának lehetősége. A pontfelhők feldolgozása során is hasonló előrelépés várható az AI támogatásával.
A kutatás célja a pontfelhő-feldolgozás támogatása mesterséges intelligenciával. Egy, a pontfelhők feldolgozását támogató neurális hálózat kialakításával első lépésben a pontmennyiség ritkítása érhető el, további lépésekben az osztályozás, majd az objektumfelismerés jelenthet célt.
 
Kutatási terv:
    1. Végezze el a mélytanuló (deep learning) algoritmusok képeken és térbeli adatokon való alkalmazását a kutató szakirodalmak feldolgozása alapján.
    2. Jelölje ki a kutatása során vizsgálandó objektumok jellegét és a felhasználási területet (pl. szerkezetvizsgálat, ipari automatizálás, önvezető járművek, orvosi diagnosztika); végezzen adatgyűjtést, melyet a kutatásai során tanító- és ellenőrző adatként használhat.
    3. Dolgozzon ki egy vagy több hatékony neurális hálózatot, mely az adatok feldolgozásában előrelépést jelent a jelenlegi piaci megoldásokhoz képest.
    4. Dolgozzon ki olyan minősítő eljárást, mellyel saját eredményeit összehasonlíthatja és értékelheti más megoldásokkal szemben.
 
A munka során együttműködés valósulhat meg a BME más karaival, az Építőmérnöki Kar más tanszékeivel, illetve a Fotogrammetria és Térinformatika Tanszék ipari partnereivel.
 
***
 
Processing a point cloud faces significant challenges for engineers, whether it was collected by photogrammetry or laser scanning. The use of point clouds in engineering is widespread because it contains a large amount of information about the object to be measured, providing geometric data and enabling visualization through color information. At the same time, the large amount of data also makes storage and processing complex. Currently, the interpretation of data can mostly only be solved with the help of human intervention.
The possibility of applying artificial intelligence has opened up new perspectives in spatial data processing based on photographs. Similar progress is expected in the processing of point clouds with the support of AI.
The research aims to support point cloud processing with deep learning. With the creation of a neural network supporting the processing of point clouds, the thinning of the point quantity can be achieved in the first step; in the further steps, classification and object recognition can be the goal.
 
Preliminary research plan:
    1. A thorough review of state-of-the-art literature and applications of deep learning algorithms applied on images and spatial data.
    2. Select the nature and area of use of the objects to be examined during the research (e.g., structural inspection, industrial automation, autonomous driving vehicles, medical diagnostics); collect data that you can use as training and validation data in the research.
    3. Develop one or more efficient neural networks that represent advances in data processing compared to current market solutions.
    4. Carry out a qualification process that allows to compare and evaluate the own results against other solutions on the field.
 
During the research, potential cooperation is available with other BME Faculties, other departments of the Faculty of Civil Engineering, and with the industrial partners of the Department of Photogrammetry and Geoinformatics.
A téma meghatározó irodalma: 
1. Qi C. R., Su H., Mo K., Guibas L. J. Pointnet: Deep learning on point sets for 3d classification and segmentation (2017) Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 652-660.
2. Poux, F., Billen, R. Voxel-based 3D Point Cloud Semantic Segmentation: Unsupervised geometric and relationship featuring vs deep learning methods; (2019) ISPRS International Journal of Geo-Information, 8 (5), art. no. 213.
3. Young Jin Cha, Wooram Choi, and Oral Büyüköztürk.  Deep Learning-Based Crack Damage Detection Using Convolutional Neural Networks. Computer-Aided Civil and Infrastructure Engineering,  32(5):361–378,2017.
4. Boulch, A., Guerry, J., Le Saux, B., Audebert, N.; SnapNet: 3D point cloud semantic labeling with 2D deep segmentation networks; (2018) Computers and Graphics (Pergamon), 71, pp. 189-198.
5. Klokov, R., Lempitsky, V.; Escape from Cells: Deep Kd-Networks for the Recognition of 3D Point Cloud Models; (2017) Proceedings of the IEEE International Conference on Computer Vision, 2017-October, art. no. 8237361, pp. 863-872.
6. Su, H., Jampani, V., Sun, D., Maji, S., Kalogerakis, E., Yang, M.-H., Kautz, J.; SPLATNet: Sparse Lattice Networks for Point Cloud Processing; (2018) Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, art. no. 8578366, pp. 2530-2539.
A téma hazai és nemzetközi folyóiratai: 
1. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences
2. Photogrammetric Engineering & Remote Sensing
3. Periodica Polytechnica Civil Engineering
4. Geomatika közlemények
5. Survey Review
A témavezető utóbbi tíz évben megjelent 5 legfontosabb publikációja: 
1. Zlinszky, András ; Molnár, Bence ; Barfod, Anders S; Not All Trees Sleep the Same—High Temporal Resolution Terrestrial Laser Scanning Shows Differences in Nocturnal Plant Movement; FRONTIERS IN PLANT SCIENCE 8 Paper: 1814 (2017)
2. Molnár, Bence ; Fekete, Károly; A Szent László-herma fotogrammetriai felmérése; In: Kristóf, Lilla Alida; Lukácsi, Zoltán; Patonay, Lajos (szerk.); Szent király, Lovagkirály : A Szent László-herma és a koponyaereklye vizsgálatai; Győr, Magyarország : Győri Hittudományi Főiskola és Papnevelő Intézet (2017) pp. 88-93. , 6 p.
3. Charles, K Toth ; Bence, Molnar ; Andrew, Zaydak ; Dorota, A. Grejner-Brzezinska; Calibrating the MS Kinect Sensor; In: ASPRS (szerk.); ASPRS 2012 Annual Conference; Sacramento (CA), Amerikai Egyesült Államok : [s. n.] (2012) 602 p. pp. 538-546. , 9 p.
4. Paláncz, B ; Awange, J L ; Somogyi, A ; Rehány, N ; Lovas, T ; Molnár, B ; Fukuda, Y; A robust cylindrical fitting to point cloud data; AUSTRALIAN JOURNAL OF EARTH SCIENCES 63 : 5 pp. 665-673. , 9 p. (2016)
5. Molnár, B. ; Toth, C. K. ; Detrekői, Á.; Accuracy Test of Microsoft Kinect for Human Morphologic Measurements; INTERNATIONAL ARCHIVES OF PHOTOGRAMMETRY AND REMOTE SENSING (2002-) 39 : B3 pp. 543-547. , 5 p. (2012)
A témavezető fenti folyóiratokban megjelent 5 közleménye: 
1. Paláncz, B ; Awange, JL ; Lovas, T ; Lewis, R ; Molnár, B ; Heck, B ; Fukuda, Y
Algebraic method to speed up robust algorithms: example of laser-scanned point clouds, SURVEY REVIEW 49 : 357 pp. 408-418. , 10 p. (2017)
2. Barsi, A ; Lovas, T ; Molnar, B ; Somogyi, A ; Igazvolgyi, Z
Pedestrian detection by laser scanning and depth imagery
INTERNATIONAL ARCHIVES OF PHOTOGRAMMETRY AND REMOTE SENSING (2002-) 41 : B3 pp. 465-468. , 4 p. (2016)
3. Somogyi, Árpád ; Molnár, Bence; Pontfelhő illesztési módszerek összehasonlítása; GEOMATIKAI KÖZLEMÉNYEK / PUBLICATIONS IN GEOMATICS 18 : 2 pp. 15-22. , 8 p. (2015)
4. Molnár, B. ; Toth, C. K. ; Detrekői, Á.; Accuracy Test of Microsoft Kinect for Human Morphologic Measurements; INTERNATIONAL ARCHIVES OF PHOTOGRAMMETRY AND REMOTE SENSING (2002-) 39 : B3 pp. 543-547. , 5 p. (2012)
5. B, Molnar ; S, Laky ; C, Toth; Using Full Waveform Data In Urban Areas; INTERNATIONAL ARCHIVES OF PHOTOGRAMMETRY AND REMOTE SENSING (2002-) 38 : 3/W22 pp. 203-208. , 6 p. (2011)
Státusz: 
elfogadott