Research Projects

연구과제 목록 [Ongoing]

1. [LG CNS], HR 관리 효율화를 위한 sLLM 기반 PA Chat Agent 개발, 2024/09/13 ~ 2024/12/31

2. [Pungkook Corporation], 가방 제조 공정에서 Video AI 기반 OPS Automatic 인식 모델 개발, 2024/09/01 ~ 2025/02/28

3. [삼성디스플레이], Deep Learning 기반 불량 혐의설비 탐지 모델 개발, 2024/04/01 ~ 2025/03/31

4. [온택트헬스], 의료 AI 소프트웨어 기술개발 자문, 2024/03/01 ~ 2025/02/28 

5. [코난테크놀로지], PHM 고도화를 위한 Domain Adaptation 솔루션 개발, 2024/07/15 ~ 2025/01/14

6. [한국연구재단 - 우수신진], 제조 공정 진단 일반화 성능 개선을 위한 지식융합 인공지능 방법론 개발, 2023/03/01 ~ 2026/02/28

7. [연세대학교 - 미래선도], 이질성이 있는 데이터 분석을 위한 지식융합 인공지능 학습 방법론 개발, 2021/11/01 ~ 2024/10/31

연구과제 목록 [완료]

1. [SK Hynix], SK Hynix  向 생성형 AI 구축에 대한 자문, 2024/04/03 ~ 2024/10/30 (종료)

2. [코난테크놀로지], Advanced Domain Adaptation 솔루션 개발, 2023/12/18 ~ 2025/01/17 (종료)

3. [티라유텍], 패션 드레이핑 자동화를 위한 의복 패턴 매칭 알고리즘 개발, 2024/01/29 ~ 2024/06/30 (종료)

4. [SK Hynix], CD-SEM 장비 관리 고도화를 위한 Image 기반 HW Reponse Para 발굴, 2023/04/24 ~ 2024/04/23 (종료)

5. [LG에너지솔루션], 도메인적응을 통한 테스트베드 모델의 실제 설비 적용, 2023/04/01 ~ 2023/08/31 (종료)

소량의 정상 이미지만을 활용한 멀티모달 프롬프팅 기반 이상탐지 방법론 연구

1. 소량의 정상 이미지만을 활용한 기존 연구의 경우, 비정상 이미지를 활용하거나 비정상을 묘사하는 텍스트 정보를 모델 학습 및 추론 과정에 사용함. 이에 비정상에 대한 노출이 전무함을 가정한 소량의 정상 이미지 기반 멀티모달 이상탐지 방법론 제안

2. Pseudo anomaly를 생성하여 모델 학습에 활용. 이러한 불완전한 이상 정보를 최대한 활용하기 위해 양방향 projection을 통해 각 모달리티의 프롬프트 간 상호작용을 극대화함.

3. Anomaly Localization 성능 향상을 위해 여러 스케일의 이미지를 모델에 입력하고, 디코더를 추가하여 학습

초격차 의료 인공지능 초음파 원천 기술 개발 [온택트헬스], 2023/11/13 ~ on going 

1. 심장초음파 영상 고유의 특징, Frame 별 종속성, 의료진의 Guidance 에 기반한 심초음파 Foundation Model 개발 (다인종/멀티모달 확대 예정)

2. Self-supervised Learning 기반 (Contrastive Learning, Temporal Consistency, Perceptual Consistency등) 고유한 Foundation Model 개발 연구

3. 3차원 구조 해석의 제약을 극복하는 2D-3D 생성형 인공지능 모델 개발 (Uncertainty Quantification, Interpretability) 연구

4. 잘못 촬영된 영상을 의료진의 지식에 기반하여 재생성하는 생성 모델 연구

5. 영상 기반 환자 진단 Video AD 개발 연구 

Deep Learning 기반 불량 혐의설비 탐지 모델 개발 [삼성디스플레이], 2024/04/01 ~ 2025/03/30

1. 고수율의 제조 공정에서는 제품의 불량률이 매우 낮아 불량률에 기반한 통계적 방법으로는 혐의설비를 정확하게 탐지하는 것이 매우 어려움. 또한, 다중 공정 프로세스에서 각 공정은 동일한 기능의 여러 설비들로 생산 Schedule로 수행되기 때문에 설비들 간의 생산 빈도 또한 매우 극심한 불균형을 띄고 있음

2. 제조 설비로부터 수집된 여러 개의 Tabular Process Data 들을 Deep Learning Model 학습에 적합하도록 Pre-processing 및 Integration

3. Tabular data로부터 제품의 Spatial & Sequential한 정보를 추출, Mask diversity를 강화한 Mask Autoencoder를 Tabular Data에 적합하도록 구성하여 학습

4. Ensemble learning을 활용하여 설비 별 anomaly score의 confidence level 정량화 후 최종 혐의 설비 Detection 및 Rank 도출 

PHM 고도화를 위한 Domain Adaptation 솔루션 개발 [코난테크놀로지], 2023/12/18 ~ 2025/01/14

1. 시뮬레이션 데이터를 소스 도메인으로 하고 실제 공정 데이터를 타겟으로 하는 Domain Adaptation Model 개발

2. SSDA, UDA, Imbalance-UDA, Zero-Defect UDA 등 , 다양한 산업환경 시나리오에 적합한 Model 개발

3. 공정이 바뀌었을 때, 레이블이 부족할 때, 부정확한 레이블이 있을 때 활용 가능한 Adaptation Model 개발

Task에 무관하게 동작하는 통합된 이상탐지 프레임워크 개발

1. 기존 이상탐지 연구의 경우, 산업 이상 탐지 semantic 이상 탐지, 멀티 클래스 이상 탐지, 이상 유형 분류 등 다양한 세부 태스크 별로 파편화된 형태로 방법론이 개발되어 옴. 이러한 세부 태스크에 구애 받지 않고, 통합적으로 이상 탐지를 수행할 수 있는 방법론 연구

2. Self-supervised ViT 기반으로 특징을 추출 후 메모리 뱅크 기반으로 이상 탐지를 수행

3. 메모리 뱅크 사이즈 감소 및 이상 탐지 성능 제고를 위해 self-supervised ViT 내부의 attention을 off-the-shelf로 활용하여 배경 영역을 제거하는 Back Patch Masking (BPM) 제안

4. MVTec-AD, ImageNet-30을 비롯한 8개의 벤치마크에서 SOTA 성능 기록

Image Manipulation Detection 솔루션 개발 

1. 생성 모델,포토샵 등을 이용하여 조작된 이미지에서의 조작 영역 검출을 위한 딥러닝 기반 프레임워크 제안

2. 이미지 내 여러 물체 간의 빠르고 효과적인 관계 파악을 위해 Mamba 네트워크를 사용하여 이미지 특징 추출

3. 조작된 영역을 세밀하게 파악하기 위해 여러 noise-view 생성 후 각 특징 맵 정보를 결합하기 위한 새로운 퓨전 방법 제안

4. 6가지 공개 데이터셋에서 SOTA (state-of-the-art) 성능 달성

Multi-modal Few-Shot Learning

1. Addressing challenges in manufacturing, such as limited labels, drift, lack of references, and device changes 

2. Utilizing various types of inputs (Image, Sensor data, Structured data, Text, etc) to identify better representations

3. Advancing towards the development of general-purpose Artificial Intelligence

Robust Deepfake Disruption in Real-World Scenario

1. Our focus is on attacking the latent encoding process without relying on specific target attributes

2. We are designing an ensemble strategy with high scalability to target deepfake models, encompasses all three categories of deepfakes, including both GAN-based and Diffusion-based models

3. Our approach disrupts real-world scenarios, ranging from white-box, gray-box, and even black-box scenarios, where specific deepfake models are unidentified

Knowledge-informed Machine Learning

1. Integrating domain knowledge into the training process, leads to improving regular machine learning models for addressing limited samples

2. Encoding different types of modalities into the framework

3. Uncertainty Quantification