Academic Publications

Explore my research contributions in AI and Cyber Security.

Published

An Inclusive AI Docent System for Accessible and Interactive Art Appreciation using Vision and Language Models

Authors: Min-Su Kim, Min Kim, HyeonJeong Kwak, Ye-jun Choi, Hyung-rok Lee, Chi-wook Ahn, Won Joo Lee, Young-Bok Cho

Journal of The Korea Society of Computer and Information 2025

Abstract

In this paper, we propose an interactive art appreciation system that integrates computer vision and large language models to enable users—including those with visual impairments—to actively engage with visual art. The system recognizes artworks using YOLO-based object detection and VGG16 classification, and applies HSV-based color correction to enhance the reliability of emotional analysis. Subsequently, the Qwen2.5-VL-3B model summarizes visual content, while the Qwen2.5-32B model generates emotionally enriched descriptions and facilitates interactive dialogues. Additionally, a retrieval-augmented generation (RAG) framework is implemented to answer user questions, and prompts inspired by Visual Thinking Strategies (VTS) are used to elicit emotional responses and foster meaningful engagement. The proposed system demonstrates the potential of artificial intelligence to enhance both the accessibility and immersiveness of art appreciation, offering a new model for inclusive interaction with visual culture.

2025
8 authors
Other

Keywords

Human-AI InteractionVLMLLMComputer Vision
Published

StarPrint: 스타링크 취약점 분석 및 트랜스포머 기반 웹사이트 핑거프린팅 공격

Authors: HyeonJeong Kwak, Hosung Kang, Jiwoo Hong, Se Eun Oh

한국정보보호학회 2025 하계학술대회 2025

Abstract

저궤도 위성 인터넷 서비스인 Starlink는 빠른 속도와 넓은 커버리지로 주목받고 있다. 그러나 기술의 발전과 더불어 보안 취약점에 대한 연구 역시 병행되어야 함에도 불구하고, 현재까지의 연구는 기술 발전에 비해 미비한 실정이다. 본 논문에서는 Starklink 환경에서 네트워크 트래픽 분석을 통해 사용자의 인터넷 활동을 유추하는 웹사이트 핑거프린팅 (WF) 공격의 가능성을 탐색하고, 이를 위해 위성 인터넷에 최적화된 최초의 트랜스포머 기반 모델인 StarPrint를 제안한다. 본 모델은 Inter-Packet Delay (IPD) 기반 특징 벡터를 활용하여 56.67%의 정확도를 달성하였으며 기존 WF 기법 대비 우수한 성능을 보였다. 본 논문은 위성 인터넷 환경에서도 WF 공격이 가능함을 실험적으로 입증하며, 이에 대한 방어 전략 마련이 시급함을 강조한다.

Impact

한국정보보호학회(KIISC) 학회우수상(학부생) 수상

2025
4 authors
Other

Keywords

StarlinkWebsite FingerprintingTransformerNetwork Security
Published

딥러닝 기반 분할 데이터 상관관계 탐지를 통한 Website Fingerprinting 방어 모델의 취약점 탐색

Authors: Goun Kim, HyeonJeong Kwak, Sujin Kim, Jihyeun Park, Youhee Park, Se Eun Oh

한국정보보호학회 영남지부학술대회 2024

Abstract

최근 가장 많이 사용되는 익명 네트워크인 Tor를 대상으로 머신러닝 모델을 활용한 Website Fingerprinting 공격과 방어기법이 활발히 제안되고 있다. 특히 TrafficSliver는 Tor 유저가 Entry Node로 트래픽을 전송할 때 다중의 Entry Node들을 사용하여 여러 개의 경로로 나눠서 보내도록 하는 분할기법을 적용한 방어 모델로, 기존의 공격 모델의 정확도를 현저하게 낮추는 강력한 방어기법으로 알려져 있다. 본 연구에서는 네트워크 트래픽 간 상관관계 분석을 통하여 분할된 경로들을 찾아 하나의 경로를 사용했을 때와 같은 트래픽으로 복원시킬 수 있는 모델을 제안하여 분할 방법을 사용하는 방어기법이 여전히 Website Fingerprinting 공격으로부터 안전하지 않음을 보인다.

Impact

한국정보보호학회(KIISC) 학회장상 수상

2024
6 authors
Other

Keywords

Website FingerprintingNetwork Security
Published

DeepCoAST: Unveiling Split Trace Correlation to Counter Traffic Splitting Defenses

Authors: Goun Kim, HyeonJeong Kwak, Sujin Kim, Jihyeun Park, Youhee Park, Se Eun Oh

IEEE Access 2024

Abstract

Despite its widespread adoption, Tor remains vulnerable to traffic analysis attacks, which enables both ends of the communication to be inferred by network-level adversaries. Notable examples of such attacks include website fingerprinting and end-to-end flow correlation attacks. Various defense techniques have been proposed to enhance the security of Tor against these threats, with traffic splitting defenses standing out as particularly effective. These defenses allow packets to be sent through multiple circuits without incurring additional bandwidth overhead, thereby limiting the amount of traffic observable by adversaries. In this paper, the potential of correlating split traces is thoroughly investigated using the proposed deep learning-based correlator called DeepCoAST. It is shown that properly merged split traces, upon correlated detection, could enable website fingerprinting attacks to effectively identify websites with high accuracy. Superior performance is demonstrated by DeepCoAST, achieving an Area Under the Receiver Operating Characteristic Curve (AUC) of 0.98 against 95 pairs of split traces generated by three traffic splitting defenses: TrafficSliver, HyWF, and CoMPS. This result highlights the need for further enhancement of traffic splitting Website Fingerprinting (WF) defense mechanisms against DeepCoAST-style attacks.

2024
6 authors
Other

Keywords

Website FingerprintingTriplet