프로그램
최승진
IntellicodeContrastive Learning and Domain Adaptation: An Overview
10:00 am - 12:00 pmAbstract
Contrastive learning has established itself as a cornerstone of unsupervised representation learning, achieving remarkable success across diverse domains. By leveraging self-supervised signals, contrastive methods learn representations that are both robust and transferable, often rivaling or surpassing supervised learning in performance. This talk begins with a brief overview of contrastive learning, focusing on fundamental principles and key techniques. We then shift focus to unsupervised domain adaptation (UDA), where the goal is to use labeled data from a source domain and unlabeled data from a target domain to train a classifier for the target domain. UDA is a critical area for enhancing model robustness under distribution shifts. We explore several effective strategies, including data reweighting, feature alignment, generative approaches for domain translation, cutting-edge algorithms for test-time domain adaptation, and the role of contrastive pre-training in improving domain adaptation. By the end of the talk, participants will gain a comprehensive understanding of how these advancements are shaping the landscape of representation learning and cross-domain generalization.
Bio
- 2022-현재 연구소장, Intellicode
- 2019-2021 CTO, BARO AI & 상임고문, BARO AI Academy
- 2001-2019 POSTECH 컴퓨터공학과 교수
- 2019-2021 정보과학회 인공지능소사이어티 회장
- 2018 삼성전자 종합기술원 자문교수
- 2017-2018 삼성리서치 AI센터 자문교수
- 2016-2017 신한카드 빅데이터센터 자문교수
- 2014-2016 정보과학회 머신러닝연구회 초대위원장
박노성
KAISTAdaptation and Generalization in Scientific Foundation Models
2:00 pm - 4:00 pmAbstract
Scientific machine learning is gathering much attention these days. One representation example is AlphaFold which is specialized in predicting 3D protein structures. On the other hand, more fundamental problems in sciences are solving partial differential equations (PDEs). Therefore, recent research work tries to build scientific foundation models for solving PDEs. However, there exist various PDEs with disparate characteristics. In this regard, the adaptation and the generalization of scientific foundation models are emerging as critical topics. In this talk, I will go over scientific foundation models and their adaptation and generalization issues.
Bio
- 2024-현재 KAIST 전산학부 전임/AI대학원 겸임/데이터사이언스대학원 겸임
- 2023-2024 연세대학교 인공지능학과 부교수
- 2020-2023 연세대학교 인공지능학과 조교수
- 2018-2020 George Mason University, Assistant Professor
- 2016-2018 University of North Carolina at Charlotte, Assistant Professor
- 2021-현재 ㈜ 온코크로스 CAIO
장준혁
한양대학교인공지능 기반 음성통신기술 리뷰
10:00 am - 12:00 pmAbstract
Speech signal processing technology has become increasingly significant not only in the field of telecommunications but also in all areas requiring speech recognition and language models. With the recent introduction of artificial intelligence, the pace of advancement has accelerated dramatically. This presentation will cover key technologies, including speech separation, bandwidth extension, acoustic echo cancellation, packet loss consealment and localization, while reviewing the latest AI models applied in each area. Through this, we aim to provide insights into the progress brought by AI adoption in the speech processing field.
Bio
- 2023 제27회 한국공학한림원 젊은 공학인상 수상
- 2020-현재 한양대학교 BK21 4단계 미래인재양성 교육연구단 단장
- 2019-현재 한양대학교 HYU 연구석학교수
- 2019-현재 한양대학교 전기정보통신기술 연구소 연구소장
- 2014-현재 한국통신학회 신호처리연구회 위원장
- 2000-2004 서울대학교 전기컴퓨터공학부 박사 취득
문태섭
서울대학교Refined Negative Sampling for Continual and Efficient Representation Learning
2:00 pm - 4:00 pmAbstract
In this talk, I will discuss the refinement of negative sampling strategies for two applications of representation learning: continual self-supervised learning (CSSL) and vision-language pre-training (VLP). Regarding CSSL, I will present a novel loss function that leverages the representations of negative samples obtained from the previous model, thereby facilitating improved continual learning of representations. For VLP, I will introduce a novel GRouped mIni-baTch (GRIT) sampling strategy that effectively groups hard negative samples within each batch. Furthermore, I will demonstrate how the combination of GRIT sampling with label smoothing and correction methods addresses false negatives. These refinements to the negative sampling process yield substantial enhancements in training efficiency and representation quality for both CSSL and VLP.
Bio
- 2021-현재 서울대학교 전기정보공학부 교수
- 2017-2021 성균관대학교 전자전기공학부 조교수/부교수
- 2015-2017 DGIST 전자전기컴퓨터공학과 조교수
- 2013-2015 삼성전자 종합기술원 전문연구원
- 2012-2013 UC Berkeley 통계학과 박사후연구원
- 2008-2012 Yahoo! Labs 연구원
- 2002-2008 Stanford University 전기공학과 석/박사
- 1996-2002 서울대학교 전기공학부 학사
박은혁
POSTECHEnabling Cost-Effective Updates for LLMs and Diffusion Models
10:00 am - 12:00 pmAbstract
This presentation introduces practical ways to update and personalize Large Language Models (LLMs) and Diffusion Models more efficiently. These models excel in generating text and images, but their large size and high computational demands often make it difficult to apply them in various fields. We will explore key efforts and methods that have been proposed to reduce the costs of updating and maintaining these models. By sharing these approaches, we aim to deepen understanding of LLMs and Diffusion Models and support their wider use in a more accessible and cost-efficient way.
Bio
- 2020-현재 포항공과대학교 인공지능대학원 조교수
- 2020 서울대학교 반도체공동연구소 박사후연구원
- 2018 Meta mobile vision team research intern
- 2015-2020 서울대학교 컴퓨터공학과 공학박사
- 2014-2015 포항공과대학교 전자과 공학석사
이상근
고려대학교언어 + 상식
2:00 pm - 4:00 pmAbstract
우리 인간이 다른 사람과 자연스럽게 대화를 하기 위해서는 공통의 언어와 함께, 대화 상대와 공유하는 배경 지식과 맥락이 있어야 합니다. 이러한 배경 지식에는 ‘상식’도 포함됩니다. 상식은 우리 인간이 잘 알고 있는 지식입니다. 우리 인간은 이미 잘 알고 있는 상식이지만, 놀랍게도 AI는 인간의 상식을 충분히 잘 알지 못하고, 그렇기 때문에 인간 수준 혹은 그 이상의 능력을 가지는 AI인 범용인공지능(AGI)을 아직 만들지 못하고 있습니다. 이 강연에서는 ‘언어+상식’이라는 주제로, 세 가지 이슈를 다룹니다. 첫째, AI가 인간의 언어 이외에, ‘상식’을 이해하는 것이 왜 중요할까요? 둘째, AI가 인간의 상식을 이해하기 위해서는 어떻게 해야 할까요? 마지막으로, 상식을 이해하는 AI를 개발하기 위한 최신 방법에는 어떤 것들이 있는지 살펴봅니다.
Bio
- 2003-현재 고려대학교 컴퓨터학과, 인공지능학과 교수
- 2020-현재 4단계 BK21 고려대학교 인공지능교육연구단 단장
- 2023-현재 ACL Rolling Review (ARR) Action Editor
- 2013-현재 한국정보과학회 데이터소사이어티 부회장
- 2018-2021 한국연구재단 ICT융합연구단 전문위원(RB)
- 2009-2010 IBM Watson Research Center Academic Visitor
- 2001-2003 LG전자 선임연구원
- 2000-2001 동경대학교 특별연구원
- 1990-1999 고려대학교 컴퓨터학과 학사, 석사, 박사