프로그램
이주호
KAISTGaussian Processes and Neural Processes
10:00 am - 12:00 pmAbstract
Stochastic processes are often used as a prior distribution over functions in statistical machine learning. This tutorial first covers the basic concepts about stochastic processes and then describes Gaussian processes, probably the most popular stochastic processes that are widely used for regression, latent variable modeling, and Bayesian optimization. Then the tutorial introduces neural processes, a data-driven stochastic process implicitly defined with neural networks. Unlike the traditional stochastic processes assuming a particular class of functions to describe before actually seeing data, neural processes assume minimal things and let the model learn from data. This tutorial will describe some basic and advanced variants of neural processes, demonstrate some applications, and show how they compare to Gaussian processes.
Bio
- 2020.07-현재 KAIST 김재철AI대학원 교수
- 2019.03-2020.06 (주) AITRICS 연구원
- 2018.03-2019.02 University of Oxford 박사후연구원
- 2011.03-2018.02 포항공과대학교 컴퓨터공학 박사
이근배
POSTECH심층학습기반의 자연어처리 동향
2:00 pm - 4:00 pmAbstract
본 발표는 최근의 자연어처리 연구에 있어서 심층신경망을 이용한 여러 연구접근에 대해서 설명하고자 한다. 도입에서는 자연어처리의 여러 응용분야 및 다루어야 할 단위 task 즉 문장분류, 품사태깅, 개체명태깅, 구문분석, 동시참조처리, 자동요약등의 문제에 대해 설명하고 왜 이러한 문제들이 기술적으로 어려운지 애매성 및 여러 예시를 들어 설명한다. 이후 이러한 task를 처리하기 위한 심층학습의 기본원리와 심층기계학습을 이용한 시퀀스처리에 대해 설명한다. 이는 향후 자연어에 있어 단어열을 처리하는 기본 원리가 된다. 자연어처리에서 가장 다루기 힘든 어휘 단계의 애매성을 처리하기 위한 워드임베딩 기본 원리를 설명하고 이를 확장한 문맥 기반 워드 임베딩에 대해 기본 원리와 응용을 설명한다. 이러한 문맥 기반 워드 임베딩을 만들기 위한 가장 각광을 받는 모델로 트랜스포머 구조와 응용을 설명하고 이를 이용한 버트 및 GPT 사전학습 구조를 다룬다. 이후 기계번역등 자연어처리의 여러 시퀀스태깅의 기본 문제 및 대표적 응용들인 자연어 기계독해와 자연어 챗봇 대화 시스템에 대해 하나의 심층신경망 모델로 전체 학습 가능한 모델에 대해 설명하고 본 발표를 요약하고자 한다.
Bio
- 1991.09-현재 Professor, POSTECH
- 2015.10-2019.12 Senior Vice President, Samsung Research Samsung Electronics (Director of AI Center)
- 2013.09-2014.08 Technical Advisor, Samsung Electronics
- 2000.03-2001.08 CTO, DiQuest
- 2000.09-2001.08 Visiting researcher, CSLI, Stanford University
신현정
아주대학교Kernel based Embedding
10:00 am - 12:00 pmAbstract
In classical kernel methods, kernel embedding can be viewed as a generalization of the individual data-point feature mapping as done in support vector machines and other kernel methods. Recently, it has meanwhile been extended to the embedding of distributions into infinite-dimensional feature spaces that can preserve all of the statistical features of arbitrary distributions, while allowing one to compare and manipulate distributions using Hilbert space operations such as inner products, distances, projections, linear transformations, and spectral analysis. We begin with a brief introduction to a reproducing kernel Hilbert space (RKHS) in which the key arsenal of kernel methods. Then positive definite kernels which forms the backbone of this research area are explained followed by introduction to various kernels proposed for various data types which are vectors, strings, graphs, images, time series, sequences, manifolds, and other structured objects. Then we gear up to simple embedding techniques such as kPCA, kCCA, kICA, etc. Next, we discuss the embedding of distributions which enables us to apply RKHS methods a wide range of applications such as sample testing and domain adaptation. Lastly, we discuss relationships between kernel embedding and other related areas.
Bio
- 2017-현재 한국정보과학회 기계학습연구회 회장
- 2017-현재 한국정보과학회 인공지능소사이어티 교육부 회장
- 2011-현재 국민건강보험 심사평가원 검사 심의위원회 부위원장
- 2014-현재 서울대 의과대학 유전체/임상/정보분석 전문가과정 강사
- 2013-현재 대한 의료정보학회 정보의학인증의 운영진 및 강사
- 2007-현재 한국 BI 데이터마이닝 학회 등기이사
- 2006-현재 아주대학교 산업공학과/인공지능학과/융합시스템공학과 교수
- 2000-2005 서울대학교 공과대학 (산업공학/데이터마이닝) 공학박사
- 2004-2005 Max-Planck-Institute for Biological Cybernetics(독일) 연구원
- 2005-2006 Friedrich-Mierscher-Lab, Max-Planck-Institute(독일) 수석연구원
- 2006 서울대학교 의과대학 연구교수
최승진
BARO AIRandom Projections and Fourier Features
2:00 pm - 4:00 pmAbstract
Random projection is a probabilistic dimensionality reduction method where a high-dimensional data point is projected onto a column space of a random matrix to construct a low-dimensional representation. What is good about this is that the projection matrix does not have to be learned from data, unlike most of dimensionality reduction methods such as principal component analysis or Fisher’s discriminant analysis. In other words, random projection is a data-independent method. What is even awesome characteristics of random projection is that it guarantees an epsilon-distortion distance preserving embedding into a lower-dimensional space, which is well justified by the celebrating Johnson-Lindenstrauss (JL) lemma. It has been extensively studied in machine learning and theoretical computer science. In the first half of this tutorial, I will begin with the linear projection and will review the random projection and JL lemma. The second half of the talk will be on nonlinear random projection. Of particular interests are random Fourier features which scales up kernel machines. A successful example is the ‘random kitchen sinks’ which scales up the kernel regression as well as deep neural networks, via randomized feature map instead of optimizing feature representations. If time allowed, I will also mention a method of speeding up random kitchen sinks, which is known as ‘fastfood’.
Bio
- 2021-현재 상임고문, BARO AI Academy
- 2019-2020 CTO, BARO AI
- 2001-2019 POSTECH 컴퓨터공학과 교수
- 2019-2021 정보과학회 인공지능소사이어티 회장
- 2018 삼성전자 종합기술원 자문교수
- 2017-2018 삼성리서치 AI센터 자문교수
- 2016-2017 신한카드 빅데이터센터 자문교수
- 2014-2016 정보과학회 머신러닝연구회 초대위원장
- 1997-2001 충북대학교 전기전자공학부 조교수
- 1997 Frontier Researcher, RIKEN, Japan
- 1996 Ph.D. University of Notre Dame, Indiana, USA
홍승훈
KAISTForecasting Future of Video Frames
10:00 am - 12:00 pmAbstract
Video forecasting aims to predict the future of the frames conditioned on the few observed frames in the past. Being able to forecast visual future is one of the key components of human intelligence, and is demanded in various applications such as Reinforcement Learning, Whether Forecasting, Robotics, etc. Compared to the low-dimensional sequences (e.g., natural languages), however, predicting the future frames is much more challenging due to the complex spatio-temporal dynamics of pixels in high-dimensional space. This talk aims to introduce some of the cutting edge techniques in video prediction based on deep generative models, and discuss some promising approaches in this direction.
Bio
- 2019 Visiting Research Faculty, Google Brain
- 2017-2019 Postdoctoral Fellow, University of Michigan, Ann Arbor
김동우
POSTECH그래프 데이터를 위한 신경망 모형과 응용
2:00 pm - 4:00 pmAbstract
소셜 네트워크나 분자 그래프와 같은 다양한 그래프 형태의 데이터는 일반적인 순방향 신경망 및 컨볼루션 신경망으로 학습이 불가능하다. 최근 몇년간 이러한 문제들을 해결하기 위해 다양한 그래프 신경망 기법들이 소개되었다. 본 강연에서는 심층 신경망 모델을 일반화하여 구조화된 데이터를 그래프로 표시하는 그래프 신경망(GNN)의 핵심 아이디어를 시작으로 초창기 그래프 신경망들이 가지는 문제점들을 해결하기 위해 제안된 최신의 그래프 신경망 모형들에 대해 다루는 것을 목표로 한다. 또한 이러한 그래프 신경망이 적용된 추천 시스템 및 자연어 처리 등의 응용 분야에 대해서 살펴보도록 한다. 또한 이러한 그래프 신경망을 활용한 생성적 그래프 신경망과 그 응용분야에 대해서도 다룰 것이다.
Bio
- 2019-현재 조교수, 포항공과대학교
- 2018-2019 조교수, Australian National University
- 2015-2018 Postdoc, Australian National University
김세훈
Kakao BrainRecent Advances in Text-to-Image Generation Models
10:00 am - 12:00 pmAbstract
Generating high-quality images from text prompts is a very interesting task and has many potentials in various applications. After OpenAI’s DALL-E, many attempts have been proposed to show that generative models from hundreds of millions of image-text pairs can create impressive images highly coherent with text prompts. In this talk, I will introduce the basic idea of autoregressive (AR) models in image generation tasks, and how to combine AR models with vector quantization approaches for generating high-resolution natural images given text prompts. Then, I will also introduce the fundamental ideas of diffusion-based models and recently proposed architectures including GLIDE. Lastly, I will cover our approaches to improve the performance of text-to-image generation models.
Bio
- 현재 카카오브레인 AI Researcher
- 2017-2019 AITRICS 연구팀장
- 2018 POSTECH 컴퓨터공학 박사
- 2012 MSRA, MSR 연구 인턴
- 2009 POSTECH 컴퓨터공학 학사
김은솔
한양대학교Self-supervised Representation Learning for Videos
2:00 pm - 4:00 pmAbstract
본 발표에서는 self-supervised learning 기법 중 하나로 최근 활발하게 사용되고 있는 contrastive learning을 소개한다. 2000년대 초반에 제안된 contrast loss를 시작으로 최근 MoCo, SimCLR, NCE loss 등이 제안된 흐름을 살펴보고, 그 방법들의 특성을 이론적으로 살펴본다. 또, 실제 문제에서 contrastive learning으로 학습할 때의 문제점과 해결 방법을 공유하며 대용량 비디오 데이터를 constrastive learning 기법으로 학습한 실험 결과를 소개한다.
Bio
- 2021.09-현재한양대학교 컴퓨터소프트웨어학부 조교수
- 2018.04-2021.08카카오브레인 Research Scientist
- 2018.02서울대학교 컴퓨터공학부 박사