Advanced Artificial Intelligence (인공지능 특강 [240030-01], Spring Semester, 2024)


“Student-professor relationships are based on trust. Acts, which violate this trust, undermine the educational process. Your classmates and the professor will not tolerate violations of academic integrity.”


1. Course Schedule & Lecture Notes


[공지사항]

[2024.03.04] 본 수업을 수강하는 학생들에게 공지합니다. 본 수업은 심층강화학습(Deep Reinforcement Learning)의 기초가 되는 주요 내용 및 알고리즘을 15번의 수업에 걸쳐서 학습할 예정입니다. 모든 학생들은
   1) 교재의 각 챕터를 공부하고 자료를 구성하여 직접 수업시간에 여러 대학원생들 앞에서 발표를 해야 하며,
   2) 해당 교재에서 소개하는 심층강화학습 코드를 이해하고 이를 기반으로 숙제와 텀프로젝트를 리포트와 함께 제출해야 하며,
   3) 기말고사를 통하여 이 수업에서 다룬 심층강화학습 알고리즘 전반에 걸친 이해도를 평가받게 됩니다.
[2024.03.04] 본 수업을 수강하기 위하여 꼭 필요한 선수 지식
   1) 학부과정에서의 자료구조 및 알고리즘 교과목 이수
   2) 파이썬을 활용한 가상 환경 구축 및 다양한 패키지/모 활용 경험
   3) 파이썬을 활용한 Tensorflow 또는 Pytorch 기반으로 딥러닝 관련 코딩 수행 경험
[2024.03.04] 학점은 A+/A, B+/B, C+/C, F 이렇게 총 4개의 그룹으로 나누어 부여할 예정이며, F로 평가될 학생이 없다면 각 3개 그룹당 학점의 분포는 40%, 40%, 20%로 나누어 부여할 예정이지만 강의가 종료된 이후 전반적인 학업성취도를 가늠하여 변경될 수 있습니다.
[2024.03.04] 강의에서 사용하는 심층강화학습 프레임워크 Github Repository:

# Date Book Presentation Paper Presentation Notice
01 03월 04일(월) - 강의 소개
- DRL Lecture Notes (1/5) 강의 노트
02 03월 11일(월) - DRL Lecture Notes (2/5) 강의 노트
03 03월 18일(월) - DRL Lecture Notes (3/5) 강의 노트
- DRL Lecture Notes (4/5) 강의 노트 		Homework #1. 숙제 설명
기한: 2024년 3월 31일 23시 59분
04 03월 25일(월) - DRL Lecture Notes (5/5) 강의 노트
05 04월 01일(월) - Ch. 2 마르코프 결정 과정: 최기훈, 박범혁, 강성욱 - 논문 발표 01.: 최요한 - Demonstrating A Walk in the Park: Learning to Walk in 20 Minutes With Model-Free Reinforcement Learning, 프로젝트 소개 페이지
- 논문 발표 02.: 지창훈 - Efficient Preference-Based Reinforcement Learning Using Learned Dynamics Models
06 04월 08일(월) - Ch. 3 벨만 방정식: 김지우, 아셀, 김경민 - 논문 발표 03. 강성욱 - Reinforcement Learning-Based End-to-End Parking for Automatic Parking System
- 논문 발표 04. 아셀 - Asynchronous Methods for Deep Reinforcement Learning
- 논문 발표 05. 이재원 - Dense reward for free in Reinforcement Learning from Human Feedback
07 04월 15일(월) - Ch. 4 동적 프로그래밍: 김민범, 박기형, 이우석 - 논문 발표 06. 윤차주 - Scaling Vision-and-Language Navigation With Offline RL
- 논문 발표 07. 윤인식 - Curiosity-driven Exploration by Self-supervised Prediction
- 논문 발표 08. 이민철 - Transferring Meta-Policy From Simulation to Reality via Progressive Neural Network
08 04월 22일(월) - Ch. 5 몬테카를로법: 노유찬, 박재웅, 윤인식 - 논문 발표 09. 이우석 - Automatic Data Augmentation via Deep Reinforcement Learning for Effective Kidney Tumor Segmentation
- 논문 발표 10. 조재민 - Exploration by Random Network Distillation - 논문 발표 11. 김재홍 - Reinforcement Learning Based Wireless Augmented Reality on Mobile Edge Computing
09 04월 29일(월) - Ch. 6 TD (Time Difference)법: 윤차주, 김재홍, 남동윤 - 논문 발표 12. 김경민 - Eureka: Human-Level Reward Design via Coding Large Language Models
- 논문 발표 13. 박기형 - Reinforcement Learning in Image Classification: A Review
- 논문 발표 14. 김민범 - Reinforced Active Learning for Image Segmentation
10 05월 06일(월) 대체 공휴일
11 05월 13일(월) - Ch. 7 신경망과 Q 러닝: 곽민창, 이종영, 최승용 - 논문 발표 15. 이요셉: Autonomous Drifting Using Reinforcement Learning
- 논문 발표 16. 최기훈: Continuous Control for Automated Lane Change Behavior Based on Deep Deterministic Policy Gradient Algorithm
- 논문 발표 17. 노유찬: Learning the Non-differentiable Optimization for Blind Super-Resolution
12 05월 20일(월) - Ch. 8 DQN: 이요셉, 이민철, 조재민 - 논문 발표 18. 박재웅 - Reinforcement Learning for Optimizing RAG for Domain Chatbots
- 논문 발표 19. 김지우 - Reinforced Axial Refinement Network for Monocular 3D Object Detection
- 논문 발표 20. 이종영 - Self-adaptive Torque Vectoring Controller Using Reinforcement Learning 		Homework #2. 숙제 설명
기한: 2024년 6월 9일 일요일 23시 59분
13 05월 27일(월) 휴강
14 06월 03일(월) - Ch. 9 정책 경사법: 지창훈, 최요한, 이재원 - 논문 발표 21. 곽민창 - Deep Reinforcement Learning for Predictive Longitudinal Control of Automated Vehicles
- 논문 발표 22. 최승용 - Autonomous RL: Autonomous Vehicle Obstacle Avoidance in a Dynamic Environment using MLP-SARSA Reinforcement Learning
- 논문 발표 23. 박범혁 - Safe Deep Reinforcement Learning for Adaptive Cruise Control by Imposing State-Specific Safe Sets
- 논문 발표 24. 남동윤 - Learning quadrupedal locomotion over challenging terrain
15 06월 10일(월) 기말 고사

2. Course Information


  • - Lecturer: 한연희 교수 (Rm. 2공학관 423호, Email: yhhan@koreatech.ac.kr)
  • - Classes: 월요일 (16:00 ~ 16:50)
  • - Lecture Room: 2공학관 317호
  • - Prerequisites: 머신러닝 및 딥러닝 기본 지식, 파이썬 기반의 PyTorch/Tensorflow 기본 코딩 경험

3. Presentation Evaluation


  • - BOOK: 내용 이해도 (60%), 발표 자료 충실도 (40%) - 반드시 모든 팀원이 모두 골고루 발표, 팀원들에게 동일한 점수 부여
  • - PAPER: 내용 이해도 (50%), 발표 자료 충실도 (30%), 발표 역량 (20%)

4. Home Work Guide


  • - 추후 구체적인 숙제 가이드 라인 제공
  • - 교재를 기반으로 강화학습 코딩 및 실험 결과 담은 리포트 제출

5. References


[주교재]

  • - 밑바닥부터 시작하는 딥러닝 4 (파이썬으로 직접 구현하며 배우는 강화 학습 알고리즘 )
  • - 수업 시간 PDF로 제공
  • - 심층강화학습 핵심 논문

[부교재]

  • - 심층 강화학습 인 액션 : 기본 개념부터 파이썬 기반의 최신 알고리즘 구현까지
  • - 파이썬 기반 강화학습 알고리듬 DP, Q-Learning, AC, DQN, TRPO, PPO, DDPG, TD3 | Imitation Learning, ESBAS 알아보기
  • - 심층강화학습 주요 논문 모음:
  • - PyTorch 튜토리얼:

6. Logistics


  • - Attendance: one class absence will result in the deduction of two points out of 100 points. Five absences will not result in ten points deduction, but “failure” (i.e., grade ‘F’) in this course.
  • - Homework: much intensive homework will be set. Any cheating (or copying) will result in grade ‘F’.
  • - Exam: there will be the final examination for the evaluation of the knowledge learned from the class.

7. Lecture Evaluation


  • Attendance (10%), Book Presentation (20%), Paper Presentation (20%), Homework Reports (20%), Final Exam. (30%)