- 1. Lecture 1.1 - What is ML 什么是机器学习
- 2. Lecture 1.2 - What is DL 什麼是深度學習
- 3. Lecture 1.3 - How to Apply 如何應用深度學習
- 4. Lecture 2.1 - How to Train a Model 如何訓練模型
- 5. Lecture 2.2 - What is Model 什麼是模型
- 6. Lecture 2.3 - What does the Good Function Mean 什麼叫做好的Function呢
- 7. Lecture 2.4 - How can we Pick the Best Function 如何找出最好的Function
- 8. Lecture 2.5 - Backpropagation 效率地計算大量參數
- 10. Lecture 3.1 - Word Representations
- 11. Lecture 3.2 - Language Modeling 語言模型
- 12. Lecture 3.3 - Recurrent Neural Network 詳細解析
- 13. Lecture 3.4 - RNN Applications RNN各式應用
- 14. TA Recitation - Practical Tips
- 15. Lecture 4.1 - Attention Mechanism 注意力機制
- 16. Lecture 4.2 - Attention Applications 注意力的各式應用
- 17. Assignment 1 Tutorial
- 18. Lecture 5.1 - Word Representation Review 詞向量各式表示法
- 19. Lecture 5.2 - Word2Vec 詞向量
- 21. Lecture 5.4 - Negative Sampling
- 22. Lecture 5.5 - Word2Vec Variants 各種訓練的變化方式
- 23. Lecture 5.5 - Word2Vec Variants 各種訓練的變化方式
- 24. Lecture 5.6 - GloVe 詞向量
- 25. Lecture 5.7 - Word vector Evaluation 如何评估词向量的好坏
- 26. Lecture 5.8 - Contextualized Word Embeddings 前後文相關之詞向量
- 27. Lecture 5.9 - ELMo 芝麻街家族之起源
- 28. Lecture 6.1 - Basic Attention 基本注意力模型複習
- 29. Lecture 6.2 - Self Attention 新注意力機制
- 30. Lecture 6.3 - Multi-Head Attention
- 31. Lecture 6.4- Transformer
- 32. Lecture 6.5- BERT 進擊的芝麻街巨人
- 33. TA Recitation- More on Embeddings
- 34. Lecture 7.1 - Transformer-XL 處理超長輸入的變形金剛
- 35. Lecture 7.2 - XLNet 兼顧AR及AE好處的模型
- 36. Lecture 7.3 - RoBERTa SpanBERT XLM 簡單有用的改進方法
- 37. Lecture 7.4- ALBERT 如何讓BERT縮小卻依然好用呢
- 38. TA Recitation - More on Transformers
- 39. Lecture 8.1- Deep Reinforcement Learning Introduction
- 40. Lecture 8.2- Markov Decision Process
- 41. Lecture 8.3- Reinforcement Learning
- 42. Lecture 8.4- Value-Based RL Approach
- 43. Lecture 8.5- Advanced DQN
- 44. Lecture 9.1- Policy Gradient
- 45. Lecture 9.2- Actor Critic
- 46. Lecture 10.1- Natural Language Generation
- 47. Lecture 10.2- Decoding Algorithm
- 48. Lecture 10.3- NLG Evaluation
- 49. Lecture 10.4- RL for NLG (20-05-12)
- 50. TA Recitation- RL for Dialogues (20-05-12)
- 51. GAN (Quick Review)
- 52. GAN Lecture 4 (2018)- Basic Theory
- 53. GAN Lecture 6 (2018)- WGAN EBGAN
- 54. Lecture 11.1- Unsupervised Learning Introduction
- 55. Lecture 11.2- Autoencoder & Variational Autoencoder
- 56. Lecture 11.3- Distant Supervision & Multi-Task Learning
- 57. Lecture 12.1- Conversational AI Introduction 對話AI簡介
- 58. Lecture 12.2- Task-Oriented Dialogues 任務型對話
- 59. Lecture 12.3- Chit-Chat Social Bots 聊天型對話
- 60. Lecture 13.1- Robustness 對話系統的強健性 (20-06-16)
- 61. Lecture 13.2- Scalability 對話系統的擴展性
- 62. Final Project- Rules & Grading
- 63. Career Sharing 求学经验分享
内容简介:2020台大《应用深度学习》课程是一门面向实际问题的深度学习进阶课程,旨在帮助学生掌握如何运用深度学习算法解决各类复杂任务。本课程结合理论讲解与实践操作,通过作业和项目提升学生的实战能力。
课程描述
对于那些希望深入理解深度学习在现实场景中如何应用的学生来说,2020台大《应用深度学习》课程是一个不错的选择。课程从基础概念入手,逐步引导学生进入更复杂的模型构建和优化流程。课程涵盖了监督学习、自监督学习、嵌入方法、卷积网络、循环网络等关键领域,并将这些技术应用于计算机视觉、自然语言处理和语音识别等多个方向。 在整个学习过程中,学生需要完成多个小作业和一个最终项目,从而巩固所学知识并提升动手能力。课程资料包括详细的讲义、视频录像和推荐阅读材料,为不同背景的学生提供充足的参考资料。尤其是课程中提到的PyTorch教程,为新手提供了良好的上手路径。 此外,课程还邀请了行业专家进行讲座,让学生接触到最新的研究趋势和技术应用。例如,在Lecture 6中,学生将深入了解Transformer模型及其在自然语言处理中的重要性。同时,课程也会涉及一些前沿领域的探索,如生成对抗网络(GAN)和强化学习,这些内容极具实用性,是目前AI领域的重要研究方向。
学习目标
通过本课程,学生应能够掌握深度学习的基本原理和常用框架,并能独立完成从数据预处理到模型训练与评估的全流程工作。课程特别强调“为什么用”和“怎么用”的双重理解,使学生不仅了解算法的结构,还能分析其适用场景和局限性。适合人群
本课程适合对深度学习有一定基础但希望进一步提升实际应用能力的学生或从业者。若已修过李宏毅老师的类似课程,建议先评估自身水平再决定是否选修。课程大纲
- **Lecture 1**:课程导论与注册信息 - **Lecture 2**:神经网络基础与PyTorch简介 - **Lecture 3**:反向传播与词表示方法 - **Lecture 4**:循环神经网络与基本注意力机制 - **Lecture 5**:词嵌入与上下文嵌入(ELMo) - **Lecture 6**:Transformer模型与BERT - **Lecture 7**:强化学习初步与Q学习 - **Lecture 8**:策略梯度与Actor-Critic方法 - **Lecture 9**:生成对抗网络(GAN) - **Lecture 10**:卷积神经网络(CNN) - **Lecture 11**:无监督学习与NLP案例 - **Lecture 12**:项目进度展示与职业规划讨论 - **Lecture 13**:最终项目汇报








