主題

內容

Python 基礎語法與資料結構

（必備先備知識）

• Python 變數型態與基本運算
• Python 字串處理
• Python 程式結構語法
• Python 資料結構與基本運算

（供無先備基礎知識者補充學習用，若要完整學習，請補修習「Python 資料科學實作」課程）

自然語言處理導論

• 自然語言處理應用導論

文字處理

（使用 NLTK, Jieba）

• 中英文停止詞（Stop words）
• 中英文分詞（Tokenization）
• 中英文詞性標註（Part-of-speech tagging, POS tagging）
• 正規表示法（Regular Expression）
• 專題實作：《紐約時報》中英文新聞〈Koala Mittens and Baby Bottles: Saving Australia’s Animals After Fires〉/〈大火中的「生物末日」：搶救澳洲野生動物〉
• 實作1：中英文分詞與詞頻計算（WordCount）
• 實作2：中英文詞性標註與詞頻計算

文本分析

• 詞頻分析：齊夫定律（Zipf’s law）
• 專題實作：布朗語料庫（Brown Corpus）詞頻分析
• 搭配詞（Collocation）
• N-gram
• Skip-gram
• Smadja’s algorithm
• 專題實作：路透社新聞英文搭配詞分析
• 關鍵字提取（Keyword Extraction）
• 逆向文件頻率（TF-IDF）
• BM25
• 視覺化：文字雲
• 專題實作：TED talks 關鍵字提取、文字雲

文本相似度

• 向量空間模型（Vector Space Model, VSM）
• 歐幾里德距離、餘弦距離（Cosine Similarity）
• SimHash
• 專題實作：TED talks 文本相似度計算
• 主題模型（Topic Modeling）
• 隱含狄利克雷分布（Latent Dirichlet Allocation, LDA）
• 貝式模型
• 專題實作：TED talks 主題提取與視覺化

單詞表示

• WordNet
• one-hot encoding
• 共生矩陣
• Count-based 與 Predicion-based
• 詞嵌入（Word Embedding）
• word2vec
• Continuous Bag of Words Model (CBOW)
• Skip-Gram Model
• 負採樣（Negative Sampling）
• 文本向量化、降維與視覺化
• 專題實作：《紅樓夢》單詞相似度分析與視覺化

深度學習架構簡介

（必備先備知識）

• 多層感知器（MLP）/深度神經網路（DNN）
• 卷積神經網路（CNN）
• 遞迴神經網路（RNN）

（供無先備基礎知識者補充學習用，若要完整學習，請補修習「Python 機器學習與深度學習實作」課程）

文本分類

• 機器學習與深度學習分類演算法
• 羅吉斯迴歸（Logistic Regression）
• RNN、LSTM、CNN
• 專題實作1：Google 商家評論情感分析-正負評分類
• 專題實作2：Google 商家評論情感分析-星等數分類

序列模型

• 各種 RNN 模型架構
• RNN、LSTM、GRU
• 專題實作：情書生成
• 序列對序列模型（Sequence to Sequence, seq2seq）
• seq2seq 介紹與相關應用
• Encoder-Decoder
• 語言模型（Language Model, LM）
• 注意力機制（Attention mechanism）
• Transformer
• BERT、GPT-2、Transformer-XL、XLNet 等

遷移學習

• NLP 中的遷移學習（Transfer Learning）
• 遷移學習的兩種方法
• 從 word2vec、ELMo、GPT 到 BERT
• BERT
• BERT 預訓練階段的兩個任務
• BERT 微調階段的四種應用任務
• 專題實作1：Google 商家評論情感分析-正負評分類（使用BERT）
• 專題實作2：Google 商家評論情感分析-星等數分類（使用BERT）