書中自有黃金屋？從Sparktake.com的文章找Keywords
筆者最近想玩NLP和Text Mining，於是拿了朋友經營的網站Sparktake.com做了些小嘗試，Sparktake除了開發了熱門的手機程式：二手書買賣平台，也定期發佈不少令人發人深省的讀後感和心得。而筆者看看能不能在眾多的文章中準確和自動地抓住每一篇的重點字眼。 正所謂凡事起頭難，當手頭上沒有任何Data的時候，就唯有自己打開Sparktake.com動手Scrape吧。 經歷一番的折騰，終於把一共116篇的文章，包括標題 ，內容，發佈時間，Tag一併地拿下，把其放進一個csv檔裡作之後的分析。基於Sparktake的文章絕大部分是用中文所寫的，擷取的內容都encode成為utf-8再存起來，免得亂碼等問題暗中作怪。 Sparktake.com 接下來是Preprocessing的環節，就先把英文字母和一些Special Character (例如：”\n”, \r”等)都刪去，只留下中文字的UTF-8，再decode轉換成Unicode。同時，筆者用上大家都不會陌生的Jieba(結巴)，這個Python Package來做中文的NLP。在找出關鍵字前，我們先從所有文章作一個整體的分析。Jieba的tokenizer可以把整篇內容的每一句句子都切成一組又一組的詞語，即是: "一個人遇上一本書，都是緣份使然。看了多少本書並不重要，重要的是我從中有多少得益。" 切成: "一個", "人", "遇上", "一本", "書", "，", "都", "是", "緣份", "使然", "。", "看", "了", "多少", "本書", "並", "不", "重要", "，", "重要", "的", "是", "我", "從", "中...