Data Jungler

As mentioned in previous article , data mining, as known as Knowledge Discovery in Database, is process of extracting useful information from unstructured data. The data mining model is also included but not limited to machine learning algorithm. How does it work? To understand about the big picture of data mining process, this is visualized as below: Data Integration These dispersed data distributed into multiple database are integrated into say, data warehouse. Its purpose to prepare the raw data for further processing. In normal practice, a table format with attributes (column), records (row). Sampling Most of data mining models involve complex algorithm and frequently compute. If the data size is too large to be analyzed, sampling is indispensable to reduce the time spending on computation. There are several methods such as simple random, systematic sampling, clustering to achieve reducing the amount of data. Data Exploring So as to observe the structure of the data ...

很多時候，由於系統故障或人為輸入錯誤，產生一些不準確或錯誤的數據。事實上，這類意外的錯誤通常發生在我們的數據庫中，並在整個記錄中佔領一定的比例。 正所謂“高質量的數據能衍生高質的分析結果”，尤其是當我們製作統計報告的時候，任何缺失或重複的記錄也會誤導統計結果。例如，我們可能從交易資料庫中發現找到一些交易為零的記錄。 以機器學習(Machine Learning)的預測模型為例，由於一些極端的數會影響模型的預測表現，所以我們會刪除這些數值，避免影響該模型的性能。 我在唸大學期間，往往忽略了數據淨化的重要性。原因似乎是我看重了研究數據分析的方法而忽略數據的處理。直到我工作以後，才領略到先準備和處理數據的重要性。但在真實的工作環境中，要知道我們是不可能擁有具備完美的原始數據。在資料庫中提取了數據後，你仍然會發現在記錄中會存在一些意想不到的和不合理的數值。為了做統計分析和數據挖掘，並獲取可信賴的結果，我們必須清理和處理這些錯誤的數據。 但是，要怎樣評估數據或信息是否已經足夠好以作分析？數據的屬性可以用該行業知識和經驗去判斷和驗證。儘管一些該行業的專業人士沒有任何統計知識，他們依然有能力去判斷數值的真偽。所以有一些文章指出，擁有相應的行業和業務知識的數據科學家本身也是一項優勢。 數據的質量 以下是判斷數據質量的指標： 1.準確度 準確的數據可以反映在實際環境中的對象或事件。在錯誤的資料中，我們怎麼會獲取準確的結果呢？不準確的數據往往帶來不恰當的和誤導性的信息。 2.有效性 資料可以由各種各樣的方式來驗證，包括利用其類別，格式，邏輯或者總數等。例如，在某物件的數量發現有非整數值，此記錄可被視為無效。 3.一致性 來自不同來源的數據經過整合後，數據應與數據源一致。假設你既是高中或大學畢業生，又是某家商店的會員，但會員證仍然顯示“學生”，這就是不一致的數據。 4.冗餘性 愈有質量的數據含有愈少量的冗餘記錄，在一項記錄中，具獨一無二特性的數值是不能重複的，因為這會導致偏差也影響到結果的準確性。如果一張發票中存在兩個相同的交易記錄，您的客戶當然會埋怨，及有權拒絕支付雙倍費用。當你分析銷售記錄時，交易總額亦會因此而出錯。 5.完整性 完整的數據，內容應該符合使用者的期望。在網上登記表格中總會有一些必填項目，以確保接收者（...

Most of time, there is inaccurate or wrong data due to system bugs or human-input error. In fact, these kind of unexpected error usually occurs in our database and occupied certain proportion of overall observations. "Quality data, quality results." This statement is valid especially when we generate the summary report with statistics. Any missing or duplicated records could mislead the statistical results. Additionally, we sometimes find the abnormal value for some attribute (say zero transaction amount)  in a record. For predictive modelling in machine learning, outliers with extreme value are kicked out besides the improper data to prevent from affecting the model performance. When studied in the university, I usually neglected the importance of cleansing the data. The reason seems to be my curiosity of studying the analytical method is far away from that of processing the data. Of course, I have learned the lesson from my own jobs and awarded the significance of dat...