When experience matters: Developing new probabilistic Bayesian cluster validity indices

เมื่อประสบการณ์สอนเรา: การพัฒนาตัวชี้วัดประสิทธิภาพการวิเคราะห์จัดกลุ่มแบบเบย์เซียนพื้นฐานความน่าจะเป็น

  • Data Science
  • Machine Learning
  • Statistics
2
ownerNATHAKHUN WIROONSRI
image
image
  • Project categoriesDigital Transformation
  • Strategic research themesDigital Transformation
  • Sub themesData science and AI
  • SDG goals-

Table of contents

Executive summary

Project Info / Background

Cluster analysis is one of the most well-known unsupervisedlearning tools in statistical and machine learningused for splitting observations into groups with similar characteristics. Researchers apply it to solve problems in diverse fields, ranging from social science to astronomer. There are various cluster validity indices used for evaluating clustering results. One of the main objectives of using these indices is to seek the optimal unknown number of clusters. Recently, [Wiroonsri21] (https://github.com/nwiroonsri/NCvalid/) introduced a new correlation-based cluster validity index which can accurately detect the optimal number of clusters and always provide information about sub-optimal numbers of clusters. This allows the user to rank several sub-optimal options on hand. However, this index is compatible only with k-means and hierarchical clustering and is solely based on data without any experience involved. In this work, we propose a new fuzzy cluster validity index (FNCI) and a new Bayesian cluster validity index (BNCI) based on the NC index (NCI) introduced by [Wiroonsri21]. FNCI will be compatible with fuzzy c-means, EM algorithm and other more modern methods that provide probabilistic memberships. For BNCI, we will use a Dirichlet prior for the optimal number of clusters candidates where the user can set its parameters based on experience in his/her context. The posterior distribution will remain a Dirichlet distribution with parameters changed with respect to the data. Therefore, the final optimal number of clusters will be based on both data and either knowledge or experience. Beside defining FNCI and BNCI and analyze their mathematical properties, we plan to apply them to Thai population dataset by adding sociological knowledge to adjust parameters of BNCI. Moreover, we also plan to cluster distinct graphs using their features in graph theory and apply the indices to select a final number of clusters. การวิเคราะห์จัดกลุ่มเป็นหนึ่งในวิธีการเรียนรู้เชิงสถิติ และ การเรียนรู้ของเครื่องแบบไม่มีผู้สอนที่นิยมใช้อย่างแพร่หลายที่สุด ซึ่งถูกใช้ในการแบ่งกลุ่มของข้อมูลเพื่อให้แต่ละกลุ่มมีลักษณะใกล้เคียงกัน นักวิจัยหลากหลายศาสตร์ประยุกต์ใช้เพื่อแก้ปัญหาต่างๆมากมาย ตั้งแต่ปัญหาเชิงสังคมศาสตร์ ไปจนถึงปัญหานอกอวกาศ ในการวิเคราะห์จัดกลุ่มนั้น มีตัวชี้วัดประสิทธิภาพกลุ่ม (Cluster Validity Index) จำนวนมากถูกคิดค้นขึ้น โดยหนึ่งในเหตุผลหลักในการใช้ตัวชี้วัดเหล้านี้คือเพื่อหาจำนวนกลุ่มที่เหมาะสมที่สุด ในปี 2021 [Wiroonsri 2021] (https://github.com/nwiroonsri/NCvalid/) คิดตัวชี้วัดประสิทธิภาพกลุ่มใหม่โดยใช้สหสัมพันธ์ซึ่งมีจุดเด่นที่สามารถหาจำนวนกลุ่มที่ดีที่สุดได้แม่นยำ นอกจากนี้ยังแสดงตัวเลือกที่ดีลำดับรองๆลงไปเสมอ ซึ่งจุดเด่นนี้เองจะทำให้ผู้ใช้งานสามารถจัดลำดับของจำนวนกลุ่มที่ดีที่สุดได้ อย่างไรก็ตาม ตัวชี้วัดประสิทธิภาพกลุ่มดังกล่าวนั้นยังใช้เพียงแค่กับ k-means และ hierarchical clustering และ ยังขึ้นกับข้อมูลที่มีเพียงอย่างเดียว โดยไม่ได้มีการนำเอาประสบการณ์ของผู้ใช้เข้ามาเกี่ยวข้องด้วย ในงานนี้ผู้วิจัยจะนำเสนอตัวชี้วัดประสิทธิภาพกลุ่มใหม่สองตัว คือ ตัวชี้วัดแบบคลุมเครือ (FNCI) และ ตัวชี้วัดแบบเบย์เซียน (BNCI) โดยสร้างจากพื้นฐานของ NC index (NCI) จากงาน [Wiroonsri21] ซึ่งสำหรับ FNCI จะใช้ได้กับ fuzzy clustering EM clustering และวิธีการใหม่อื่นๆ ที่สามารถให้ค่าสมาชิกกลุ่มแบบความน่าจะเป็น ในขณะที่ BNCI นั้น ผู้วิจัยจะใช้ prior distribution เป็น Dirichlet distribution สำหรับโมเดลจำนวนกลุ่มที่เหมาะสมที่สุด ซึ่งผู้ใช้สามารถกำหนดพารามิเตอร์ของ Dirichlet โดยใช้ประสบการณ์ในบริบทของตนเอง จากนั้น Posterior Distribution จะยังคงเป็น Dirichlet Distribution ที่พารามิเตอร์ถูกเปลี่ยนไปตามข้อมูลที่เก็บมาได้ ดังนั้น จำนวนกลุ่มที่เหมาะสมในท้ายที่สุดจะมีพื้นฐานมาจากทั้งประสบการณ์ และ ข้อมูล ท้ายสุดแล้ว นอกจากการคิดค้น FNCI และ BNCI และ การวิเคราะห์คุณสมบัติของทั้งสองตัวชี้วัด ผู้วิจัยจะประยุกต์ใช้ FNCI และ BNCI กับบริบทในโลกจริง โดยมีแผนจะใช้ตัวชี้วัดดังกล่าวในข้อมูลประชากรไทย โดยจะปรับพารามิเตอร์ของ BNCI โดยอาศัยความรู้ทางด้านสังคมศาสตร์ รวมถึงแผนในการประยุกต์ใช้ตัวชี้วัดในการแบ่งกลุ่มกราฟจากคุณสมบัติจากทฤษฎีกราฟอีกด้วย

Objective

• To develop new fuzzy and probabilistic Bayesian machine learning tools that can be widely used • To write an R package based on the developed tools and publish on GitHub • To write two journal articles based on the proposed tools

Project detail

Team

Members

  • avatar thumbnail

    NATHAKHUN WIROONSRI

    Project owner
    Lecturer - ภาควิชาคณิตศาสตร์, KMUTT
    • Machine Learning
    • Health Data Science
    • Statistics
    • Data Science
    • Mathematics
    • Applied Statistics
    • Statistical and Machine Learning
    • Applied Mathematics

Lab

  • thumbnail

    SPiDεR : Statistics, Probability, and Data Science with R programming

    More
  • thumbnail

    FSCI - Research and Innovation Division

    More

Network

  • Department of Mathematics

    organization