ทฤษฏีที่เกี่ยวข้อง

 การปรับปรุงคุณภาพของรูปภาพ (Image Enhancement) 

เป็นกระบวนการในการแปลงข้อมูลภาพตัวเลข เพื่อที่จะสร้างภาพที่เน้นรายละเอียดหรือปรับโทนแสงของภาพที่ต้องการ โดยอาจจะต้องพิจารณาใช้เทคนิคปรับปรุงภาพหลายเทคนิคและนำมาประมวลผลเพื่อให้ได้ภาพที่ต้องการ ซึ่งแต่ละเทคนิคจะมีการปรับปรุงภาพในแง่มุมที่แตกต่างกัน เทคนิคที่ใช้การปรับปรุงภาพวิธีหนึ่งที่เป็นที่นิยมคือ การปรับปรุงภาพเชิงพื้นที่ (Spatial Enhancement) ซึ่งเป็นการเน้นภาพที่ใช้ค่าจากจุดภาพที่อยู่รอบ ๆ จุดภาพใด ๆ มาคำนวณ โดยการปรับภาพเชิงพื้นที่จะเกี่ยวข้องกับความถี่เชิงพื้นที่ หมายถึง ความแตกต่างระหว่างค่าสูงสุดและต่ำสุดของกลุ่มจุดบนภาพที่อยู่ติดกันหรือใกล้เคียงกัน เทคนิคที่นิยมใช้งานกัน ได้แก่ การเน้นขอบของวัตถุในภาพ (Edge Enhancement) และการกรองภาพแบบคอนโวลูชัน (Convolution Filtering)

1) การเน้นขอบภาพ (Edge Enhancement) เป็นการเน้นขอบโดยทำให้จุดภาพตรงรอยต่อระหว่างพื้นที่ที่มีกลุ่มจุดภาพมีค่าเพิ่มสูงขึ้นหรือลดลง ขึ้นกับความสว่างและความมืดของขอบ หากไม่มีการเปลี่ยนแปลง ตัวกรองภาพจะคงสภาพรูปภาพในพื้นที่นั้นไว้เช่นเดิม ซึ่งการปรับคุณภาพโดยการเน้นขอบของรูปภาพให้มีความชัดเจนยิ่งขึ้นคือการปรับค่าความเปรียบต่าง (contrast) ระหว่างสีที่แตกต่างกัน การเปลี่ยนแปลงอย่างรวดเร็วจากดำไปขาวทำให้ภาพคมชัดซึ่งต่างจากการจับเส้นขอบที่เห็นเฉพาะขอบและส่วนอื่นถูกลบออกไป ในการเปลี่ยนแปลงช้า ๆ จากดำเป็นเทาและขาวนั้นจะทาให้ภาพเบลอ 

2) การกรองภาพแบบคอนโวลูชัน (Convolution Filtering) เป็นกระบวนการเฉลี่ยค่าของจุดภาพภายในหน้าต่างเลื่อน (Sliding window) หน้าต่างตัวกรองจะทำการคำนวณและนำผลลัพธ์มาใส่บนจุดภาพที่อยู่ตรงกลางของหน้าต่าง หลังจากการคำนวณเสร็จหนึ่งจุดภาพ หน้าต่างจะเลื่อนไปทีละคอลัมน์และคำนวณจุดภาพที่อยู่ตรงกลางหน้าต่างตำแหน่งใหม่ เมื่อจบคอลัมน์ก็จะเลื่อนลงมาเริ่มต้นที่แถวใหม่ ทำจนหมดทั่วทั้งภาพ โดยเทคนิคที่ใช้ในการกรองภาพประกอบด้วยหลายเทคนิค เช่น เครื่องกรองผ่านความถี่สูง (high-pass filter) เป็นวิธีการกรองเอาองค์ประกอบที่มีความแปรปรวนในพื้นที่สูงคือ พื้นที่ที่มีการเปลี่ยนแปลงของความถี่สูง รอยต่อของพื้นที่ที่แตกต่างกันมากหรือลักษณะที่เป็นเส้นขอบ

ขั้นตอนการกรองภาพด้วยการกรองแบบคอนโวลูชัน 

การเรียนรู้ของเครื่อง (Machine Learning) 

เป็นสาขาหนึ่งของปัญญาประดิษฐ์ (Artificial Intelligent: AI) ที่พัฒนามาจากการศึกษาการรู้จำรูปแบบ (Pattern Recognition) โดยการเรียนรู้ของเครื่องเป็นการสร้างอัลกอริทึมที่สามารถเรียนรู้ข้อมูลและทำนายข้อมูลได้โดยอาศัยข้อมูลชุดตัวอย่างเพื่อตัดสินใจซึ่งแตกต่างจากการทำงานตามลำดับคาสั่งของโปรแกรม 

1) การเรียนรู้ของเครื่องสามารถแบ่งออกได้เป็น 3 ประเภท ซึ่งถูกจาแนกโดยชุดข้อมูลฝึก (Training data) ได้แก่ การเรียนรู้แบบมีผู้สอน (Supervised learning) เป็นการเรียนรู้ที่ผู้สอนต้องป้อนข้อมูลตัวอย่างและคำตอบของข้อมูลนั้น ๆ ซึ่งมีเป้าหมายเพื่อสร้างกฎที่สามารถเชื่อมโยงข้อมูลที่ถูกป้อนและผลลัพธ์ที่ออกมาได้ 

2) การเรียนรู้แบบไม่มีผู้สอน (Unsupervised learning) การเรียนรู้ประเภทนี้ผู้สอนจะป้อนข้อมูลตัวอย่างเพียงอย่างเดียว ไม่มีการป้อนคาตอบของข้อมูลลงไป ซึ่งคอมพิวเตอร์จะเรียนรู้โดยการหาความคล้ายคลึงของข้อมูลที่ถูกป้อนและจัดกลุ่มข้อมูลได้อย่างเหมาะสม 

3) การเรียนรู้แบบเสริมกำลัง (Reinforcement learning) การเรียนรู้ประเภทนี้ไม่จำเป็นต้องใช้ข้อมูล เนื่องจากเป็นการเรียนรู้แบบลองผิดลองถูกซึ่งจะมีการให้รางวัลและการทำโทษ (Reward and punishment) โดยจะต้องมีเป้าหมายใดเป้าหมายหนึ่งเป็นพิเศษ เช่น การเรียนรู้การขับยานพาหนะ หรือการเรียนรู้การเล่นเกม

การแบ่งกลุ่มข้อมูล (Clustering) 

เป็นการจำแนกข้อมูลออกเป็นกลุ่มย่อย ๆ (cluster) ตั้งแต่ 2 กลุ่มขึ้นไป ซึ่งข้อมูลที่อยู่ในกลุ่มเดียวกันจะมีลักษณะที่เหมือน (similarity) หรือคล้ายกัน (proximity) โดยคานวณจากการวัดระยะระหว่างเวกเตอร์ของข้อมูลโดยใช้การวัดระยะแบบต่าง ๆ เช่น การวัดระยะแบบยูคลิด (Euclidean distance) การวัดระยะแบบแมนฮัตตัน (Manhattan distance) หรือการวัดระยะแบบเชบิเชฟ(Chebychev distance) ซึ่งการแบ่งกลุ่มจะใช้ข้อมูลทั้งหมดในการหาจุดเด่นของแต่ละกลุ่มออกมาให้เห็นอย่างชัดเจนเพื่อให้ได้มาซึ่งลักษณะเฉพาะของกลุ่มนั้น ๆ 

ขั้นตอนวิธีในการแบ่งกลุ่มข้อมูลโดยทั่วไปจะแบ่งได้เป็น 2 ประเภท 

1) การแบ่งแบบลำดับขั้น (Hierarchical) เป็นการแบ่งกลุ่มจากกลุ่มย่อยที่ถูกแบ่งไว้ก่อนหน้านั้นซ้าหลาย ๆ ครั้ง ซึ่งแบ่งออกเป็น 2 ลักษณะคือ แบบล่างขึ้นบน (Bottom-up) เป็นการแบ่งแบบรวมกลุ่มจากกลุ่มย่อยให้ใหญ่ขึ้นไปเรื่อย ๆ โดยเริ่มจากกลุ่มเล็กสุดคือในแต่ละกลุ่มมีข้อมูลเพียงตัวเดียว และแบบบนลงล่าง (Top-down) เป็นการแบ่งกลุ่มจากกลุ่มใหญ่ให้ย่อยลงไปเรื่อย ๆ โดยเริ่มจากกลุ่มใหญ่สุด 

2) การแบ่งแบบตัดส่วน (Partitional Clustering) จะทำการแบ่งส่วนปริภูมิ (space) เพียงแค่ครั้งเดียวเท่านั้น 

การคัดเลือกคุณสมบัติของข้อมูล (Feature Selection) 

การคัดเลือกคุณสมบัติของข้อมูลหรือในอีกชื่อหนึ่งคือการคัดเลือกตัวแปร (Variable Selection) เป็นกระบวนการคัดเลือกสับเซตของคุณสมบัติที่มีความเกี่ยวข้องกันเพื่อใช้ในการสร้างโมเดลสำหรับทำนาย โดยการคัดเลือกคุณสมบัติของข้อมูลมีวัตถุประสงค์เพื่อลดความซับซ้อนของโมเดลเพื่อใช้ในการทานาย ลดระยะเวลากระบวนการสร้างโมเดล และเพิ่มประสิทธิภาพการทา generalization ของโมเดลเพื่อลดปัญหาการเกิด overfitting หรือโมเดลมีความจำเพาะต่อข้อมูลชุดใดชุดหนึ่งเกินไป 

แนวคิดของกระบวนการคัดเลือกคุณสมบัติของข้อมูลเกิดจากการที่ข้อมูลมีคุณลักษณะ(feature) ที่มากเกินไป มีความซ้ำซ้อนและไม่มีความเกี่ยวข้องกัน ซึ่งสามารถกำจัดคุณสมบัติเหล่านี้ได้โดยไม่ส่งผลต่อภาพรวมของข้อมูลหรือยังคงลักษณะเดิมของข้อมูลไว้ได้โดยไม่เปลี่ยนแปลงมากนัก โดยการคัดเลือกคุณสมบัติของข้อมูลจะถูกใช้กับโดเมนที่มีคุณลักษณะเป็นจำนวนมาก แต่มีจุดข้อมูล (Data point) ในจำนวนน้อย 

กำรค้นหำเพื่อนบ้านใกล้สุด (Nearest Neighbor Search) 

การค้นหาเพื่อนบ้านใกล้สุด (Nearest Neighbor Search: NSS) หรือการค้นหาความคล้าย(Similarity Search) เป็นวิธีการแก้ปัญหาสำหรับการหาจุดที่ใกล้เคียงที่สุดในปริภูมิ โดยความคล้ายจะถูกกล่าวถึงในแง่ของฟังก์ชันความแตกต่าง (Dissimilarity function) ยิ่งวัตถุมีความใกล้เคียงกันน้อย ค่าที่ได้จากฟังก์ชันจะเพิ่มมากขึ้น ซึ่งปัญหาของ NSS จะถูกกำหนดโดยให้ S เป็นเซตของจุดซึ่งอยู่ในปริภูมิ M และจุด q ซึ่งเป็นจุดที่ต้องการเปรียบเทียบ (Query point) โดยที่ q เป็นสมาชิกของ M 

โดยส่วนใหญ่แล้วปริภูมิ M จะเป็นปริภูมิเมตริกซ์ (Metric space) และความแตกต่าง(Dissimilarity) จะถูกกล่าวในรูปของระยะเมติกซ์ (Distance metric) ซึ่งนอกจากนี้ปริภูมิ M ยังถูกกล่าวในรูปของมิติใด ๆ บนปริภูมิเวกเตอร์ซึ่งความแตกต่างจะถูกวัดโดยใช้ระยะทางยูคลิด(Euclidean distance) ระยะทางแมนฮัตตัน (Manhattan distance) หรือระยะเมตริกซ์อื่น 

โดยอาศัยหลักการที่ว่า sample ที่มีลักษณะใกล้เคียงกัน จะมีระยะใกล้กัน โดยเราจะหาระยะโดยใช้ Euclidean distance ซึ่งเป็นระยะระหว่างจุด 2 จุด ยิ่ง Euclidean distance น้อย ยิ่งมีลักษณะใกล้เคียงกัน 

จากรูป  โดยโมเดลนี้จะหาระยะระหว่าง query point ซึ่งเป็น input กับศูนย์กลางของ cluster ต่าง ๆ ถ้าอยู่ใกล้ศูนย์กลางของ cluster ไหน ก็จะจำแนกให้อยู่ใน cluster นั้น 

การวิเคราะห์การถดถอยเชิงเส้น (Linear Regression Analysis) 

Linear Regression Analysis เป็นการวิเคราะห์เพื่อหาสมการความสัมพันธ์ระหว่างตัวแปรตั้งแต่ 2 ตัวขึ้นไป โดยแบ่งประเภทตัวแปรออกเป็น 2 ประเภท คือ ตัวแปรอิสระหรือตัวแปรที่รู้ค่า(Predictor) และตัวแปรตามหรือตัวแปรที่ไม่รู้ค่า (Response) ซึ่งจะทำให้สามารถทราบขนาดความสัมพันธ์ระหว่างตัวแปรอิสระที่มีต่อตัวแปรตาม โดยการวิเคราะห์การถดถอยแบบเชิงเส้น

ตัวแปรอิสระส่วนใหญ่จะเป็นตัวแปรเชิงปริมาณ ในส่วนของตัวแปรตามจะต้องเป็นตัวแปรเชิงประมาณเท่านั้น 

ตัวอย่างของการวิเคราะห์การถดถอยเชิงเส้นอย่างง่าย 

 ซึ่งมีเพียงตัวแปรตาม 1 ตัว และตัวแปรอิสระ 1 ตัว จะนาข้อมูลจากตัวแปรทั้ง 2 มาวิเคราะห์หาความสัมพันธ์โดยใช้แผนภาพเส้นตรงและหาเส้นตรงที่ดีที่สุดเพื่อเป็นตัวแทนรูปแบบความสัมพันธ์ของตัวแปรที่ศึกษา โดยจะต้องมีผลรวมระยะห่างกำลังสองระหว่างเส้นตรงและทุก ๆ ข้อมูลมีค่าน้อยที่สุด (The Method of Least Squares) 

โครงข่ายประสาทเทียม OverFeat 

OverFeat เป็นโครงข่ายประสาทเทียมแบบลึกชนิด Convolution ขนาด 8 ชั้น ซึ่งมีฐานการเรียนรู้เป็นรูปภาพ (image-based) ถูกพัฒนาโดย Pierre Sermanet, David Eigen, Xiang Zhang, Michael Mathieu, Rob Fergus และ Yann LeCun ซึ่งเป็นโครงข่ายประสาทเทียมที่ชนะการแข่งขัน ImageNet ในปี ค.ศ. 2013 ถูกสร้างด้วยรูปภาพซึ่งเป็นชุดข้อมูลฝึก (Training data) จานวน 1.2 ล้านรูปและมีอัตราความผิดพลาดน้อยที่สุด 1 ใน 5 ของการแข่งขันที่ 14.20 % 

OverFeat สามารถทาการจำแนก (Classification) ประเภทของวัตถุที่อยู่ในภาพรวมถึงระบุตำแหน่งของวัตถุบนภาพ (Localization) นอกจากนี้ยังสามารถทาการดึงคุณสมบัติ (Feature Extraction) ออกมาจากภาพได้ โดยจะให้คุณสมบัติทั้งหมด 4096 คุณสมบัติต่อ 1 ภาพ และภาพที่จะผ่านการดึงคุณสมบัติจะต้องมีความละเอียดไม่ต่ำกว่า 231x231 พิกเซล 

การแบ่งกลุ่มข้อมูลแบบเคมีน (K-Means Clustering) 

การแบ่งกลุ่มข้อมูลเป็นวิธีการเรียนรู้แบบไม่มีผู้สอน (Unsupervised Learning) โดยอัลกอริทึมของ K-Means เริ่มแรกจะทำการจัดกลุ่มโดยการกำหนดจำนวนกลุ่ม (K) ที่ต้องการ และกำหนดจุดศูนย์กลางเริ่มต้นของแต่ละกลุ่มซึ่งการกำหนดตำแหน่งจุดศูนย์กลางเริ่มต้นที่แตกต่างกันทำให้ได้ผลลัพธ์สุดท้ายแตกต่างกันด้วย ดังนั้นจึงต้องมีการกำหนดจุดศูนย์กลางให้ห่างจากจุดศูนย์กลางอื่น ๆ ให้มากที่สุด ขั้นตอนต่อไปคือสร้างกลุ่มข้อมูลและความสัมพันธ์กับจุดศูนย์กลางที่ใกล้มากที่สุด โดยแต่ละจุดจะถูกกำหนดให้เป็นกลุ่มเดียวกับจุดศูนย์กลางที่ใกล้เคียงที่สุดจนครบหมดทุกจุด และคานวณจุดศูนย์กลางใหม่โดยการหาค่าเฉลี่ยทุกจุดที่อยู่ในกลุ่ม หากจุดศูนย์กลางในแต่ละกลุ่มถูกเปลี่ยนตาแหน่ง จะได้จุดที่มีความสัมพันธ์กับกลุ่มใหม่และใกล้กับจุดศูนย์กลางใหม่ ทาซ้าแบบนี้ไปเรื่อย ๆ จะสังเกตเห็นว่าผลลัพธ์จากการทำซ้ำแบบนี้ทำให้จุดศูนย์กลางเปลี่ยนตำแหน่งทุกรอบ จนกระทั่งจุดศูนย์กลางจำนวน K จุด ไม่มีการเปลี่ยนแปลงจึงจะสิ้นสุดกระบวนการ สามารถสรุปขั้นตอนเริ่มต้นได้ดังนี้ 

1) กำหนดจานวนและจุดศูนย์กลางเริ่มต้นจานวน K จุด 

2) นำจุดทั้งหมดจัดเข้ากลุ่มที่มีจุดศูนย์กลางที่อยู่ใกล้จุดนั้นมากที่สุด โดยคำนวณ จากการวัดระยะห่างระหว่างจุดที่น้อยที่สุด 

3) คำนวณจุดศูนย์กลาง K จุดใหม่ โดยหาจากค่าเฉลี่ยทุกจุดที่อยู่ในกลุ่ม 

4) ทำซ้ำในข้อ 2. จนกระทั่งจุดศูนย์กลางไม่เปลี่ยนแปลง 

รูป 2.14 (ก) เป็นการจัดกลุ่มในขั้นตอนแรกโดยที่กำหนดจำนวนกลุ่มและจุดศูนย์กลางเริ่มต้นจำนวน 3 กลุ่ม โดยใช้สัญลักษณ์ + แทนจุดศูนย์กลางของแต่ละกลุ่ม จากนั้นวัตถุจะถูกกาหนดให้เข้ากลุ่มที่มีจุดศูนย์กลางอยู่ใกล้วัตถุนั้นมากที่สุดดังรูป 2.14 (ข) จุดศูนย์กลางมีการเปลี่ยนแปลงเป็นจุดศูนย์กลางใหม่และจัดจุดทั้งหมดให้เข้ากลุ่มที่มีจุดศูนย์กลางอยู่ใกล้กับวัตถุนั้นมากที่สุดดังรูป 2.14 (ค) ทำซ้ำเช่นนี้ไปเรื่อย ๆ จนกระทั่งจุดศูนย์กลางไม่เปลี่ยนแปลงจึงจะได้ผลลัพธ์สุดท้ายดังรูป 2.14 (ง) 

หลังจากนั้น เมื่อมีข้อมูลใหม่เข้ามาอัลกอริทึมนี้จะทำการวัดระยะห่างของข้อมูลนั้นกับจุดศุนย์กลางของแต่ละกลุ่ม ข้อมูลจะถูกจัดเข้าไปอยู่ในกลุ่มที่มีระยะห่างน้อยที่สุดและหาค่าเฉลี่ยของจุดศูนย์กลางใหม 

การวิเคราะห์องค์ประกอบหลัก (Principal Component Analysis) 

การวิเคราะห์องค์ประกอบหลักเป็นวิธีหนึ่งในการสกัดคุณสมบัติ (Factor Extraction) 

ที่ช่วยลดจำนวนตัวแปรและสามารถอธิบายความแปรปรวนของข้อมูลได้อย่างครบถ้วน การวิเคราะห์องค์ประกอบหลัก (PCA) เป็นวิธีการทางสถิติที่มีความใกล้เคียงกับการวิเคราะห์ปัจจัย (Factor Analysis) ที่มีวัตถุประสงค์หลักเพื่อลดจำนวนตัวแปร (data reduction) และสร้างปัจจัย (Factor) จากตัวแปร เพื่อศึกษาแบบแผนและโครงสร้างความสัมพันธ์ของตัวแปรเพื่อพัฒนาและตรวจสอบความเที่ยงตรงของโมเดลการวัดที่สร้างขึ้น ซึ่งเป็นวิธีที่ใช้สกัดองค์ประกอบที่มีความร่วมที่เหมือนกันจากตัวแปรจำนวนมาก