The Foundation of Artificial Intelligence by Dr.Apivadee (SEA) ภาคบ่าย #LearningWithSCK
5 min readMay 25, 2024
Convolutional Neural Network (CNN)
- มองเป็น grid แบบ 9x9 ก็ได้ แล้วค่อยหา representation ไปเรื่อยๆ
- ในแต่ละรอบของนิวรอน ใช้สมการไม่เหมือนกัน เพื่อหาคุณลักษณะที่แตกต่างกัน
- ความซับซ้อนของ model ทำให้ช่วยจำแนกความแตกต่างได้ดีขึ้น
- หนึ่งแผ่น คือ Convolute 1 ครั้ง แล้วก็ค่อยๆ ลดขนาดลงไปเรื่อยๆ จนเล็กสุด
- ReLU คือสมการหนึ่งที่ represent data
- max pooling คือ layer ที่คอยมาคั่นกลาง เพื่อสกัดคุณลักษณะออกมาเรื่อยๆ
- เป็นตัวแรกที่เริ่มซับซ้อนแล้วก็ Work ซึ่งเดี๋ยวนี้ไม่ค่อยได้ใช้แล้ว มีความเก่าระดับหนึ่ง
Recurrent neural network (RNN)
- เหมือนการทำ Retrospective
- ใช้กับ Text, Time series data
- เป็นการกลับมาบอก ย้อนเราอีกที เพื่อให้เราจำข้อมูลที่เป็นอดีตได้อยู่
- มันแม่นขึ้น เพราะช่วยให้เราไม่ลืม
- Long Short term memory (ไกลแค่ไหนคือใกล้ ตอนนี้งงแค่ไหนก็คืองง)
Generative adversarial network (GAN)
ช่วง AI Generative ภาพ กับ พวก Deep Fake (พวก App Beauty หรือ รายการที่เอาดารามาโคฟเป็นหน้าอีกคน)
Transformer models
- จำทุกอย่างเป็นตัวเลข เป็นความสัมพันธ์ ถ้าเป็นตัวเองอาจจะเป็น 0 ถ้ามีความสัมพันธ์ใกล้กัน ค่าอาจจะใกล้ 1
- คิดถึง 1 กระดาษ ถ้าเราเพิ่ม search space เพิ่มแต่ละ sheet ซ้อนเข้าไป แปลว่าทำงานกับ multi-dimension data แล้ว LLM จำพวกนี้ไว้ได้ มันก็เลย predict คำต่อไปให้
- การเขียน Report ของสำนักข่าวที่ทำงานร่วมกัน ก็ใช้วิธีนี้เขียนอยู่ แล้วค่อยไปแก้ Fact
Natural language processing — sentiment analysis
- เรื่องนี้มีมาเป็นสิบปีแล้ว
- ถ้าของไทยคือ AI FOR THAI ไปลองเล่นได้
- sentiment analysis เป็น narrow ที่ใช้ deep learning
Foundation Model
- อยู่เหนือกว่า LLM นิดหนึ่ง คาดหวังให้มันเก็บ Data ขนาดใหญ่เอาไว้
- Model จะขยับใกล้ General มากขึ้น
- เช่น summarize PDF ออกมาเป็นสามบรรทัด แต่ของฟรี ก็คือต้องเอาอะไรไปแลก นั่นก็คือ PDF ที่เราเอาเข้าไปนั่นแหละ
- parallel computing and optimisation group (ซูเปอร์คอมพิวเตอร์) ที่ไทยมีอยู่ตัวหนึ่ง ชื่อ ลันตา อยู่ที่ nectec ตัวนี้ราคา 600M บาท! เกมนี้เป็นเกมของคนมีเงิน (LANTA ติดอันดับที่ 70 ของโลก และเป็นอันดับหนึ่งในอาเซียนของการจัดลำดับซูเปอร์คอมพิวเตอร์ประสิทธิภาพสูงสุดของโลก) เครื่องนี้หนักเป็นตันๆ ใช้ระบบ Water cooling แปลว่าต้องมีอีกตึกทำให้น้ำมันเย็น แล้วก็วนกลับเข้ามา ท่อพังไปหลายรอบแล้ว
- https://openthaigpt.aieat.or.th/ พัฒนาต่อยอดจาก Facebook LLaMA v2 ให้มีความสามารถในการเข้าใจและเขียนภาษาไทยได้ ซึ่งตอนนี้ Facebook เปิด v3 มาอีกแล้ว ทีม อ.ซี ก็กำลังพัฒนาเพิ่มอยู่ (chatGPT, Gemini เป็น commercial ไม่เปิดฟรี)
- ภาษาข้างหลังเขียนด้วย python
- https://huggingface.co/openthaigpt คล้ายๆ GitHub แต่ อ.ซี บอกว่ามันดีกว่านะ
- ทดลองเล่นที่นี่ได้ https://abdul.in.th/docchat/ อ.ซี บอกว่าไม่เก็บ PDF เพราะไม่มีที่เก็บ พอ Submit เข้าไป ก็ถามได้ ให้เค้าสรุปได้
ทดลองใช้ก่อนหนึ่ง
สรุปแล้ว AI = Data + Algorithms
Limitation of AI
- ไม่มีมนุษย์ไม่ได้
- ทำให้ข้อมูลเป็นพิษ ตั้งใจให้ข้อมูลผิด label ก็ทำให้ผิดได้ (1 May 2023)
- ที่ผ่านมาช่วงหลังๆ เราเริ่มไม่เชื่อถือมันแล้วว่ามันพ่น output ออกมาได้ยังไง ก็เลยเกิดอีกศาสตร์เรียกว่า Explainable AI แต่ศาสตร์ด้านนี้ก็ drop ไปอยู่
- Decision Tree เป็น ML ที่ Explainable มันระบุในแต่ละ node เลยว่า ข้อมูลต้องมากกว่าน้อยกว่าเท่าไหร่ ถึงจะไปใน path ของมัน
Hallucination (หลอน) / Misinformation / Fake information
เช่น เมื่อปีที่แล้ว อ.ซี ถามว่า ตัวฉันเองคือใคร ผลที่ออกมาคือ ความนั่งเทียนเขียนล้วนๆ ถ้าไม่รู้จักตัวตนกันจริงๆ ก็น่าจะเชื่อไปแล้ว
Prompting — Zero — Shot
การใส่ Prompt ที่ไม่ได้เป็นส่วนหนึ่งของข้อมูล แต่พยายาม Train แต่ Model ให้สามารถสร้างผลลัพธ์ที่เราต้องการได้ (ใส่คำสั่งเข้าไป)
Prompting — Few — Shot
ให้ example เข้าไปเล็กน้อย แล้วก็ใส่ Input เข้าไป
AI Life Cycle
- monitoring ต้องดี ต้องมีวิธีการจัดการอย่างฉับไว ถ้ามีปัญหา เช่น เคส MS ที่รีบเอาลง เพราะมันปล่อยคำผรุสวาท ออกมา
- สิ่งสำคัญคือ เวลาเข้าไปใช้ service ที่มี AI เราในฐานะมนุษย์ เราต้องรู้ว่ามันคือ AI มีความเสี่ยง หรือมันมีวัตถุประสงค์ในการใช้งานอะไร
- Governance เป็นเรื่องของ Policy
AI Ecosystem
- AI System เป็นแค่ส่วนเล็กๆ ในการทำ Service Solution มันยังมีส่วนต่างๆ อีกมากมาย
- automation มันช่วย แต่ Human คนไหนเป็น accountable มีการ set ไหมว่า ต้องเข้าไป assist ตอนไหน แล้วถ้าระบบมีปัญหา ต้องยิงหา Human คนไหน
- model LLM เวลาเราเทรน เทรนด้วยความแรงสูง แต่พอจะปล่อยให้คนใช้ มันลดลงมาที่ 8bit และพยายามลดให้เหลือ 2bit ทำยังไงให้ deploy ได้เร็ว และ latency ต่ำ
- 7พันล้าน parameter คือ model ที่เล็กสุดของ Open Thai
Training compute of notable machine learning models by domain
การทำเทคโนโลยีไม่ถูก เป็นเกมของคนมีเงิน เราใช้ของถูกของฟรี เพื่อให้ได้ไอเดียก่อน แล้วค่อยสร้าง Solution ที่หนักขึ้น
Trustworthy AI (น่าไว้วางใจ)
- เป็นเรื่องที่กำลังตื่นเต้นทั่วโลก เพราะที่มาก็คือ Hallucination (หลอน) / Misinformation / Fake information
- เป็นเรื่องธรรมชาติ ที่มีเทคโนโลยีใหม่แล้วคนจะกลัว รวมถึง ประเมินความเสี่ยงที่เกิดขึ้น
- สิ่งที่พัฒนาเพิ่มคือ guardrails / safeground / safety net
Capability vs Risk
- ลองให้ generate infographic ให้ แต่พอมามองใกล้ๆ ก็จะงงๆ ทั้ง text and image
- เรื่องมีอยู่ว่า ตำรวจได้รับเสียงกระดิ่งแจ้งเตือน AI ก็ให้ชื่อออกมาเลย ตามข้อมูลที่มี แล้วก็โดนจับเลย (เชื้อชาติ สัญชาติ น่าจะมีผลมาก) ติดคุกจริงเลยสามปีกว่า แล้วก็มาตรวจพบภายหลังว่า เค้าไม่ได้ผิด
- ข้อผิดพลาดคือ ตำรวจไม่ได้สืบสวนตามกระบวนการที่ควรจะเป็น เชื่อ AI ไปเลย (ซึ่งมันไม่น่าหลุดไปได้)
- สันนิษฐานว่าโมเดล Bias จัดๆ
Number of reported AI incidents
Trustworthy AI
- มุมมองนักวิจัย นักพัฒนา ผู้ผลิตปัญญาประดิษฐ์ ทำยังไงให้โมเดลน่าเชื่อถือ ข้อมูลมีคุณภาพไหม
Responsible AI
- ผู้ใช้งาน System Integrator
- เช่น ไม่ควรไปหา วิธีฆ่าเพื่อน
(ไหนลองซิ)
Principled Artificial Intelligence
- Privacy
- Safety and Security
- Accountability
- Transparency and Explainability
- Fairness and non-discrimination (ให้มันไม่ Bias)
- Human control of Technology
ผลการ Survey จากวงการแพทย์ เมื่อไม่กี่วันมานี้
ซึ่งสอดคล้องกับทั่วโลก
Relevance of selected responsible AI risks of organizations by region
ที่เราใช้กับ ChatGPT มันเก็บหมดนะ ทั้งข้อมูลและ prompt ใดๆ ถ้าใส่ข้อมูลบริษัทเข้าไปก็คือ ไปหมดแล้วจ้า
ถ้าจะดูให้ละเอียด ต้องตามไปดูงานวิจัยด้วย (มีอีกหลายงานวิจัย เช่น race-based)
AI ELSI Landscape
- ระดับองค์กร
- ระดับประเทศ
- ระดับนานาชาติ
ดูทั้งเรื่อง กฎหมาย แนวปฏิบัติ หลักการ
ตอนนี้ทั่วโลกกำลังจริงจังกับเรื่อง AI มากๆ
- hiroshima summit g7–12 guiding principles
- https://artificialintelligenceact.eu/ai-act-explorer/
- ประเทศไทยมีศูนย์ชื่อ AIGC เป็นของ ETDA มีร่างกฎหมายออกมาแล้ว 4 ฉบับ ซึ่งยังไม่รู้ว่าจะเป็นฉบับไหน
- จริยธรรมปัญญาประดิษฐ์ ของ สวทช ลองไปเทรนไปสอบเล่นดู
- จะใช้ AI ตัวไหน ให้ไปอ่าน Policy การใช้งานดีๆ ด้วย
- LLM ในต่างประเทศมีคอร์สเรียนอย่างจริงจัง — LLM in Corporate Governance & Practice
RAG (Retrieval augmented generation)
- เอาข้อมูลที่ถูกต้องแนบไป ถ้ามีคนถามมา ช่วยไปเปิด Folder นี้ก่อน ดูข้อมูลจากตรงนั้นก่อน แล้วค่อย Generate ออกมา เป็นการกำหนดขอบเขตให้เค้า
- ส่วนใหญ่ก็เลยเป็นการทำในองค์กร หรือใน Server ของเราเอง
- อาจจะคล้ายๆ กับ Tuning แต่ไม่เหมือนกันซะทีเดียว มองอีกอัน อาจจะเป็นการ look-up search
อันนี้ลองหาเอง เพื่อสร้างความเข้าใจให้ตัวเอง หรือสับสนกว่าเดิมก็ไม่รู้ 555
ตัดกลับมาที่โจทย์ของ WLB น่าจะต้อง Tuning เพิ่ม หรือหาเทคนิคเขียน prompt เพิ่มอีกนิดนึง
เพราะประเทศเราขาดแคลน Engineer บ้านเราก็เลยมีโครงการ Super AI Engineer ด้วยนะ ปีๆ หนึ่งผลิตได้หลักร้อย แต่ก็มีดีกรีความเก่งไล่เรียงอยู่ (ถ้าดูจากหน้าเว็บก็พอเดาได้)
ปิดท้ายการเรียนรู้ร้อย Vocab ใหม่วันนี้ ด้วยการจดแบบ Visualization ของพี่นุ่น
