ชุมชนคนทำ AI Inference ในประเทศไทย

พื้นที่แลกเปลี่ยนความรู้เรื่องการรันโมเดล AI ให้เร็ว คุ้มค่า และใช้งานได้จริง ตั้งแต่ฮาร์ดแวร์ เอนจิน ไปจนถึงแอปพลิเคชัน

ดูเครือข่าย Siam Inference คืออะไร
ตราสัญลักษณ์ Siam Inference: ตัวอักษร S และ i สีเขียว มียอดปราสาทอยู่ตรงกลาง วางบนแท่นสี่เหลี่ยมสองชั้น

01เกี่ยวกับ

AI Inference คืออะไร และทำไมต้องมีชุมชน

AI Inference (การอนุมาน) คือช่วงที่นำโมเดล AI ที่เทรนเสร็จแล้วมาใช้งานจริง ทุกคำตอบจากแชตบอต ทุกครั้งที่ระบบสรุปเอกสารหรืออ่านภาพ ล้วนเป็น AI Inference ทั้งสิ้น

  • AI Inference คืออะไร

    ช่วงที่โมเดลทำงานให้ผู้ใช้

    AI Inference คือการนำโมเดลที่เทรนเสร็จแล้ว เช่น โมเดลภาษาขนาดใหญ่ (LLM) มารับคำถามและสร้างคำตอบ ส่วนการเทรน (training) คือขั้นตอนสอนโมเดล ผู้ใช้จึงสัมผัส AI Inference โดยตรง และ AI Inference ต้องพร้อมให้บริการอยู่เสมอ

  • ทำไม AI Inference จึงสำคัญ

    ความเร็วและต้นทุนตัดสินกันตรงนี้

    ผู้ใช้ต้องรอคำตอบนานแค่ไหน ระบบรองรับคนพร้อมกันได้กี่คน และแต่ละคำตอบมีต้นทุนเท่าไร ทั้งหมดนี้ตัดสินกันที่ขั้นตอน AI Inference และขึ้นอยู่กับฮาร์ดแวร์ เอนจิน และการตั้งค่าที่เลือกใช้

  • ทำไมต้องมีชุมชน

    เรียนรู้จากคนที่ลงมือทำ

    เครื่องมือด้าน AI Inference เปลี่ยนเร็ว และความรู้ที่ใช้ได้จริงมักมาจากคนที่ลองมาแล้ว Siam Inference เป็นพื้นที่ให้คนในประเทศไทยที่ทำงานด้าน AI Inference ได้แลกเปลี่ยนสิ่งที่ลอง สิ่งที่วัดได้ และสิ่งที่ได้เรียนรู้

02หัวข้อ

สามหัวข้อที่ Siam Inference คุยกัน

Siam Inference คุยกันในสามหัวข้อ ตั้งแต่เครื่องที่รันโมเดล ซอฟต์แวร์ที่ทำให้โมเดลตอบได้เร็ว ไปจนถึงคนที่ลงมือทำ

  1. ฮาร์ดแวร์

    ที่รันโมเดล

    ฮาร์ดแวร์คือเครื่องที่ใช้รันโมเดล AI ไม่ว่าจะเป็น GPU หรือตัวเร่งเฉพาะทาง (accelerator) จะตั้งอยู่ในองค์กร (on-premises) หรือบนคลาวด์ก็ได้ แต่ละแบบมีข้อแลกเปลี่ยนเรื่องความเร็ว ราคา และการดูแลต่างกัน

    GPU และตัวเร่ง
    เลือกเครื่องให้เหมาะกับขนาดโมเดลและงบประมาณ
    ในองค์กรและคลาวด์
    รันเองในองค์กร ใช้คลาวด์ หรือผสมทั้งสองแบบ

  2. เอนจิน Inference

    สิ่งที่ทำให้เร็ว

    เอนจิน Inference (inference engine) คือซอฟต์แวร์ที่โหลดโมเดลและให้บริการแก่ผู้ใช้ ตัวอย่างเช่น vLLM ส่วนเทคนิคอย่างการรวมคำขอเป็นชุด (batching) การย่อขนาดโมเดล (quantization) และการจัดการหน่วยความจำ ช่วยให้เครื่องเดิมตอบได้เร็วขึ้นและรองรับคนได้มากขึ้น

    LLM serving
    ให้บริการโมเดลแก่ผู้ใช้หลายคนพร้อมกัน
    Quantization
    ย่อโมเดลให้ใช้หน่วยความจำน้อยลง

  3. ชุมชน

    คนที่ลงมือทำ

    ความรู้ด้าน AI Inference อยู่กับคนที่ลงมือทำจริง ทั้งการวัดผลให้เทียบกันได้ (benchmarking) การใช้โมเดลกับงานภาษาไทย และบทเรียนจากการนำระบบขึ้นใช้งานจริง

    Benchmarking
    วัดผลและบอกวิธีวัด เพื่อให้เทียบกันได้
    โมเดลภาษาไทย
    ประสบการณ์การใช้โมเดลกับงานภาษาไทย
อธิบายศัพท์เทคนิค
AI Inference (อินเฟอเรนซ์)
การนำโมเดลที่เทรนแล้วมาใช้สร้างคำตอบ
LLM (โมเดลภาษาขนาดใหญ่)
โมเดล AI ที่อ่านและเขียนข้อความ เช่น โมเดลที่อยู่เบื้องหลังแชตบอต
GPU / accelerator
ชิปที่คำนวณงานของโมเดลได้เร็วกว่า CPU ทั่วไป
Inference engine
ซอฟต์แวร์ที่โหลดโมเดลและรับคำขอจากผู้ใช้ เช่น vLLM
Batching
การประมวลผลคำขอหลายรายการพร้อมกันในรอบเดียว
Quantization
การลดความละเอียดของตัวเลขในโมเดล เพื่อให้ใช้หน่วยความจำน้อยลง
TTFT (time to first token)
เวลาที่ผู้ใช้รอจนเห็นคำแรกของคำตอบ
Throughput
ปริมาณงานที่ระบบทำได้ในช่วงเวลาหนึ่ง
Benchmark
การวัดผลด้วยวิธีเดียวกัน เพื่อเปรียบเทียบระบบ

03เครือข่าย

เว็บไซต์ในเครือข่าย Siam Inference

Siam Inference อยู่ในเครือข่ายเดียวกับเว็บไซต์เหล่านี้ แต่ละแห่งมีเนื้อหาและจุดเน้นของตัวเอง

ชุมชน

vLLM Bangkok

ชุมชนคนไทยด้าน vLLM เอนจินโอเพนซอร์สที่ให้บริการโมเดลขนาดใหญ่ได้รวดเร็ว สำหรับคนที่สร้างระบบ AI Inference และโครงสร้างพื้นฐาน

ไปที่ vllmbangkok.com (เปิดในแท็บใหม่)Facebook

บริษัท

AGICAFET

บริษัทในประเทศไทยที่วางระบบ AI ส่วนตัวให้ใช้งานได้ในที่ของคุณเอง ทั้ง Local AI ที่รันในสำนักงาน Hybrid AI ที่เสริมด้วยคลาวด์เมื่อคุณต้องการ และ Physical AI ในเครื่องจักรและหุ่นยนต์

ไปที่ agicafet.com (เปิดในแท็บใหม่)

04คำถามที่พบบ่อย

คำถามที่พบบ่อย

AI Inference คืออะไร
AI Inference (การอนุมาน) คือการนำโมเดล AI ที่เทรนเสร็จแล้วมาใช้งานจริง เช่น ตอบคำถามในแชตบอต สรุปเอกสาร หรืออ่านภาพ ทุกครั้งที่มีคนใช้งานโมเดล นั่นคือ AI Inference
AI Inference ต่างจากการเทรนโมเดลอย่างไร
AI Inference คือการนำโมเดลที่เทรนแล้วมาตอบคำขอใหม่โดยไม่ได้เรียนรู้เพิ่ม ส่วนการเทรน (training) คือการสอนโมเดลด้วยข้อมูลจำนวนมากเพื่อปรับค่าภายในของโมเดล เวลาที่ผู้ใช้รอคำตอบและต้นทุนต่อคำตอบจึงขึ้นอยู่กับขั้นตอน AI Inference
รัน LLM บนเครื่องตัวเองได้ไหม
รัน LLM บนเครื่องตัวเองได้ ถ้าหน่วยความจำของเครื่อง โดยเฉพาะ VRAM ของการ์ดจอ เพียงพอสำหรับขนาดของโมเดล การทำ quantization ช่วยให้โมเดลใช้หน่วยความจำน้อยลง เครื่องมืออย่าง Ollama และ llama.cpp ใช้รันโมเดลบนเครื่องส่วนตัว ส่วน vLLM ออกแบบมาเพื่อให้บริการโมเดลแก่ผู้ใช้หลายคนพร้อมกัน
Siam Inference เหมาะกับใคร
Siam Inference เหมาะกับคนที่ทำงานหรือสนใจเรื่องการรันโมเดล AI ไม่ว่าจะเป็นวิศวกร นักพัฒนา นักวิจัย นักศึกษา หรือคนที่กำลังเลือกระบบให้องค์กร
เข้าร่วม Siam Inference มีค่าใช้จ่ายไหม
เว็บไซต์ Siam Inference ไม่มีการสมัครสมาชิกและไม่มีค่าใช้จ่าย ช่องทางเข้าร่วมของ Siam Inference จะเปิดเร็ว ๆ นี้ (Coming Soon) ส่วนกิจกรรมของแต่ละชุมชนในเครือข่าย ติดตามได้จากช่องทางของชุมชนนั้น
Siam Inference เกี่ยวข้องกับ vLLM Bangkok, Cerebras Thailand และ AGICAFET อย่างไร
Siam Inference, vLLM Bangkok, Cerebras Thailand และ AGICAFET เป็นเว็บไซต์ในเครือข่ายเดียวกัน แต่ละแห่งมีเนื้อหาของตัวเอง vLLM Bangkok คือชุมชนคนไทยด้าน vLLM (vllmbangkok.com) Cerebras Thailand คือชุมชนผู้ใช้และนักพัฒนา Cerebras ในประเทศไทย (cerebras.siaminference.ai) และ AGICAFET คือบริษัทในประเทศไทยที่วางระบบ AI ส่วนตัว และเป็นเจ้าของผลิตภัณฑ์ PreMize (agicafet.com)
ติดตาม Siam Inference ได้ที่ไหน
ช่องทางของ Siam Inference จะเปิดเร็ว ๆ นี้ (Coming Soon) ระหว่างนี้ติดตามได้ที่เพจ Facebook ของ vLLM Bangkok (facebook.com/vllmbangkok) และ Cerebras Thailand (facebook.com/cerebrasthailand)

05เข้าร่วม

เข้าร่วม Siam Inference

เร็ว ๆ นี้ (Coming Soon)

ช่องทางของ Siam Inference จะเปิดเร็ว ๆ นี้ ระหว่างนี้ติดตามได้ที่เพจ Facebook ของ vLLM Bangkok และ Cerebras Thailand