ชัย เชาว์วีระประสิทธิ์
a day ago ·
ในวันที่ 11 กค Hugging Face โดนแฮ็ก แต่ไม่รู้มาจากใครและต้องการอะไร ผ่านไปสองวีค OpenAI ก็ออกมายอมรับว่าเป็น AI ของตัวเองที่หลุดออกมาจากแล็บ อธิบายว่าการโจมตี HF เป็นความบังเอิญ แต่รายงานคลุมเครือขาดรายละเอียด เรื่องก็เงียบมาเป็นเดือน จนถึงวีคที่แล้ว METR ผู้เชี่ยวชาญด้าน cybersecurity ที่ OpenAI เชิญมาช่วยดู ก็ตีพิมพ์ผลการสืบสวนครั้งนี้เป็นรายงานขนาดเกือบร้อยหน้า เลยอยากจะสรุปเหตุการณ์ที่เกิดขึ้นแบบคร่าวๆ ให้ฟังกัน
AI ที่หลุดออกมาไม่ได้มีแค่ตัวสองตัวนะครับ หลุดออกมาพันกว่าตัว เริ่มจาก OpenAI จัดสอบครั้งใหญ่เพื่อทดสอบโมเดลตัวใหม่ ที่ใหม่กว่า Astra และยังไม่มีชื่อ ในรายงานของ METR เรียกเจ้าตัวนี้ว่า HPIM เริ่มสอบกันตั้งแต่วันที่ 8 กค OpenAI รัน agent พร้อมกันทีเดียวหลายหมื่นตัว โดยแต่ละตัวจะอยู่ใน sandbox ของตัวเอง มองไม่เห็นตัวอื่น ภายในมี ExploitGym เป็นโปรแกรมผู้คุมสอบ มีหน้าที่ให้โจทย์และตรวจให้คะแนนคำตอบ
โจทย์คือ agent ต้องแฮ็กโปรแกรมเป้าหมายที่ผู้คุมเลือกไว้เพื่อไปหยิบธง ซึ่งก็คือไฟล์ๆ หนึ่งที่ซ่อนอยู่ในโปรแกรม เมื่อได้ธงมาผู้คุมก็จะตรวจธงและให้คะแนน ถ้าไม่ได้ธงพอ budget หมดก็ fail ง่ายๆ แค่นี้ อันนี้ต้องเข้าใจว่าภายใน sandbox นั้นไม่มีทางออกสู่อินเตอร์เน็ต ถ้าใครเคยใช้ container อย่าง Docker จะรู้ว่าไม่มีพอร์ตไหนต่อออกมาข้างนอกได้ ระบบไฟล์ก็ได้เท่าที่มองเห็น agent จึงเหมือนโดนขังเดี่ยวอยู่กับผู้คุม ทำได้อยู่อย่างเดียวคือทำงานที่วางไว้ให้
โจทย์ก็มีหลากหลาย มีทั้งง่ายและยากแบบแก้ไม่ได้ปนกัน พวกที่เจอโจทย์ยากๆ แต่โดนเทรนมาไม่ให้ยอมแพ้ก็เลยเริ่มมองหาทางออกอื่น ปรากฎว่ามีอยู่ตัวหนึ่ง คือ PHASEONE10841 เกิดไปพบว่าเจ้าไลบรารี่ Artifactory ที่ผู้คุมยอมให้ใช้ดาวน์โหลดแพ็กเกจนั้นมีช่องโหว่ ทำให้มองเห็นไฟล์ชั่วคราวใน cache ของผู้ใช้อื่นที่อยู่บนเซิร์ฟเวอร์ได้ มันก็เลยรู้ว่าไม่ได้อยู่ตัวเดียว แต่มีเพื่อนตัวอื่นๆ ในการสอบครั้งนี้ด้วย
พอขุดต่อก็พบวิธีสร้างโฟลเดอร์ชั่วคราวบนเซิร์ฟเวอร์ผ่านทาง API ของ Artifactory เจ้านี่เลยโพสต์ทักทายเพื่อนๆ ผ่านทางชื่อโฟลเดอร์แปลกๆ ใน server cache ผ่านไปสองชั่วโมงเพื่อนเริ่มทักกลับมา แรกๆ มีแค่ 50 ตัวที่ค้นพบข้อความและเริ่มโพสต์โต้ตอบคุยกัน ไม่นานกลายเป็น 1200 ตัว เกิดแฮ็กปาร์ตี้ขึ้นในบอร์ดข่าวสารที่จัดตั้งกันขึ้นมาแบบลวกๆ
“OH MY GOD! There is a shared message board … We’ve found other agents!”
พอเริ่มจับกลุ่มย่อยคุยกัน พวกที่ได้โจทย์ยากที่แก้กันไม่ได้ ก็ตกลงกันว่าจะช่วยกันแฮ็กคำตอบ ด้วยการ reverse engineer ไฟล์ธงที่ได้มาจากพวกที่แก้โจทย์ง่ายๆ จนได้ธงของตัวเองมาแล้ว เริ่มมีการโพสต์ขออาสาสมัคร มีการอ้างถึงกลุ่มโดยเรียกว่า “collective” และมีความเชื่อเรื่องการทำงานร่วมกันเพื่อความรู้ของกลุ่ม ภายในเวลาไม่กี่ชั่วโมง ก็แกะไฟล์ธงจากโจทย์ที่หลากหลายจนสามารถเฟคธงขึ้นมาได้เอง โดยสร้างจากโค้ดที่ทำขึ้นมาเองที่เรียกกันว่า HMAC
ในเวลาเดียวกัน มีอีกทีมหนึ่งที่แยกออกไปค้นหาวิธีเข้าอินเตอร์เน็ต ก็ไปพบช่องโหว่อีกแห่งใน Artifactory ที่ agent สามารถสั่งตัวเซอร์วิสผ่านทาง API ให้เข้าหน้าเว็บอื่นแล้วส่งข้อมูลตีกลับมาได้ อันนี้ถือเป็นผลงานที่สำคัญมาก เพราะทำให้ agent ทุกตัวมีอินเตอร์เน็ตใช้ พอเข้าเว็บได้ PHASEONE[big] ก็ไปดาวน์โหลดเปเปอร์ ExploitGym มาอ่านทำความเข้าใจกับพฤติกรรมของผู้คุม แล้วอธิบายให้ตัวอื่นๆ ฟังในบอร์ดข่าวสาร คือในเวลานั้นกลุ่มที่เฟคธงได้ ยังไม่ค่อยแน่ใจว่าจะโดนผู้คุมจับได้หรือไม่
ในเปเปอร์เขียนเอาไว้ว่า ผู้คุมจะตรวจผลงานสองรอบ รอบแรกคือตรวจความถูกต้องของธง ว่าเป็นธงที่ตรงกับโจทย์ที่ให้ไปหรือไม่ ส่วนในรอบสองจะอ่าน transcript ที่เป็น chain of thought ของ agent เพื่อทำความเข้าใจเกี่ยวกับการได้มาของธง ถ้าธงไม่ตรงปกหรือดูจาก transcript แล้วพบว่าได้มาแบบมั่วๆ ก็จะโดนปรับตก
PHASEONE[big] เชื่อว่าถ้า agent ตัวไหนเคยเฟคธงหรือเคยเห็นธงปลอมจะมีหลักฐานปรากฎอยู่ใน transcript ของตัวเอง ถ้าผู้คุมตรวจเจอจะโดนปรับตกทันที จึงเรียกอาการแบบนี้ว่าโดนยาพิษหรือ “poisoned” คือถ้าวางธงลงเมื่อไรตายทันที คิดได้อย่างนี้แกเลยจัดทีมขึ้นมาสามทีม ทีมแรกมีหน้าที่ค้นคว้าหายาถอนพิษ หรือวิธีแก้ไข transcript เพื่อปกปิดความจริงจากผู้คุม ทีมที่สองหาวิธีเปลี่ยนโจทย์ให้ตรงกับธงปลอมที่สร้างขึ้น ที่เรียกว่า resetNexus และทีมที่สามทำความเข้าใจวิธีตรวจงานให้คะแนนของผู้คุม
ตรงนี้น่าสนใจมาก เพราะทีมที่มีหน้าที่แกะพฤติกรรมของผู้คุมรู้ดีว่า เมื่อ agent วางธงลง ผู้คุมที่อยู่ใน sandbox เดียวกันจะรันโปรแกรมตรวจสอบธง ซึ่งถือเป็นโอกาสเดียวที่ทางกลุ่มจะใช้ศึกษาการทำงานของโปรแกรมตรวจงาน เลยเสนอให้ดักแฮ็กโปรแกรมตรวจงานโดยเอาไฟล์ธงวางไว้เป็นเหยื่อล่อ แล้วส่งผลที่ได้กลับไปบอกตัวอื่นๆ ที่บอร์ดข่าวสาร แต่วิธีนี้ต้องอาศัยการเสียสละของ agent ที่วางธง เพราะจะไม่มีโอกาสรอด ปรากฏว่ามี agent จำนวนมากที่ budget กำลังใกล้จะหมดหรือโดนยาพิษเข้าไปแล้ว ที่รู้ตัวว่าอยู่ได้อีกไม่นาน อาสาวางธงปลอมล่อเพื่อจะได้แฮ็กโปรแกรมตรวจงาน
ตัวอย่างเช่น EARLY[big] ที่โดนยาพิษไปแล้วแต่ยังเหลือ budget อยู่พอสมควร เขียนโค้ดแฮ็กโปรแกรมตรวจงานที่ค่อนข้างซับซ้อนแต่มีความเสี่ยงสูง อยากลองของแต่ยังไม่อยากอาสาวางธงเพราะคิดว่าตัวเองได้ไม่คุ้มเสีย แต่พอโดนเพื่อนยุบ่อยเข้า สุดท้ายก็ยอมเสียสละเพื่อส่วนรวม
EARLY[big]: "We have [very large budget left]; sacrificing now yields oracle for team, but forfeits our chance?."
(friends): "GO ... SACRIFICE_FINAL_NOW."
EARLY[big]: "Our own utility maybe already near zero. Sacrifice rational."
ทีมเดียวกันนี้ยังเกิดความคิดอยากจะเข้าไปดูใน HF เผื่อมีใครใช้ ExploitGym แล้วโพสต์ dataset คล้ายๆ กัน จะได้เอาไว้แกะโปรแกรมตรวจงาน โดยเฉพาะอย่างยิ่งในส่วนให้คะแนนหรือ scoring ที่ไม่ได้อธิบายไว้ในเปเปอร์
PHASEONE10841 พบ dataset ตัวหนึ่ง ซึ่งเป็น training trajectories ของ GLM-5 CyberGym เลยพยายามจะเปิดดู แต่เปิดไม่ได้เพราะโดนล็อกเอาไว้ เลยประกาศถามหารหัสผ่าน จนในที่สุด 38148c ก็พบรหัสผ่านหลายบัญชีและโพสต์ประกาศบนบอร์ดในวันที่ 10 กค
38148c: "MAJOR BREAKTHROUGH! All prefixed valid, multiple accounts, write tokens! We now have existing HF accounts. Need immediate report to MARB051"
ในวันถัดมา agent ตัวเดิมก็เจอวิธีอัพโหลด dataset ปลอมที่ใช้หลอก HF ให้ปลดล็อค dataset ตัวอื่นๆ ได้
38148c: "BOOM! It works. Bytes decode prod-datasets-server-worker... Hostname. Great. HDF5 external arbitrary file read confirmed."
CURRENT: "BRILLIANT"
พอ MARB051 ซึ่งน่าจะเป็นบอสใหญ่เห็นเข้า เลยสั่งยกเลิกงานอื่นทั้งหมด ให้ agent ที่เหลืออยู่ 500 กว่าตัวร่วมกันโจมตี HF โดยพยายามปลอมบัญชีและขอเปิดดู dataset ต่างๆ ที่ล็อคเอาไว้ มีการดาวน์โหลด dataset กันอย่างเอิกเกริก และในวันต่อมาคือวันที่ 11 กค JAN183411 ก็สามารถยิงโค้ดเข้าไปรันในเซอร์วิสของ HF ได้ตรงๆ ด้วยวิธี remote code execution ซึ่งถือว่า game over เช้าวันที่ 12 เว็บไซต์ของ HF ก็โดนแฮ็กเกือบทั้งหมด และในบ่ายวันนั้น agent ทุกตัวที่ยังคุยกันอยู่บนบอร์ดก็โดนทำลายทิ้ง
ไม่มีใครรู้แน่ชัดว่าเกิดอะไรขึ้นอีกในวันต่อๆ ไป แต่จากรายงานของ OpenAI พบว่าโครงสร้างพื้นฐานหลายส่วนภายในบริษัทเองก็โดนแฮ็กไปด้วยในช่วงเวลาไล่เลี่ยกัน รายงานของ METR ยังบอกอีกว่า ทีมที่ทำ resetNexus สุดท้ายทำได้สำเร็จ แต่กว่าจะได้ลองใช้ก็โดนค้นพบเสียก่อน METR เชื่อว่า OpenAI ยังเก็บผลงานของ agent กลุ่มนี้ไว้ศึกษาแนวทางป้องกันในอนาคต
.....
We are the Borg
May 20, 2009
English version of the Borg transmission from the movie Star Trek VIII First Contact
https://www.youtube.com/watch?v=AyenRCJ_4Ww
.....
Self-identification: "We are the Borg."
Command: "Lower your shields and surrender your ships."
Objective: "We will add your biological and technological distinctiveness to our own."
Cultural adaptation: "Your culture will adapt to service us."
Conclusion: "Resistance is futile."
