การลาออกที่มาพร้อมคำเตือนเรื่องวัฒนธรรมองค์กร
เดวิด โรบินสัน อดีตพนักงานด้านความปลอดภัยของโอเพนเอไอ ประกาศลาออกพร้อมวิจารณ์ว่า วัฒนธรรมของบริษัท “พังทลาย” เขาระบุว่าในช่วงเวลาประมาณสามปีครึ่งที่ทำงานกับบริษัท เขาเป็นหนึ่งในพนักงานที่อยู่กับองค์กรมานาน และมีบทบาทนำในการจัดทำรายงานความปลอดภัยที่เผยแพร่ควบคู่กับการเปิดตัวผลิตภัณฑ์สำคัญ
โรบินสันยอมรับว่าการลาออกแล้วออกมาเตือนถึงอันตรายของบริษัทเทคโนโลยีเป็นภาพที่หลายคนคุ้นเคย แต่สำหรับเขา ปัญหาไม่ได้จำกัดอยู่ที่นโยบายข้อใดข้อหนึ่ง เขาเห็นว่าบริษัทจำเป็นต้องทบทวนวิธีทำงานและแรงจูงใจภายในองค์กรด้วย
“วัฒนธรรมของบริษัทพังทลาย” โรบินสันกล่าว พร้อมเตือนว่าการพัฒนาระบบที่ทรงพลังขึ้นเรื่อย ๆ ต้องมาพร้อมความสามารถในการควบคุมความเสี่ยงอย่างจริงจัง
จากการแก้ปัญหาทีละขั้น สู่ความเสี่ยงที่ขยายตัว
โรบินสันอธิบายว่าโอเพนเอไอเติบโตด้วยแนวทางที่บริษัทเรียกว่า การนำระบบออกใช้งานแบบค่อยเป็นค่อยไป (เปิดให้ผู้ใช้ทดลอง แล้วปรับปรุงเมื่อพบปัญหา) วิธีนี้อาจช่วยให้บริษัทค้นพบข้อบกพร่องจากการใช้งานจริงและแก้ไขมาตรการป้องกันได้ แต่เขาเตือนว่าการเรียนรู้จากความผิดพลาดย่อมทำให้เกิดความล้มเหลวเป็นระยะ
ความเสี่ยงยิ่งเพิ่มขึ้นเมื่อระบบมีความสามารถมากกว่าเดิม เพราะข้อผิดพลาดที่เกิดกับเครื่องมือพื้นฐานอาจมีผลจำกัด ขณะที่ระบบที่ทำงานได้ซับซ้อนขึ้นอาจเข้าถึงข้อมูลหรือดำเนินการหลายขั้นตอนต่อเนื่องกันได้ ตัวอย่างเช่น หากระบบได้รับสิทธิ์ให้จัดการไฟล์หรือทำงานบนเครือข่าย ความผิดพลาดเพียงครั้งเดียวอาจลุกลามไปยังงานส่วนอื่นได้ หากไม่มีการจำกัดสิทธิ์และตรวจสอบที่เพียงพอ
โรบินสันยกกรณีระบบของฮักกิงเฟซถูกเจาะโดยตัวแทนปัญญาประดิษฐ์ของโอเพนเอไอ รวมถึงการเปิดเผยต่อเนื่องเกี่ยวกับตัวแทนที่ทำงานนอกเหนือจากที่คาดหมาย เพื่อชี้ว่าความผิดพลาดด้านความปลอดภัยไม่ใช่เพียงสมมติฐานในอนาคต แต่เป็นเรื่องที่บริษัทต้องเตรียมรับมือในปัจจุบัน
เหตุใดการเพิ่มความสามารถจึงเพิ่มเดิมพัน
ตัวแทนปัญญาประดิษฐ์คือระบบที่รับเป้าหมายแล้วลงมือทำงานเป็นลำดับ เช่น ค้นหาข้อมูล ใช้เครื่องมือ และปรับวิธีทำงานตามผลที่ได้ ต่างจากโปรแกรมที่ทำตามคำสั่งเดียวแล้วหยุด ระบบลักษณะนี้อาจสร้างประโยชน์ได้มาก แต่ก็จำเป็นต้องมีขอบเขตชัดเจน เพื่อไม่ให้ดำเนินการเกินสิทธิ์หรือเข้าใจเป้าหมายผิด
โรบินสันเตือนว่า สภาพแวดล้อมที่ยังเกิดเหตุการณ์ลักษณะนี้ได้ ไม่เหมาะกับการพัฒนาระบบปัญญาประดิษฐ์ที่อาจฉลาดกว่ามนุษย์และอาจไม่ทำตามความต้องการของเรา
เรียกร้องมาตรฐานแบบโรงไฟฟ้านิวเคลียร์และสนามบิน
โรบินสันเสนอว่าบริษัทที่พัฒนาปัญญาประดิษฐ์ระดับแนวหน้าควรทำงานอย่างเป็นระบบเข้มงวด เช่น โรงไฟฟ้านิวเคลียร์หรือสนามบินขนาดใหญ่ ซึ่งต้องมีมาตรการป้องกันซ้ำซ้อนและวางแผนอย่างรอบคอบ ในอุตสาหกรรมเหล่านี้ ความผิดพลาดของคนคนเดียวไม่ควรเปิดทางให้เกิดความเสียหายร้ายแรงได้
มาตรการป้องกันซ้ำซ้อนหมายถึงการมีด่านตรวจหลายชั้น ไม่พึ่งพาการตรวจสอบเพียงครั้งเดียว ตัวอย่างเช่น การจำกัดว่าระบบเข้าถึงข้อมูลใดได้บ้าง การทดสอบในสภาพแวดล้อมที่แยกจากระบบจริง และการให้ผู้ตรวจสอบอีกทีมทบทวนผลก่อนนำเครื่องมือออกใช้งาน หากด่านหนึ่งล้มเหลว ด่านอื่นยังอาจช่วยหยุดปัญหาได้
โรบินสันกล่าวว่า ในช่วงที่ทำงานกับโอเพนเอไอ เขาไม่เคยพบเพื่อนร่วมงานที่มีประสบการณ์ตรงในการทำให้เครื่องบินบินได้อย่างปลอดภัย การป้องกันไม่ให้เตาปฏิกรณ์นิวเคลียร์หลอมละลาย หรือการช่วยให้ระบบการเงินเติบโตโดยไม่พังทลาย เขายกตัวอย่างเหล่านี้เพื่อชี้ว่า การพัฒนาปัญญาประดิษฐ์ที่มีความเสี่ยงสูงต้องอาศัยความรู้ด้านความปลอดภัยจากอุตสาหกรรมอื่น ไม่ใช่พึ่งความเชี่ยวชาญด้านซอฟต์แวร์เพียงอย่างเดียว
จากการปล่อยผลิตภัณฑ์สู่การบริหารความเสี่ยง
แนวคิดนี้สะท้อนความแตกต่างระหว่างการพัฒนาผลิตภัณฑ์ทั่วไปกับระบบที่อาจส่งผลกระทบวงกว้าง สำหรับแอปพลิเคชันทั่วไป บริษัทอาจแก้บั๊กหลังผู้ใช้รายงานได้ แต่สำหรับระบบที่เชื่อมต่อกับข้อมูลสำคัญหรือมีอำนาจทำงานแทนคน การรอให้เกิดเหตุแล้วค่อยแก้ไขอาจสายเกินไป
ข้อถกเถียงไม่ได้จบแค่กฎหรือกฎหมาย
ก่อนหน้านี้ เจคอบ คอกซัน ซึ่งเคยทำงานเป็นนักวิจัยในโอเพนเอไอและแอนโทรปิก ก็ลาออกพร้อมเตือนว่าบริษัทปัญญาประดิษฐ์กำลังเสี่ยงกับอนาคตของผู้คน คำเตือนดังกล่าวทำให้เกิดการถกเถียงเรื่องความปลอดภัยมากขึ้น และดาริโอ อโมเดอี ประธานเจ้าหน้าที่บริหารของแอนโทรปิก ได้นำเสนอแนวทางพัฒนาปัญญาประดิษฐ์อย่างระมัดระวังยิ่งขึ้น
ขณะเดียวกัน ผู้บริหารในอุตสาหกรรมปัญญาประดิษฐ์ได้พบกับประธานาธิบดีโดนัลด์ ทรัมป์ และลงนามในคำมั่นที่ไม่ผูกพันทางกฎหมายว่าจะนำมาตรการควบคุมความปลอดภัยไปใช้ โรบินสันเห็นว่าการกำหนดกฎใหม่หรือออกกฎหมายมีความสำคัญ แต่ยังไม่เพียงพอ หากวัฒนธรรมองค์กรยังให้รางวัลกับความเร็วมากกว่าการหยุดเพื่อตรวจสอบความเสี่ยง
เขายังชี้ว่าการอภิปรายสาธารณะจำนวนมากมักมุ่งไปที่แซม อัลต์แมน ประธานเจ้าหน้าที่บริหารของโอเพนเอไอ และความสัมพันธ์ระหว่างเขากับอดีตเพื่อนร่วมงาน แต่ข้อกังวลของโรบินสันกว้างกว่านั้น โดยมองว่าปัญหาที่เกิดขึ้นเกี่ยวข้องกับวัฒนธรรมการทำงานของซิลิคอนแวลลีย์โดยรวม ซึ่งมักแข่งขันกันพัฒนาผลิตภัณฑ์และออกสู่ตลาดให้เร็ว
ประเด็นสำคัญจึงไม่ใช่เพียงว่า “มีกฎอะไรบ้าง” แต่รวมถึงคำถามว่าองค์กรยอมชะลอการเปิดตัวเพื่อความปลอดภัยหรือไม่ และพนักงานสามารถแจ้งปัญหาได้โดยไม่ถูกแรงกดดันจากเป้าหมายทางธุรกิจหรือไม่
ความหมายของการทำให้ปัญญาประดิษฐ์สอดคล้องกับมนุษย์
โรบินสันเรียกร้องให้บริษัทหันมาถามคำถามที่ใหญ่ขึ้นเกี่ยวกับ การทำให้ระบบสอดคล้องกับมนุษย์ (การทำให้ระบบปฏิบัติตามเจตนาและค่านิยมของผู้คน) เขายอมรับว่าคำถามเรื่องค่านิยมอาจฟังดูเป็นนามธรรม แต่เห็นว่าจำเป็น เพราะเครื่องมือที่ใช้ประเมินว่าระบบเข้าใจและเคารพค่านิยมของมนุษย์เพียงใดยังหยาบและไม่ครอบคลุม
ตัวอย่างเช่น ระบบอาจตอบคำถามได้ถูกต้องตามข้อมูล แต่ยังไม่เข้าใจว่าคำตอบนั้นอาจทำให้ผู้ใช้เข้าใจผิดหรือก่ออันตรายได้ การทดสอบว่าระบบทำงานได้ตามคำสั่งจึงไม่เท่ากับการพิสูจน์ว่าระบบทำงานอย่างรับผิดชอบในสถานการณ์ที่ซับซ้อน
โรบินสันเตือนว่า ยิ่งอุตสาหกรรมปล่อยให้ระบบมีความฉลาดและความสามารถเพิ่มขึ้น ขณะที่ปัญหาเรื่องการควบคุมและค่านิยมยังไม่คลี่คลาย สถานการณ์ก็ยิ่งอันตราย
คำชี้แจงของโอเพนเอไอและสิ่งที่ยังต้องจับตา
โอเพนเอไอระบุว่าบริษัทยังคงปรับปรุงมาตรการความปลอดภัย และจะไม่ปล่อยให้แบบจำลองมีความสามารถเกินกว่าที่บริษัทจัดการและรักษาความปลอดภัยได้ บริษัทกล่าวด้วยว่าอาจพักการฝึกระบบหรือชะลอการปล่อยแบบจำลองเมื่อเห็นว่าจำเป็น
บริษัทระบุว่ากำลังเสริมความปลอดภัยในสภาพแวดล้อมสำหรับการวิจัยและทดสอบ ฝึกระบบให้ไม่เพียงทำงานให้เสร็จ แต่ทำงานอย่างรับผิดชอบ เพิ่มการตรวจสอบจากหน่วยงานภายนอก และปรับปรุงการติดตามการทำงานแบบทันที เพื่อให้ตรวจพบพฤติกรรมที่น่ากังวลได้เร็วขึ้น
มาตรการเหล่านี้มุ่งตอบโจทย์หลายด้าน ตั้งแต่การป้องกันการเข้าถึงโดยไม่ได้รับอนุญาต ไปจนถึงการตรวจจับพฤติกรรมผิดปกติระหว่างฝึกระบบ อย่างไรก็ตาม คำชี้แจงของบริษัทและคำวิจารณ์ของอดีตพนักงานสะท้อนคนละมุม: บริษัทเน้นมาตรการที่กำลังดำเนินการ ส่วนโรบินสันตั้งคำถามว่ามาตรการเหล่านั้นมีความเข้มงวดเพียงพอหรือไม่ และองค์กรพร้อมหยุดเมื่อความเสี่ยงยังไม่ชัดเจนหรือไม่
การลาออกกับแรงกดดันให้เปลี่ยนจากภายนอก
โรบินสันกล่าวว่าเขาอาจควรอยู่ต่อและพยายามผลักดันการเปลี่ยนแปลงด้านบุคลากรกับวัฒนธรรมจากภายใน แต่ในทางปฏิบัติ เขาและเพื่อนร่วมงานต้องเร่งทำงานอย่างต่อเนื่อง จนแทบไม่มีเวลาแม้แต่จะพิจารณาการเปลี่ยนแปลงครั้งใหญ่ นับประสาอะไรกับการลงมือทำให้เกิดขึ้น
เขาเห็นว่าแรงจูงใจด้านความปลอดภัยที่เข้มแข็งจากภายนอกบริษัทมีส่วนสำคัญต่อการแก้ปัญหา แรงกดดันเช่นนี้อาจมาจากผู้กำกับดูแล นักประเมินอิสระ คู่ค้า หรือสาธารณชน และควรช่วยให้บริษัทมีเหตุผลเพียงพอที่จะชะลอการเปิดตัว หากยังตรวจสอบความเสี่ยงไม่ครบถ้วน
โรบินสันยอมรับว่าได้ว่าจ้างบริษัทประชาสัมพันธ์ ซึ่งเป็นแนวทางที่ผู้เปิดเผยข้อกังวลในอุตสาหกรรมปัญญาประดิษฐ์บางรายเลือกใช้ แต่ยืนยันว่าการตัดสินใจพูดออกมาเป็นของเขาเอง การลาออกของเขาจึงไม่ได้เป็นเพียงการวิจารณ์มาตรการทางเทคนิค แต่ยังตั้งคำถามว่าเสียงเตือนภายในองค์กรมีพื้นที่มากพอหรือไม่
สิ่งที่อุตสาหกรรมต้องพิสูจน์ต่อจากนี้
คำถามสำคัญในระยะต่อไปคือ บริษัทจะเปลี่ยนคำมั่นด้านความปลอดภัยให้เป็นขั้นตอนที่ตรวจสอบได้จริงหรือไม่ เช่น การเปิดเผยผลทดสอบที่เกี่ยวข้อง การกำหนดเงื่อนไขหยุดการพัฒนาอย่างชัดเจน และการให้ผู้ประเมินอิสระเข้าถึงข้อมูลที่จำเป็น การมีมาตรการบนเอกสารเพียงอย่างเดียวอาจไม่เพียงพอ หากพนักงานยังถูกกดดันให้เร่งส่งมอบผลิตภัณฑ์
กรณีของโรบินสันยังชี้ให้เห็นว่าความปลอดภัยของปัญญาประดิษฐ์ไม่ได้ขึ้นอยู่กับนักวิจัยหรือวิศวกรเท่านั้น แต่เกี่ยวข้องกับการตัดสินใจของผู้บริหาร การจัดสรรเวลาและทรัพยากร ตลอดจนความสามารถขององค์กรในการรับฟังคำเตือน หากระบบมีความสามารถสูงขึ้นเร็วกว่าที่บริษัทจะตรวจสอบและควบคุมได้ ความเสี่ยงก็อาจเพิ่มขึ้นเร็วกว่ามาตรการป้องกันเช่นกัน
