การศึกษาของ Stanford พบว่าเครื่องมือวิจัยทางกฎหมายของ AI มีแนวโน้มที่จะเกิดอันตรายมากกว่าข้อดีที่กล่าวมาทั้งหมด
.
โมเดลภาษาขนาดใหญ่ (LLM) ถูกนำมาใช้มากขึ้นเพื่อขับเคลื่อนงานที่ต้องใช้การประมวลผลข้อมูลที่กว้างขวาง บริษัทหลายแห่งได้เปิดตัวเครื่องมือพิเศษที่ใช้ LLM และระบบเรียกค้นข้อมูลเพื่อช่วยในการวิจัยทางกฎหมาย
อย่างไรก็ตามการศึกษาใหม่โดยนักวิจัยจากมหาวิทยาลัยสแตนฟอร์ดพบว่าแม้จะมีการกล่าวอ้างจากผู้ให้บริการ แต่เครื่องมือเหล่านี้ยังคงมีข้อเสียอันเสียหายมากกว่าข้อดีทางศีลธรรม หรือผลลัพธ์ที่พิสูจน์ได้ว่าเป็นเท็จ
.
AI พัฒนาความฉลาดแล้วจะมีผลทางกฏหมายได้จริงหรือไหม
การศึกษาดังกล่าว ถือเป็น “การประเมินเชิงประจักษ์ล่วงหน้าของเครื่องมือวิจัยทางกฎหมายที่ขับเคลื่อนด้วย AI” เป็นครั้งแรก โดยได้ทดสอบผลิตภัณฑ์จากผู้ให้บริการวิจัยด้านกฎหมายรายใหญ่และเปรียบเทียบกับGPT-4 ของ OpenAI จากแบบสอบถามทางกฎหมายที่สร้างขึ้นด้วยตนเองมากกว่า 200 รายการแต่เครื่องมือ AI ทางกฎหมายยังคงมีข้อเสียและเป็นภัยคุกคามจนน่าตกใจ
.
ความท้าทายของAIและการดึงข้อมูลเพื่อเสริมในเรื่องกฎหมาย
เครื่องมือ AI ทางกฎหมายจำนวนมากใช้ เทคนิค การดึงข้อมูล-เสริมการสร้าง (RAG) เพื่อลดความเสี่ยงของการภัยอันตราย หรือข้อเสีย ตรงกันข้ามกับระบบ LLM ธรรมดาซึ่งอาศัยความรู้ที่ได้รับในระหว่างการฝึกอบรมเท่านั้น ระบบ RAG จะดึงเอกสารที่เกี่ยวข้องจากฐานความรู้ก่อน และจัดเตรียมให้กับโมเดลเพื่อเป็นบริบทสำหรับการตอบสนอง RAG คือมาตรฐานทองคำสำหรับองค์กรที่ต้องการลดอาการประสาทหลอนในโดเมนต่างๆ
.
อย่างไรก็ตาม นักวิจัยตั้งข้อสังเกตว่าคำถามทางกฎหมายมักไม่มีคำตอบที่ชัดเจนซึ่งสามารถดึงมาจากชุดเอกสารได้ การตัดสินใจว่าจะดึงข้อมูลอะไรอาจเป็นเรื่องที่ท้าทาย เนื่องจากระบบอาจจำเป็นต้องค้นหาข้อมูลจากหลายแหล่งในช่วงเวลาหนึ่ง ในบางกรณีอาจไม่มีเอกสารที่ตอบคำถามได้แน่ชัดหากเป็นเอกสารใหม่หรือไม่ทราบแน่ชัดทางกฎหมาย
“ทีมงานของเราได้ทำการศึกษาก่อนหน้านี้ซึ่งแสดงให้เห็นว่าเครื่องมือ AI มีแนวโน้มที่จะการสร้งเอกสารทางกฎหมายมีแนวโน้มที่จะสร้างข้อเท็จจริงปลอม คดี การถือครอง กฎเกณฑ์ และข้อบังคับ” Daniel E. Ho ศาสตราจารย์ด้านกฎหมายที่ Stanford และ ผู้ร่วมเขียนรายงานกล่าวกับ VentureBeat “เช่นเดียวกับที่อื่นๆ ใน AI อุตสาหกรรมเทคโนโลยีทางกฎหมายพึ่งพา
Credit: VentureBeat made with OpenAI DALL-E 3
การประเมินเครื่องมือ AI ทางกฎหมาย
.
นักวิจัยได้ออกแบบชุดคำถามทางกฎหมายที่หลากหลายซึ่งแสดงถึงสถานการณ์การวิจัยในชีวิตจริง และทดสอบกับเครื่องมือวิจัยทางกฎหมายชั้นนำที่ขับเคลื่อนด้วย AI สามรายการ ได้แก่ Lexis+ AI โดยLexisNexisและ Westlaw AI-Assisted Research และ Ask Practical Law AI โดยThomson Reuters แม้ว่าเครื่องมือจะไม่ใช่โอเพ่นซอร์ส แต่เครื่องมือเหล่านี้ล้วนบ่งชี้ว่าพวกเขาใช้ RAG บางรูปแบบอยู่เบื้องหลัง
.
ผู้วิจัยตรวจสอบผลลัพธ์ของเครื่องมือด้วยตนเอง และเปรียบเทียบกับ GPT-4 โดยไม่มี RAG เป็นพื้นฐาน การศึกษาพบว่าเครื่องมือทั้งสามทำงานได้ดีกว่า GPT-4 อย่างมาก
นักวิจัยยังพบว่าระบบต้องดิ้นรนกับงานทำความเข้าใจทางกฎหมายขั้นพื้นฐานที่ต้องมีการวิเคราะห์อย่างใกล้ชิดถึงแหล่งที่มาที่อ้างถึงโดยเครื่องมือ นักวิจัยยืนยันว่าลักษณะที่ปิดของเครื่องมือ AI ทางกฎหมายทำให้ยากสำหรับนักกฎหมายในการประเมินว่าเมื่อใดจึงจะปลอดภัยที่จะพึ่งพาเครื่องมือเหล่านี้
.
ความต้องการความโปร่งใส
“ข้อโต้แย้งที่สำคัญที่สุดข้อหนึ่งที่เราทำในรายงานนี้คือ เรามีความจำเป็นเร่งด่วนสำหรับความโปร่งใสและการเปรียบเทียบมาตรฐานใน AI ทางกฎหมาย” โฮกล่าว “ตรงกันข้ามกับการวิจัย AI ทั่วไปอย่างชัดเจน เทคโนโลยีทางกฎหมายปิดตัวลง โดยผู้ให้บริการแทบไม่เสนอข้อมูลทางเทคนิคหรือหลักฐานประสิทธิภาพของผลิตภัณฑ์เลย สิ่งนี้ก่อให้เกิดความเสี่ยงอย่างมากสำหรับทนายความ”
จากข้อมูลของ Ho สำนักงานกฎหมายขนาดใหญ่แห่งหนึ่งใช้เวลาเกือบหนึ่งปีครึ่งในการประเมินผลิตภัณฑ์หนึ่งรายการ โดยไม่พบสิ่งใดที่ดีไปกว่า “ทนายความชอบใช้เครื่องมือนี้หรือไม่”
“เอกสารฉบับนี้เรียกร้องให้มีการเปรียบเทียบมาตรฐานสาธารณะ และเรายินดีที่ผู้ให้บริการที่เราพูดคุยกันเพื่อตกลงถึงคุณค่าอันมหาศาลของการทำสิ่งที่ทำในที่อื่นใน AI” เขากล่าว
.
“เราสนับสนุนความพยายามในการทดสอบและเปรียบเทียบโซลูชันเช่นนี้ และเราสนับสนุนความตั้งใจของทีมวิจัยของ Stanford ในการทำการศึกษาล่าสุดของโซลูชันที่ใช้ RAG สำหรับการวิจัยทางกฎหมาย” Dahn เขียน “แต่เรา ค่อนข้างแปลกใจเมื่อเราเห็นการกล่าวอ้างถึงปัญหาสำคัญเกี่ยวกับภาพหลอนจากการวิจัยที่ได้รับความช่วยเหลือจาก AI”
Dahn แนะนำว่าเหตุผลที่นักวิจัย Stanford อาจพบอัตราความไม่ถูกต้องที่สูงกว่าการทดสอบภายในของ Thomson Reuters เป็นเพราะ “การวิจัยได้รวมประเภทคำถามที่เราไม่ค่อยพบหรือไม่เคยเห็นในการวิจัยที่ได้รับความช่วยเหลือจาก AI”
LexisNexis ยังเน้นย้ำว่า Lexis+ AI มีจุดมุ่งหมาย “เพื่อยกระดับการทำงานของทนายความ ไม่ใช่แทนที่งาน” ไม่มีแอปพลิเคชันเทคโนโลยีหรือผลิตภัณฑ์ซอฟต์แวร์ใดที่สามารถทดแทนการตัดสินและการใช้เหตุผลของทนายความได้”
Source: venturebeat.