การแยกข้อมูลทางเว็บแบบลึก

ปัญหา
การเติบโตของเว็บที่ยังไม่เคยเกิดขึ้นทำให้เกิดสถานการณ์ที่มีข้อมูลมากขึ้นสำหรับผู้คนในประวัติศาสตร์ของมนุษย์ การเติบโตอย่างไม่เคยเกิดขึ้นมาก่อนนี้ได้ส่งผลให้เกิดปัญหาข้อมูลล้นเกินซึ่งหลีกเลี่ยงไม่ได้ เพื่อลดปัญหาข้อมูลโอเวอร์โหลดผู้ใช้มักจะใช้โปรแกรมค้นหาหรือลำดับชั้นการจัดประเภทที่สร้างขึ้นด้วยตนเอง แม้ว่าการเข้าถึงเว็บเพจบนเว็บที่เรียกว่า "crickable " จะยอดเยี่ยมแต่วิธีการเหล่านี้อาจมองข้ามทรัพยากรที่มีขนาดใหญ่และคุณภาพสูงนั่นคือ Deep Web

Deep Web ( หรือ Hidden Web) ประกอบด้วยข้อมูลทั้งหมดที่อยู่ในฐานข้อมูลที่ทำงานเองหลังพอร์ทัลและส่วนหน้าของผู้ให้บริการข้อมูล เว็บเพจใน Deep Web จะถูกสร้างขึ้นแบบไดนามิกเพื่อตอบกลับแบบสอบถามผ่านทางฟอร์มการค้นหาของเว็บไซต์และมักจะมีเนื้อหาแบบ Rich การศึกษาล่าสุดได้ประเมินขนาดของ Deep Web ว่ามีมากกว่า 500 พันล้านหน้าในขณะที่ขนาดของเว็บ " ที่เก็บป้ายได้ " จะมีเพียงร้อยละ 1 ของ Deep Web (***** น้อยกว่า 5 พันล้านหน้า ) แม้แต่เว็บไซต์เหล่านั้นที่มีลิงก์แบบคงที่บางลิงก์ที่ " เข้าถึงได้ " โดยโปรแกรมค้นหามักจะมีข้อมูลเพิ่มเติมมากมายที่ใช้งานได้ผ่านทางส่วนติดต่อคิวรีเท่านั้น การปลดล็อคเนื้อหาเว็บที่ลึกขนาดนี้เป็นความท้าทายในการวิจัยที่สำคัญ

ในทางปฏิบัติกับโปรแกรมค้นหาบนเว็บ " ที่เข้าถึงได้ " เราให้เหตุผลว่าวิธีหนึ่งในการปลดล็อก Deep Web คือการใช้วิธีการอัตโนมัติแบบเต็มรูปแบบในการแยกทำดัชนีและค้นหาเขตข้อมูลที่มีข้อมูลเกี่ยวข้องกับแบบสอบถามจากเว็บเพจแบบไดนามิก สำหรับโครงการขนาดเล็กนี้เรามุ่งเน้นที่สิ่งแรกต่อไปนี้คือการดึงข้อมูลจาก Deep Web

สำหรับข้อมูลเพิ่มเติมโปรดเยี่ยมชมเว็บไซต์ของเรา