Chương 2 tiêp theo chương 1 “Tổng quan về hệ thống Search Engine” của loạt bài viết về máy tìm kiếm “Tìm hiểu về Search Engine và xây dựng ứng dụng minh hoạ cho Search Engine tiếng Việt“.
- Ứng dụng của Robot
- Phân tích, thống kê – Statistical Analysis
- Duy trì siêu liên kế – Maintenance
- Ánh xạ địa chỉ web – Mirroring
- Phát hiện tài nguyên – Resource Discovery
- Kết hợp các công dụng trên- Combined uses
- Robot chỉ mục – Robot Indexing
- Các chiến thuật thu thập dữ liệu
- Chiến thuật tìm kiếm theo chiều sâu
- Chiến thuật tìm kiếm theo chiều rộng
- Chiến thuật tìm kiếm theo ngẫu nhiên
- Những vấn đề cần lưu ý của web robot
- Chi phí và hiểm hoạ
- Quá tải mạng và server – Network resource and server load
- Sự cập nhật quá mức- Updating overhead
- Những tình huống không mong đợi – Bad implementations
- Tiêu chuẩn loại trừ robot
- File robot.txt
- Thẻ META dành cho robot – Robot META tag
- Nhược điểm của file robot.txt
- Chi phí và hiểm hoạ
Xem tiếp : Bộ thu thập thông tin – Robot
