Cloudflare chặn AI bot nếu không chịu trả phí

Cloudflare vừa tung ra loạt biện pháp mới để ngăn chặn các AI bot crawler quét dữ liệu không kiểm soát. Từ nay, khi khách hàng mới tạo website trên Cloudflare, họ sẽ được hỏi muốn cho phép hay chặn AI crawler ngay từ đầu, giúp tiết kiệm công sức chỉnh thủ công. Nhiều nhà xuất bản lớn như Condé Nast, TIME hay AP đã chọn chặn AI bot.

Ngoài ra, Cloudflare cũng chạy thử nghiệm riêng có tên “pay per crawl”, buộc các AI bot phải trả phí nếu muốn truy cập nội dung. Mỗi lần AI bot yêu cầu dữ liệu, bot sẽ phải thể hiện ý định trả tiền hoặc nhận phản hồi lỗi 402 Payment Required. Nhà xuất bản có thể chọn cho phép một số bot truy cập miễn phí hoặc tự đặt mức phí cố định cho các bot khác.

CEO Cloudflare, ông Matthew Prince, nói rằng các nhà xuất bản đang đứng trước nguy cơ “biến mất” vì người dùng không còn bấm vào link nguồn từ chatbot, khiến doanh thu quảng cáo giảm. Theo ông, AI crawler đang thu thập nội dung không giới hạn, và cần một mô hình mới để vừa giúp AI phát triển, vừa đảm bảo lợi ích cho những người sáng tạo nội dung.

Cloudflare cho biết thử nghiệm pay per crawl vẫn đang ở giai đoạn đầu và có thể mở rộng thành các chợ giao dịch, nơi giá truy cập dữ liệu được điều chỉnh tùy loại nội dung.