Vì vậy để chắc chắn rằng chúng ta cho phép Google Bot truy cập các tập tin CSS và Javascript thì chỉ cần khai báo thêm đoạn sau vào robots.txt của website
Google tự dưng đồng loạt gửi hàng đống email đến để thông báo website đang chặn Google Bot truy cập các tập tin CSS và Javascript. Tạm thời chưa nói đến việc thông báo lỗi này là đúng hay sai, mà chúng ta nên biết tại sao Google lại thông báo như vậy.
Google Bot truy cập vào website theo thuật toán riêng của nó, nhưng chúng ta có thể kiểm soát việc lấy dữ liệu của nó thông qua tập tin robots.txt đặt tại thư mục gốc của website. Do vậy, thông báo này có nghĩa là một hoặc các tập tin CSS/JS trên website đang bị chặn bởi robots.txt nên Google Bot sẽ không truy cập được. Hiện tượng này có thể là do bạn chặn thư mục nào đó.
Vì vậy để chắc chắn rằng chúng ta cho phép Google Bot truy cập các tập tin CSS và Javascript thì chỉ cần khai báo thêm đoạn sau vào robots.txt của website (chưa có thì tạo).
Allow: /*.js$ Allow: /*.css$
Và nếu đầy đủ hơn thì ta sẽ có:
User-agent: * Allow: /*.js$ Allow: /*.css$
Và sau khi thêm dòng đó vào, bạn có thể yên tâm rằng website mình không còn chặn Google Bot xem CSS và JS trên website nữa.
