Domain aplikasi internal perusahaan, aplikasi trial & error/development ga pernah mau kita umbar di search engine. Alasannya sederhana, menghindari serangan dari luar.
Hasil Domain Crawler, Domain Test-Test Aplikasi ke Detect
Karena biasanya domain crawler seperti ini mengambil data dari berbagai search engine, kita bisa setup agar search engine tidak meng-index domain kita dengan cara menambahkan add_header X-Robots-Tag "noindex, nofollow, nosnippet, noarchive"; di virtual block host nginx. Lalu cek menggunakan curl -I domainanda.com
Test Menggunakan Curl (Tampak Config X-Robots Sudah Terbaca)