robots.txt adalah file teks tempat sebuah situs meminta crawler untuk menjauhi jalur tertentu; batas laju adalah cara situs menegakkan seberapa cepat siapa pun boleh bertanya; dan perbedaan antara scraper yang berjalan berbulan-bulan dan yang menghabiskan kumpulan proxy dalam satu sore sebagian besar adalah apakah ia menghormati keduanya. Ini bukan terutama soal etika, meskipun juga demikian — ini soal teknis. Setiap IP yang Anda miliki membawa anggaran reputasi yang terbatas dengan setiap target, dan scraping yang tidak sopan menghabiskannya lebih cepat daripada yang bisa diisi ulang oleh rotasi. Panduan ini membahas apa arti sebenarnya dari sinyal-sinyal tersebut dan praktik yang membuat proxy bertahan lebih lama.
robots.txt: apa itu dan apa bukan
Protokol Pengecualian Robot (diformalkan sebagai RFC 9309 pada tahun 2022) memungkinkan situs untuk mempublikasikan, di /robots.txt, user agent mana yang boleh mengambil jalur mana:
User-agent: *
Disallow: /admin/
Disallow: /search
Crawl-delay: 5
User-agent: Googlebot
Allow: /
Sitemap: https://example.com/sitemap.xml
Tiga fakta tentang hal itu yang penting bagi pengguna proxy:
- Ini bersifat imbauan. Tidak ada yang secara teknis menghentikan klien untuk mengambil jalur yang dilarang. Kepatuhan bersifat sukarela — justru itulah mengapa situs memperlakukan ketidakpatuhan sebagai sinyal bot yang kuat: pengunjung yang mengabaikan robots.txt telah mengumumkan bahwa ia adalah klien otomatis yang tidak mengikuti konvensi.
- Ini bukan instrumen hukum dengan sendirinya, tetapi ini adalah bukti. Dalam perselisihan tentang scraping, robots.txt situs sering dikutip sebagai pemberitahuan bahwa akses otomatis tidak diizinkan; mengabaikannya melemahkan posisi “Saya tidak punya alasan untuk berpikir ini tidak diinginkan”. Lihat peta hukum.
- Ini memberi tahu Anda di mana jebakannya. Jalur yang terdaftar di bawah
Disallowuntuk*sering kali merupakan jalur yang paling banyak dipantau oleh situs — endpoint pencarian, navigasi faset, kalender tak terbatas, area admin. Mengambilnya adalah hal yang paling mudah dideteksi dan paling tidak berguna yang bisa dilakukan scraper.
Aturan praktis: ambil /robots.txt sekali per host per hari dan cache; patuhi Disallow untuk user agent Anda dan untuk *; hormati Crawl-delay jika ada (ini non-standar tetapi banyak digunakan — angkanya adalah detik antara permintaan dari satu klien); baca baris Sitemap, yang merupakan situs memberikan Anda daftar URL yang bersih dan lengkap sehingga Anda tidak perlu merayapi untuk mendapatkannya.
Batas laju: bagaimana situs mengatakan “lebih lambat”
Batas laju ditegakkan, dan mereka datang dengan sinyal jika Anda mendengarkan:
| Sinyal | Arti | Respons yang benar |
|---|---|---|
429 Too Many Requests | Anda melampaui batas (biasanya per IP, kadang per sesi) | Berhenti; tunggu setidaknya nilai Retry-After jika diberikan; mundur secara eksponensial jika tidak |
Retry-After: 120 (header) | Jangan mencoba lagi selama 120 detik (atau sampai tanggal yang diberikan) | Hormati dengan tepat; mencoba lebih awal memperpanjang penalti di banyak sistem |
503 dengan Retry-After | Kelebihan beban atau sengaja membatasi | Sama seperti di atas |
403 setelah serangkaian 200 | Blokir lunak: reputasi habis untuk IP atau sesi ini | Rotasi IP dan sesi; perlambat sebelum melanjutkan |
| CAPTCHA / halaman tantangan dengan status 200 | Lapisan anti-bot ingin bukti (lihat cara penilaiannya) | Anggap sebagai blokir, bukan keberhasilan; jangan terus mencoba |
| Waktu respons meningkat terus | Anda sedang diprioritaskan rendah, atau Andalah bebannya | Kurangi konkurensi |
Header X-RateLimit-Remaining / -Reset | Anggaran eksplisit, umum di API | Atur kecepatan agar tetap di bawah; tidur sampai reset saat mencapai nol |
Kesalahan yang mahal adalah memperlakukan setiap non-200 sebagai “rotasi dan coba lagi segera.” Itu mengubah batas sementara satu IP menjadi IP yang terbakar, lalu membakar yang berikutnya, dan mengajarkan model target bahwa sidik jari Anda melompat-lompat alamat saat ditolak — pola yang secara khusus dideteksi oleh vendor anti-bot. Rotasi untuk menyebarkan beban normal, bukan untuk menghindari batas yang baru saja Anda langgar; lihat strategi rotasi.
Praktik yang membuat IP tetap hidup
- Temukan toleransi per-IP situs dan tetap di bawah setengahnya. Ukur sekali (metodenya ada di memilih interval rotasi) daripada menebak.
- Tambahkan jitter. Interval seragam adalah sinyal paling mirip mesin yang ada. Acak penundaan di sekitar rata-rata, dan variasikan urutan kunjungan URL.
- Gunakan sitemap. Jika situs mempublikasikannya, itu adalah inventaris lengkap dari apa yang ingin mereka indeks; merayapinya lebih sopan dan lebih lengkap daripada merayapi tautan, dan menghindari jalur jebakan.
- Cache dan gunakan permintaan bersyarat. Kirim
If-Modified-Since/If-None-Matchjika situs mendukungnya;304memakan biaya sebagian kecil dari halaman penuh — dalam bandwidth mereka, GB proxy Anda, dan reputasi IP Anda. - Jangan ambil yang tidak Anda butuhkan. HTML tanpa aset jika memungkinkan; blokir gambar/font/media dalam otomatisasi browser. Ini saja dapat memangkas biaya proxy per GB hingga sepuluh kali lipat (mengapa) dan mengurangi jejak beban yang dilihat situs.
- Utamakan API resmi, feed, dan ekspor data jika ada. Banyak situs menawarkan RSS, endpoint JSON, atau unduhan massal justru agar orang berhenti scraping HTML.
- Identifikasi diri Anda dengan jujur jika target mentolerirnya. User-Agent deskriptif dengan alamat kontak adalah norma untuk crawler riset dan pemantauan, dan beberapa situs memasukkan bot yang dikenal baik ke daftar putih. Jika Anda harus tampil sebagai browser, lakukan secara konsisten di semua lapisan (mengapa setengah-setengah gagal).
- Mundur secara eksponensial dan batasi konkurensi per host, bukan hanya global. Sepuluh host dengan dua koneksi masing-masing itu sopan; satu host dengan dua puluh tidak.
- Berhenti saat diminta berhenti.
Retry-After, halaman blokir eksplisit, atau pesan dari operator situs masing-masing mengubah apa yang harus Anda lakukan selanjutnya; yang terakhir juga mengubah postur hukum.
Mengapa kesopanan lebih murah
Setiap praktik di atas mengurangi salah satu dari tiga biaya: pengeluaran proxy (lebih sedikit byte, lebih sedikit percobaan ulang), pembakaran IP (setiap alamat bertahan lebih lama, jadi Anda membutuhkan lebih sedikit dan dapat menggunakan tipe yang lebih murah), dan risiko deteksi (klien yang berperilaku seperti crawler yang penuh pertimbangan mendapat skor lebih baik pada lapisan perilaku daripada yang berperilaku seperti banjir). Scraping agresif adalah strategi yang menghabiskan uang untuk terlihat lebih mencurigakan. Pengecualian yang sering dikutip orang — penarikan satu kali di mana tidak ada yang penting setelahnya — itu nyata tetapi lebih jarang daripada yang terlihat, karena target berbagi intelijen dan kumpulan dibagikan dengan diri Anda di masa depan.
Catatan tentang etika beban
Di luar ekonomi IP: situs di sisi lain adalah tagihan infrastruktur seseorang. Scraper yang mengambil dengan kecepatan yang dapat diserap situs tidak dapat dibedakan dari lalu lintas; yang menurunkan layanan bagi pengguna nyata, setidaknya, tidak sopan, dan dalam skala besar mendekati wilayah yang oleh hukum disebut pelanggaran atau gangguan. Crawl-delay dan batas laju adalah cara situs mengatakan apa yang dapat diserapnya. Membacanya adalah inti dari sopan santun di sini.
Pertanyaan yang sering diajukan
Apakah robots.txt mengikat secara hukum?
Tidak dengan sendirinya; ini adalah konvensi. Tetapi ini berfungsi sebagai pemberitahuan keinginan situs dan dikutip dalam perselisihan, dan mengabaikannya adalah sinyal otomatisasi yang kuat bagi sistem anti-bot. Perlakukan sebagai mengikat dalam praktik.
Apa arti Crawl-delay?
Instruksi non-standar tetapi umum: jumlah detik yang harus ditunggu crawler tunggal antara permintaan. Hormati per klien (per IP/sesi), bukan per operasi keseluruhan.
Apa yang harus saya lakukan saat mendapat 429?
Berhenti memukul host itu dari IP itu; tunggu nilai Retry-After jika diberikan, jika tidak mundur secara eksponensial; hanya kemudian lanjutkan, lebih lambat. Jangan langsung rotasi dan coba lagi — itu menyebarkan blokir.
Apakah rotasi proxy memungkinkan saya mengabaikan batas laju?
Ini memungkinkan setiap IP tetap di bawah batas per-IP sementara throughput total Anda lebih tinggi. Ini tidak membuat pola agresif tidak terlihat: deteksi berbasis sidik jari dan perilaku menghubungkan sesi, dan IP yang terbakar tetap terbakar.
Haruskah saya mengidentifikasi scraper saya di User-Agent?
Jika situs mentolerir crawler, ya — itu adalah default yang jujur dan kadang membuat Anda masuk daftar putih. Jika Anda harus tampil sebagai browser, konsistenlah di TLS, header, dan perilaku daripada mencampur UA yang jujur dengan peniruan browser.
Seberapa cepat saya bisa scraping sebuah situs?
Secepat yang ditoleransi dari satu IP dikalikan jumlah IP yang Anda miliki — diukur, bukan diasumsikan — dikurangi margin keamanan, dan tidak pernah lebih cepat dari Crawl-delay atau kecepatan di mana waktu respons tetap stabil.