🍋 Developer Tools
Generator Robots.txt
Buat file robots.txt untuk mengontrol akses crawler
chars
words
sentences
lines
Opsi robots.txt
Hasil
Hasil
Tentang Generator Robots.txt
Buat file robots.txt untuk mengontrol akses crawler mesin pencari. Konfigurasikan allow/disallow, sitemap, dan aturan khusus bot.
Cara Kerja
Menghasilkan file robots.txt dari konfigurasi visual. Konfigurasikan aturan per user-agent: allow/disallow path, crawl-delay, dan referensi sitemap. Mengikuti standar robots.txt (RFC 9309).
Langkah demi Langkah
- 1 [
- 2 '
- 3 P
- 4 i
- 5 l
- 6 i
- 7 h
- 8
- 9 t
- 10 e
- 11 m
- 12 p
- 13 l
- 14 a
- 15 t
- 16 e
- 17
- 18 a
- 19 w
- 20 a
- 21 l
- 22
- 23 (
- 24 i
- 25 z
- 26 i
- 27 n
- 28 k
- 29 a
- 30 n
- 31
- 32 s
- 33 e
- 34 m
- 35 u
- 36 a
- 37 ,
- 38
- 39 b
- 40 l
- 41 o
- 42 k
- 43 i
- 44 r
- 45
- 46 s
- 47 e
- 48 m
- 49 u
- 50 a
- 51 ,
- 52
- 53 a
- 54 t
- 55 a
- 56 u
- 57
- 58 k
- 59 u
- 60 s
- 61 t
- 62 o
- 63 m
- 64 )
- 65 '
- 66 ,
- 67
- 68 '
- 69 T
- 70 a
- 71 m
- 72 b
- 73 a
- 74 h
- 75 k
- 76 a
- 77 n
- 78
- 79 a
- 80 t
- 81 u
- 82 r
- 83 a
- 84 n
- 85
- 86 u
- 87 s
- 88 e
- 89 r
- 90 -
- 91 a
- 92 g
- 93 e
- 94 n
- 95 t
- 96
- 97 d
- 98 a
- 99 n
- 100
- 101 p
- 102 a
- 103 t
- 104 h
- 105
- 106 a
- 107 l
- 108 l
- 109 o
- 110 w
- 111 /
- 112 d
- 113 i
- 114 s
- 115 a
- 116 l
- 117 l
- 118 o
- 119 w
- 120 '
- 121 ,
- 122
- 123 '
- 124 T
- 125 a
- 126 m
- 127 b
- 128 a
- 129 h
- 130 k
- 131 a
- 132 n
- 133
- 134 U
- 135 R
- 136 L
- 137
- 138 s
- 139 i
- 140 t
- 141 e
- 142 m
- 143 a
- 144 p
- 145
- 146 A
- 147 n
- 148 d
- 149 a
- 150 '
- 151 ,
- 152
- 153 '
- 154 S
- 155 a
- 156 l
- 157 i
- 158 n
- 159
- 160 a
- 161 t
- 162 a
- 163 u
- 164
- 165 u
- 166 n
- 167 d
- 168 u
- 169 h
- 170
- 171 f
- 172 i
- 173 l
- 174 e
- 175
- 176 r
- 177 o
- 178 b
- 179 o
- 180 t
- 181 s
- 182 .
- 183 t
- 184 x
- 185 t
- 186 '
- 187 ]
Tips
- [
- '
- S
- e
- l
- a
- l
- u
- s
- e
- r
- t
- a
- k
- a
- n
- r
- e
- f
- e
- r
- e
- n
- s
- i
- s
- i
- t
- e
- m
- a
- p
- d
- i
- r
- o
- b
- o
- t
- s
- .
- t
- x
- t
- '
- ,
- '
- G
- u
- n
- a
- k
- a
- n
- D
- i
- s
- a
- l
- l
- o
- w
- :
- /
- a
- d
- m
- i
- n
- /
- u
- n
- t
- u
- k
- m
- e
- m
- b
- l
- o
- k
- i
- r
- h
- a
- l
- a
- m
- a
- n
- a
- d
- m
- i
- n
- d
- a
- r
- i
- c
- r
- a
- w
- l
- e
- r
- '
- ,
- '
- J
- a
- n
- g
- a
- n
- m
- e
- m
- b
- l
- o
- k
- i
- r
- C
- S
- S
- /
- J
- S
- —
- G
- o
- o
- g
- l
- e
- m
- e
- m
- b
- u
- t
- u
- h
- k
- a
- n
- n
- y
- a
- u
- n
- t
- u
- k
- m
- e
- r
- e
- n
- d
- e
- r
- h
- a
- l
- a
- m
- a
- n
- '
- ,
- '
- r
- o
- b
- o
- t
- s
- .
- t
- x
- t
- b
- e
- r
- s
- i
- f
- a
- t
- p
- u
- b
- l
- i
- k
- —
- j
- a
- n
- g
- a
- n
- g
- u
- n
- a
- k
- a
- n
- u
- n
- t
- u
- k
- m
- e
- n
- y
- e
- m
- b
- u
- n
- y
- i
- k
- a
- n
- k
- o
- n
- t
- e
- n
- s
- e
- n
- s
- i
- t
- i
- f
- '
- ]