Robots.txt: Perbedaan antara revisi
Impor teks terkontrol dari Wikipedia bahasa Indonesia; revisi 27009048; atribusi sumber disertakan. |
Presentation V4: sitasi, referensi, Math, Wikimedia Commons, dan atribusi |
||
| Baris 1: | Baris 1: | ||
'''Standar pengecualian robot''', juga dikenal sebagai '''protokol pengecualian robot''' atau '''protokol robots.txt''', adalah sebuah ketentuan untuk mencegah ''web crawler'' dan robot web lain, dari pengaksesan seluruh atau sebagian [[situs web]]. Robot ini berguna untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider [[mesin pencari]], atau situs jejaring sosial seperti [[Friendster]], [[Facebook]], dan [[Twitter]]. | '''Standar pengecualian robot''', juga dikenal sebagai '''protokol pengecualian robot''' atau '''protokol robots.txt''', adalah sebuah ketentuan untuk mencegah ''web crawler'' dan robot web lain, dari pengaksesan seluruh atau sebagian [[situs web]]. Robot ini berguna untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider [[mesin pencari]], atau situs jejaring sosial seperti [[Friendster]], [[Facebook]], dan [[Twitter]]. | ||
Penemu "robots.txt" adalah Martijn Koster, saat bekerja di [[WebCrawler]] pada tahun 1994. | Penemu "robots.txt" adalah Martijn Koster, saat bekerja di [[WebCrawler]] pada tahun 1994.<ref>[http://www.robotstxt.org/orig.html#status The Web Robots Pages]</ref> | ||
== Pranala luar == | == Pranala luar == | ||
| Baris 10: | Baris 7: | ||
* [https://web.archive.org/web/20080705150627/http://www.robotstxt.org/wc/exclusion.html Robots Exclusion] | * [https://web.archive.org/web/20080705150627/http://www.robotstxt.org/wc/exclusion.html Robots Exclusion] | ||
* [http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449&from=35237 Using the robots.txt analysis tool] | * [http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449&from=35237 Using the robots.txt analysis tool] | ||
* [http://www.technyat.com/post/what-is-robots-txt-file/ Introduction to Robots.txt file] | * [http://www.technyat.com/post/what-is-robots-txt-file/ Introduction to Robots.txt file] | ||
* [http://www.mediawiki.org/wiki/Robots.txt About Robots.txt at the Mediawiki website] | * [http://www.mediawiki.org/wiki/Robots.txt About Robots.txt at the Mediawiki website] | ||
* [http://www.kloth.net/internet/badbots.php List of Bad Bots] - rogue robots and spiders which ignore these guidelines | * [http://www.kloth.net/internet/badbots.php List of Bad Bots] - rogue robots and spiders which ignore these guidelines | ||
* [http://www.searchtools.com/robots/robots-txt.html More info about Robots.txt] | * [http://www.searchtools.com/robots/robots-txt.html More info about Robots.txt] | ||
* [http://en.wikipedia.org/robots.txt Wikipedia's Robots.txt - an example] | * [http://en.wikipedia.org/robots.txt Wikipedia's Robots.txt - an example] | ||
* [http://www.mcanerin.com/EN/search-engine/robots-txt.asp Robots.txt Generator + Tutorial] | * [http://www.mcanerin.com/EN/search-engine/robots-txt.asp Robots.txt Generator + Tutorial] | ||
* [http://www.howrank.com/Robots.txt-Tool.php Robots.txt Generator Tool] | * [http://www.howrank.com/Robots.txt-Tool.php Robots.txt Generator Tool] | ||
== Referensi == | |||
<references /> | |||
== Sumber dan atribusi == | == Sumber dan atribusi == | ||
Konten artikel ini diadaptasi dari [https://id.wikipedia.org/w/index.php?title=Robots.txt&oldid=27009048 Wikipedia bahasa Indonesia], revisi 27009048 (2025-03-08T12:20:55Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Mohon gunakan konten ini secara bijak serta sesuai dengan ketentuan lisensi yang berlaku. | Konten artikel ini diadaptasi dari [https://id.wikipedia.org/w/index.php?title=Robots.txt&oldid=27009048 Wikipedia bahasa Indonesia], revisi 27009048 (2025-03-08T12:20:55Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Mohon gunakan konten ini secara bijak serta sesuai dengan ketentuan lisensi yang berlaku. | ||
<!-- WIKI_UNISSULA_PRESENTATION_V4 --> | |||
Revisi terkini sejak 24 Agustus 2026 04.03
Standar pengecualian robot, juga dikenal sebagai protokol pengecualian robot atau protokol robots.txt, adalah sebuah ketentuan untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web. Robot ini berguna untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter.
Penemu "robots.txt" adalah Martijn Koster, saat bekerja di WebCrawler pada tahun 1994.[1]
Pranala luar
- History of robots.txt -(how Charles Stross prompted its invention; original comment on Slashdot)
- Robots Exclusion
- Using the robots.txt analysis tool
- Introduction to Robots.txt file
- About Robots.txt at the Mediawiki website
- List of Bad Bots - rogue robots and spiders which ignore these guidelines
- More info about Robots.txt
- Wikipedia's Robots.txt - an example
- Robots.txt Generator + Tutorial
- Robots.txt Generator Tool
Referensi
Sumber dan atribusi
Konten artikel ini diadaptasi dari Wikipedia bahasa Indonesia, revisi 27009048 (2025-03-08T12:20:55Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Mohon gunakan konten ini secara bijak serta sesuai dengan ketentuan lisensi yang berlaku.