Skip to main content

Apa Itu robots.txt dan Apa Fungsinya

By
Apa sih itu robots.txt dan apa fungsinya? Pernahkah Anda berfikir seperti itu? Pernahkah terbesit di pikiran Anda untuk mengenal robots.txt? File text ini sering kali dipandang sebelah mata, padahal fungsinya sungguh sanggat luar biasa. Mengapa luar biasa? Nanti akan saya beri gambarannya. Simak terus artikel ini.

Sebelumnya lebih baik kalau kita berkenalan dengan file kecil yang satu ini.

robots.txt merupakan filter bagi website kita, atau bisa juga kita samakan dengan satpam yang ada di depan rumah atau suatu kantor. Kita tahu saptam berguna untuk memfilter siapa saja yang boleh masuk kedalam kantor dan juga memberi arahan akan kemana tamu itu, misal ke resepsionis. Satpam juga memberi larangan agar tamu tidak pergi ke suatu tempat yang tidak semestinya, misal tidak boleh pergi ke gudang, ruang rahasia, dan lainnya.

Sama dengan Satpam, robots.txt juga memberikan arahan dan larangan kepada tamu. Nah, tamu yang dimaksud di sini adalah robot search engine. Katakanlah google. Google punya sebuah robot yang bernama google-bot. Nah, tugas dari google bot ini adalah mencari dan menelusuri setiap website yang terdaftar di google webmaster. Dengan google-bot ini, google mengumpulkan semua hal tentang suatu website, seperti artikel terbaru, halaman login, halaman tertentu, dan lainnya.

Nah, di sinilah peran file kecil bernama robots.txt tadi. Dia (robots.txt) akan memberi arahan dan larangan terhadap google-bot. Misalnya robots.txt memperbolehkan google-bot untuk mengakses suatu folder, atau melarang google-bot mengakses suatu folder. Namun, apabila file robots.txt tidak ditemukan di suatu website, tentu saja google-bot akan se enaknya sendiri menjelajahi website tersebut.

Trus, klo dijelajahi se enaknya oleh google-bot ngaruhnya apa? Ini jelas berbahaya. Karena file-file config, form upload, folder upload, dan file-file rahasia lainnya akan di telusuri oleh google-bot dan menyimpannya ke database google. Sebenarnya ini tidaklah menjadi masalah. Namun masalah akan timbul saat ada orang iseng mencari website sebagai korban hacking iseng di google. Mereka akan dengan mudah menemukan file-file config website kita dan dengan mudah mengakalinya.

Jelaskan, bahwa file robots.txt sangat berguna bagi suatu website. Sekarang kita coba membuat sebuah file robots.txt walaupun sebenarnya banyak website penyedia robots.txt generator.

Sebelumnya kita buat sebuah skenario. robots milik search engine tidak boleh mengakses folder config dan admin. Berikut caranya.

Pertama buatlah sebuah file dengan nama robots dan extensi txt jadi, namanya robots.txt kemudian letakkan di folder utama (jika di hosting diletakkan di public_html/www). Kemudian ketik kode berikut (yang berwarna merah).

User-agent : * <-- ini berarti aturan yang ditulis ditujukan untuk semua robots dari semua search engine
Dissallow: /config/ <-- ini berarti melarang robots dari semua search engine untuk menelusuri folder config
Dissallow: /admin/ <-- ini berarti melarang robots dari semua search engine untuk menelusuri folder admin

Kemudian save. Jadilah file robots.txt kita. Simple memang, tapi fungsinya luar biasa.

Demikian tulisan singkat saya mengenai file robots.txt dan fungsinya beserta cara pembuatan robots.txt itu sendiri. Semoga membantu.
Labels:

Comments

Post a Comment

Popular posts from this blog

Adab Adab Budaya Melayu Riau Berdasarkan Google

By
Orang Melayu mengaku identitas kepribadiannya yang utama adalah adat istiadat Melayu, dan agama Islam. Dengan demikian, seseorang yang mengaku dirinya orang Melayu harus beradat-istiadat Melayu, berbahasa Melayu, dan beragama Islam. Dari tiga ciri utama kepribadian orang Melayu tersebut, yang menjadi pondasi pokok adalah agama Islam, karena agama Islam menjadi sumber adat-istiadat Melayu. Oleh karena itu, adat-istiadat Melayu Riau bersendikan syarak dan syarak bersendikan kitabullah. Dalam bahasa Melayu berbagai ungkapan, pepatah, perumpamaan, pantun, syair, dan sebagainya menyiratkan norma sopan-santun dan tata pergaulan orang Melayu. 1. Pendahuluan Orang Melayu menetapkan identitasnya dengan tiga ciri pokok, yaitu berbahasa Melayu, beradat-istiadat Melayu, dan beragama Islam. Dalam makalah ini, penulis akan mengemukakan beberapa hal pokok yang berkaitan dengan adat istiadat Melayu Riau. Seperti diketahui bersama, segala hal yang bersangkutan dengan adat-istiadat Me
Post a Comment
Read more

Pembahasan Soal Olimpiade TIK Tingkat Kabupaten Tahun 2006

By
  Hey bro! kali ini saya mau membahas soal Olimpiade TIK yang di selenggarakan oleh TOKI! Langsung aja ya! SOAL OLIMPIADE TIK Tingkat Kabupaten tahun 2006 Pembahasan ini kami sengaja buat secara berseri, dengan tujuan agar kita tidak lekas bosan dan jenuh. Di samping itu juga agar kita mudah memahami apa yang kami sampaikan dalam pembahasan ini. SOAL 1 – 2: Deskripsi untuk pertanyaan 1-2 Deret bilangan Fibonacci didefisikan secara rekursif sbb. f1 = 1 f2 = 1 fn = fn-1 + fn-2 untuk semua n > 2 1. Berapa banyak kah bilangan Fibonacci antara 10 sampai dengan 100? (A) 90 (B) 9 (C) 5 (D) 10 (E) 12 2. Dengan mengambil satu harga n kemudian anda menjumlahkan bilangan-bilangan tsb mulai dari f1 s.d. fn maka berapakah n terkecil agar jumlah itu > 150? (A) 9 (B) 10 (C) 11 (D) 15 (E) 20 PEMBAHASAN SOAL: Sebagaimana yang kita ketahui bersama, soal-soal dalam olimpiade komputer jarang merupakan soal mandiri. Biasanya, soal-soal ini merupakan soal berkelompok, dengan satu macam permasalaha
Post a Comment
Read more

Tradisi dan Budaya PraIslam di Nusantara

By
  Tradisi dan Budaya Islam di Nusantara Sejarah tentu pastilah ada yang mengawalinya dan bisa saja sejarah tersebut dirubah, baik itu untuk hal-hal yang negatif atau bisa juga sejarah tersebut dirubah menjadi sesuatu yang positif dan bermanfaat bagi masyarakat luas. Keadaan geografis dan wilayah yang dimiliki bangsa ini, telah membentuk keragaman dan perbedaan struktur masyarakatnya. Secara sederhana, keragaman ini ditunjukkan setidaknya oleh tiga jenis kelompok masyarakat yang berkembang di seluruh wilayah nusantara. Kelompok I, adalah masyarakat yang hidup di daerah-daerah pedalaman dan kawasan-kawasan yang terpencil. Masyarakat ini biasanya memiliki kepercayaan animisme dan komitmen kesukuannya sangat kuat. Kelompok II, adalah masyarakat yang hidup di sepanjanggaris pesisir, dimana jalur-jalur pedagangan laut telah memudahkan mereka untuk dapat mengenal dan bertukar kebudayaaan dengan dunia luar. Sedangkan kelompok III , adalah masyarakat yang dipengaruhi oleh struktur b
Post a Comment
Read more