Vite Digitali

Google è il motore di ricerca più grande ed utilizzato al mondo. Riesce ad indicizzare milioni di pagine sparse in ogni angolo del nostro pianeta, grazie a dei piccoli servitori automatizzati che si chiamano Robot (conosciuti anche come Wanderers o Spiders) che hanno il compito di girovagare in rete alla ricerca di pagine da indicizzare. Ma se non volessimo che le nostre pagine fossero inserite nell' immenso database di Google? Qualcuno di voi forse si starà chiedendo perchè mai dovremmo sbattere la porta in faccia a Google. Ci sono tante ragioni che spingono un webmaster a tenere lontani gli Spider: evitare di far indicizzare nuovamente pagine vecchie ed obsolete mentre stiamo aggiornando un sito, evitare l' appesantimento del server dovuto alle continue visite del Robot, evitare l' indicizzazione di pagine sensibili che contengono dati personali, ecc... Proprio su quest' ultimo punto vorrei spendere 2 parole: Google è il miglior amico di un hacker (io direi anche cracker) e non lo scopro io oggi ma ormai è un fatto risaputo da molto tempo. Ci sono tecniche molto accurate (ed estremamente semplici) che permettono di ottenere una quantità enorme di "informazioni sensibili" solo effettuando delle ricerche in Google. Bastano pochi click e potremmo trovare elenchi di password, informazioni bancarie, file privati, messaggi di posta elettronica, ecc... Questo accade perchè lo Spider di Google cerca qualsiasi tipo di pagina presente in rete e la indicizza senza sapere cosa contiene.
Per queste ragioni un webmaster deve poter comunicare con gli Spider e dire quali pagine possono indicizzare e quali no. Il metodo che ci permette di fare ciò è quello di creare un file chiamato robots.txt all' intero della cartella principale (root directory) del nostro sito web. Questo file conterrà tutte le regole che uno o più Spider dovranno seguire. Ecco le regole più importanti che possono essere inserite nel file robots.txt

1) Rimozione completa del sito web da tutti i motori di ricerca

2) Rimozione del sito web solo da Google
User-agent: Googlebot
Disallow: /

3) Rimozione di tutte le pagine contenute in una cartella (per esempio la cartella mail)
User-agent: *
Disallow: /mail/

4) Rimozione di tutte le immagini del sito web da Ricerca Immagini di Google
User-agent: Googlebot-Image
Disallow: /

Ovviamente nel file robots.txt dovete inserire solo le scritte in rosso che vi interessano.

Per conoscere altre regole da inserire nel file robots.txt, vi rimando alla pagina di Google che tratta dei Robot.

Cercando qualche notizia interessante in giro per la rete ho trovato questo sito che elenca una serie di pagine che risiedono sui server di Google ma che sono sconosciute alla maggior parte dei navigatori. L'elenco è lungo ma consiglio di vedervele tutte e se proprio non avete tempo ecco quelle che secondo me sono imperdibili:
1) Un giochino di Google (Easter Egg)
2) Una presentazione di Google Mini, il motore di ricerca per le aziende. Alzi la mano chi lo conosceva...
3) Google trends, una vera figata! Si può vedere se una parola è molto ricercata oppure no; si possono comparare vari termini e vedere chi è più in voga al momento.
4) Google patents: un vastissimo elenco di brevetti comprendente svariate categorie.
5) Google Linux: se dovete cercare qualcosa sul pinguino cercatela su Google Linux, di sicuro perderete meno tempo...
6) Google scholar: per cercare manuali, tesine, appunti e tanto altro materiale scolastico.

Altri siti da visitare sono:
http://www.google.com/imode?
http://www.google.com/mac.html
http://www.google.com/microsoft?
http://www.google.com/products
http://www.google.com/ie?
http://www.google.com/intl/en_us/mobile/sms/


Per cercare nuove pagine presenti sul server di Google ma che non vengono indicizzate, aprite il file robot di Google e troverete dei termini da inserire dopo l'indirizzo del sito www.google.com