Googleboteista

[MariaV.]

Foorumini siirtyi elokuun alussa kolmosversioon, ja pian sen jälkeen huomasin kaikkien keskustelujen löytyvän Googlesta, vaikka olen estänyt bottien pääsyn kaikille alueille, ja suurin osa alueista ei edes näy muille kuin kirjautuneille jäsenille. Keskustelut ovat foorumin jäsenten toivomuksesta näkyneet vain rekisteröityneille käyttäjille, sillä foorumilla keskustellaan melko arkaluontoisista asioista. Myös vierailijoilta olen estänyt pääsyn muualle kuin foorumin info-osioon, silti piilotetuillakin alueilla näkyy nyt vierailijoita.

Sitten huomasin erään käyttäjän tiedoissa (katsottuani paikallaolijoita) lukevan:
IP: crawl-66-249-70-120.googlebot.com » Whois
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

ja toisella
IP: crawl-66-249-70-120.googlebot.com » Whois
Mediapartners-Google

Kummallakin on siis sama IP-osoite, ja molemmat näkyvät olevan sisäänkirjautuneina lähes koko ajan, ja ilmestyvän sisään heti kun joku käyttäjä kirjoittaa jotain, tai vain kirjautuu sisään. Kumpikin on kuitenkin aikanaan rekisteröitynyt ihan normaalisti, toinen on jopa kirjoittanut viestejä, mutta nyt siis näyttää kuin nämä kaksi olisivat yhtäkkiä "muuttuneet" Googlen boteiksi. Lieneekö tällä tekemistä sen kanssa että keskustelut ovat päätyneet Googleen? Voiko asialle tehdä mitään?

[Peetra]

Foorumisi urli? Tai niinQ vähiten se tieto missä se on tehty.

Jos olet estänyt botit kategorioista, ja ne tulee silti, niin jokin upgradessa on voinut mennä mönkään. Tai Multifoorumin Ylläpito on estänyt adminejä kieltämästä botteja. Jos sivuillasi on google-mainontaa, niin Google Adsensella tätyy olla lupa tulla.

[Lurttinen]

Tuo mediapartneri on adsensen botti.
Jos sivulla on adsensen mainoksia, niin todennäköisesti palveluntarjoaja ei anna sun estää sitä tulemasta.
Tuo mediapartneri myös esimerkiksi operan ilmaisversiossa, joten aina sivua ladatessa mediapartneri kurkkaa sinne myös.

Googlella on muitakin työpöytä työkaluja, joilla se kurkkii mitä sää teet.

Tietysti, foorumin pitää tunnistaa botti botiksi, jotta se osaa sen blokata. Tuosta "whois" tekstistä päätelleen tuo botti ei ole foorumin bottilistassa.
Botteja voi estää siis vain, jos foorumi tunnistaa botin. Jos se ei tunnista, se on kuin kuka tahansa rekisteröimätön käyttäjä ja näkee foorumin sen mukaisesti.
Google ei ole myöskään ainoa hakukone, vaikka kieltämättä yksi suosituimmista. Jos blokkaat googlen, ootko blokannut MSN ja yahoon?

Parempi keino tavaran piilottamiseksi hakukoneilta on luoda käyttäjäryhmä ja sallia sille ryhmälle pääsy alueelle. Kukaan muu ei näe sitä aluetta, kuin se tietty ryhmä.

Toisinsanottuna, ei blokata niitä yksitellen, jotka sinne ei saa tulla, vaan mieluummin sallitaan yksitellen he, jotka saa tulla.
Huomattavasti helpompi tapa...

[mrl586]

Tuo mediapartneri myös esimerkiksi operan ilmaisversiossa, joten aina sivua ladatessa mediapartneri kurkkaa sinne myös.

Mitä Operan ilmaisversiota Lurttinen tarkoittaa? Sitä perinteiseeen tietokoneeseen laitettavaa vai jotain muuta Operaa?

[MariaV.]

Unohdinpa sitten tämän...
Foorumi on siis tuolla.

Tietysti, foorumin pitää tunnistaa botti botiksi, jotta se osaa sen blokata. Tuosta "whois" tekstistä päätelleen tuo botti ei ole foorumin bottilistassa.

...eli miten saan juuri tuon kyseisen botin lisättyä bottilistalle? Lisäsin estolistalle kaikki yleisimmät botit jotka löytyivät listalta, mutta yhä vaan ne keskustelut ovat ja pysyvät googlessa. Ehkä en sitten vaan osaa.

Jos sivuillasi on google-mainontaa, niin Google Adsensella tätyy olla lupa tulla.

Mainoksia on, niitä oli kuitenkin vanhassakin foorumissa mutta ongelma (=keskustelujen päätyminen googleen ja käyttäjien "muuttuminen" boteiksi) ilmeni vasta uuteen versioon siirtymisen jälkeen. Jos joku vielä keksisi missä kohtaa on mennyt vikaan, hyvä, muuten pitänee sitten vaan kokeilla tehdä tuo erillinen sallittujen käyttäjien ryhmä.

[Lurttinen]

Mainoksia on, niitä oli kuitenkin vanhassakin foorumissa mutta ongelma (=keskustelujen päätyminen googleen ja käyttäjien "muuttuminen" boteiksi) ilmeni vasta uuteen versioon siirtymisen jälkeen. Jos joku vielä keksisi missä kohtaa on mennyt vikaan, hyvä, muuten pitänee sitten vaan kokeilla tehdä tuo erillinen sallittujen käyttäjien ryhmä.

Ei ne käyttäjät boteiksi muutu. Mainostaja tulee vain samalla hetkellä foorumille. Koodissa on olemassa käsky, joka suoritetaan aina sivua ladattaessa. Botti tulee tämän käskyn mukaisesti nuuskimaan sisältöä.

Eipä tuossa taida olla muuta. Jos kerran Bottien luku on estetty ja ne silti lukee, createphpbb on rikki.
Ootko heidän omasta tuesta kysynyt miksi määritellyt oikeudet eivät toimi boteille?

[MariaV.]

Juu, tiedän etteivät käyttäjät varsinaisesti "muutu" boteiksi, mutta "näkyvät" sellaisina, en nyt osaa paremmin selittää.

Katsoin createphpbb:n tukipalstaa ja jollain näkyi olevan sama ongelma juurikin päivityksen jälkeen ja botteina näkyvät nimenomaan User ID:t #13 ja #16, kuten minullakin:
linkki 1
linkki 2

sekä pari linkkiä toiselle tukipalstalle
linkki 1
linkki 2

mutta eipä noille näköjään mitään mahda ainakaan ilmaisfoorumilla ("We will see what we can do about it."), ja hakukoneiden indeksointi on kuulemma vain hyvä asia. Mutta kun käyttäjät nimenomaan ovat toivoneet että viestejä ei pääse lukemaan ulkopuoliset eikä niitä löytäisi millään hakukoneilla. -__-

[Lurttinen]

Kuulostaa siltä, että on aika vaihtaa palveluntarjoajaa...

CreatephpBB on sitten vissiin tahalteen rikkonut tuon, kun kerran ei oikeudet pelaa kuten pitää ja indeksoiminen on vain hyvä?
Onhan se heille hyvä, koska heidän tavaraa löytyy hakukoneista ja sitä kautta saa myös mainokset enemmän näkyvyyttä.
(Lue: Näkyvyyttä / Mainostuloja)