Googleboteista

Tämä alue on tarkoitettu heille, jotka käyttävät jotain useista erilaisista kolmannen osapuolen tarjoamista foorumipalveluista.
MariaV.
Aloittelija
Aloittelija
Viestit:3
Liittynyt:19 Loka 2008, 13:36
Googleboteista

Viesti Kirjoittaja MariaV. » 19 Loka 2008, 15:03

Foorumini siirtyi elokuun alussa kolmosversioon, ja pian sen jälkeen huomasin kaikkien keskustelujen löytyvän Googlesta, vaikka olen estänyt bottien pääsyn kaikille alueille, ja suurin osa alueista ei edes näy muille kuin kirjautuneille jäsenille. Keskustelut ovat foorumin jäsenten toivomuksesta näkyneet vain rekisteröityneille käyttäjille, sillä foorumilla keskustellaan melko arkaluontoisista asioista. Myös vierailijoilta olen estänyt pääsyn muualle kuin foorumin info-osioon, silti piilotetuillakin alueilla näkyy nyt vierailijoita.

Sitten huomasin erään käyttäjän tiedoissa (katsottuani paikallaolijoita) lukevan:
IP: crawl-66-249-70-120.googlebot.com » Whois
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)


ja toisella
IP: crawl-66-249-70-120.googlebot.com » Whois
Mediapartners-Google


Kummallakin on siis sama IP-osoite, ja molemmat näkyvät olevan sisäänkirjautuneina lähes koko ajan, ja ilmestyvän sisään heti kun joku käyttäjä kirjoittaa jotain, tai vain kirjautuu sisään. Kumpikin on kuitenkin aikanaan rekisteröitynyt ihan normaalisti, toinen on jopa kirjoittanut viestejä, mutta nyt siis näyttää kuin nämä kaksi olisivat yhtäkkiä "muuttuneet" Googlen boteiksi. :? Lieneekö tällä tekemistä sen kanssa että keskustelut ovat päätyneet Googleen? Voiko asialle tehdä mitään?

Avatar
Peetra
phpBB Bitch
phpBB Bitch
Viestit:1169
Liittynyt:04 Kesä 2007, 16:45
Paikkakunta:Kokkola
Viesti:

Re: Googleboteista

Viesti Kirjoittaja Peetra » 19 Loka 2008, 16:50

Foorumisi urli? Tai niinQ vähiten se tieto missä se on tehty.

Jos olet estänyt botit kategorioista, ja ne tulee silti, niin jokin upgradessa on voinut mennä mönkään. Tai Multifoorumin Ylläpito on estänyt adminejä kieltämästä botteja. Jos sivuillasi on google-mainontaa, niin Google Adsensella tätyy olla lupa tulla.
muista backuppi!
hyvä copy/paste monen kannan dumpille: http://www.patrickpatoray.com/?Page=30 // ei tartte omaa ohjelmistoa.
hyvä ison kannan dumpeille http://www.mysqldumper.net/ //Selkeä käyttöliittymä! Asentuu palvelimelle kuin itsestään. :ugeek:

Avatar
Lurttinen
phpBB nub
phpBB nub
Viestit:4787
Liittynyt:13 Marras 2005, 18:41
Paikkakunta:Tampere
Viesti:

Re: Googleboteista

Viesti Kirjoittaja Lurttinen » 19 Loka 2008, 17:49

Tuo mediapartneri on adsensen botti.
Jos sivulla on adsensen mainoksia, niin todennäköisesti palveluntarjoaja ei anna sun estää sitä tulemasta.
Tuo mediapartneri myös esimerkiksi operan ilmaisversiossa, joten aina sivua ladatessa mediapartneri kurkkaa sinne myös.

Googlella on muitakin työpöytä työkaluja, joilla se kurkkii mitä sää teet.

Tietysti, foorumin pitää tunnistaa botti botiksi, jotta se osaa sen blokata. Tuosta "whois" tekstistä päätelleen tuo botti ei ole foorumin bottilistassa. ;)
Botteja voi estää siis vain, jos foorumi tunnistaa botin. Jos se ei tunnista, se on kuin kuka tahansa rekisteröimätön käyttäjä ja näkee foorumin sen mukaisesti.
Google ei ole myöskään ainoa hakukone, vaikka kieltämättä yksi suosituimmista. Jos blokkaat googlen, ootko blokannut MSN ja yahoon?

Parempi keino tavaran piilottamiseksi hakukoneilta on luoda käyttäjäryhmä ja sallia sille ryhmälle pääsy alueelle. Kukaan muu ei näe sitä aluetta, kuin se tietty ryhmä.

Toisinsanottuna, ei blokata niitä yksitellen, jotka sinne ei saa tulla, vaan mieluummin sallitaan yksitellen he, jotka saa tulla. :)
Huomattavasti helpompi tapa...

mrl586
Aktiivinen jäsen
Aktiivinen jäsen
Viestit:2879
Liittynyt:31 Maalis 2006, 17:59
Paikkakunta:Tampere
Viesti:

Re: Googleboteista

Viesti Kirjoittaja mrl586 » 19 Loka 2008, 19:22

Lurttinen kirjoitti:Tuo mediapartneri myös esimerkiksi operan ilmaisversiossa, joten aina sivua ladatessa mediapartneri kurkkaa sinne myös.
Mitä Operan ilmaisversiota Lurttinen tarkoittaa? Sitä perinteiseeen tietokoneeseen laitettavaa vai jotain muuta Operaa?

MariaV.
Aloittelija
Aloittelija
Viestit:3
Liittynyt:19 Loka 2008, 13:36

Re: Googleboteista

Viesti Kirjoittaja MariaV. » 14 Maalis 2009, 15:34

Unohdinpa sitten tämän...
Foorumi on siis tuolla.
Tietysti, foorumin pitää tunnistaa botti botiksi, jotta se osaa sen blokata. Tuosta "whois" tekstistä päätelleen tuo botti ei ole foorumin bottilistassa.
...eli miten saan juuri tuon kyseisen botin lisättyä bottilistalle? Lisäsin estolistalle kaikki yleisimmät botit jotka löytyivät listalta, mutta yhä vaan ne keskustelut ovat ja pysyvät googlessa. Ehkä en sitten vaan osaa. :|:
Jos sivuillasi on google-mainontaa, niin Google Adsensella tätyy olla lupa tulla.
Mainoksia on, niitä oli kuitenkin vanhassakin foorumissa mutta ongelma (=keskustelujen päätyminen googleen ja käyttäjien "muuttuminen" boteiksi) ilmeni vasta uuteen versioon siirtymisen jälkeen. Jos joku vielä keksisi missä kohtaa on mennyt vikaan, hyvä, muuten pitänee sitten vaan kokeilla tehdä tuo erillinen sallittujen käyttäjien ryhmä.

Avatar
Lurttinen
phpBB nub
phpBB nub
Viestit:4787
Liittynyt:13 Marras 2005, 18:41
Paikkakunta:Tampere
Viesti:

Re: Googleboteista

Viesti Kirjoittaja Lurttinen » 14 Maalis 2009, 16:31

MariaV. kirjoitti: Mainoksia on, niitä oli kuitenkin vanhassakin foorumissa mutta ongelma (=keskustelujen päätyminen googleen ja käyttäjien "muuttuminen" boteiksi) ilmeni vasta uuteen versioon siirtymisen jälkeen. Jos joku vielä keksisi missä kohtaa on mennyt vikaan, hyvä, muuten pitänee sitten vaan kokeilla tehdä tuo erillinen sallittujen käyttäjien ryhmä.
Ei ne käyttäjät boteiksi muutu. Mainostaja tulee vain samalla hetkellä foorumille. Koodissa on olemassa käsky, joka suoritetaan aina sivua ladattaessa. Botti tulee tämän käskyn mukaisesti nuuskimaan sisältöä.

Eipä tuossa taida olla muuta. Jos kerran Bottien luku on estetty ja ne silti lukee, createphpbb on rikki.
Ootko heidän omasta tuesta kysynyt miksi määritellyt oikeudet eivät toimi boteille?

MariaV.
Aloittelija
Aloittelija
Viestit:3
Liittynyt:19 Loka 2008, 13:36

Re: Googleboteista

Viesti Kirjoittaja MariaV. » 14 Maalis 2009, 17:53

Juu, tiedän etteivät käyttäjät varsinaisesti "muutu" boteiksi, mutta "näkyvät" sellaisina, en nyt osaa paremmin selittää.

Katsoin createphpbb:n tukipalstaa ja jollain näkyi olevan sama ongelma juurikin päivityksen jälkeen ja botteina näkyvät nimenomaan User ID:t #13 ja #16, kuten minullakin:
linkki 1
linkki 2

sekä pari linkkiä toiselle tukipalstalle
linkki 1
linkki 2

mutta eipä noille näköjään mitään mahda ainakaan ilmaisfoorumilla ("We will see what we can do about it."), ja hakukoneiden indeksointi on kuulemma vain hyvä asia. Mutta kun käyttäjät nimenomaan ovat toivoneet että viestejä ei pääse lukemaan ulkopuoliset eikä niitä löytäisi millään hakukoneilla. -__-

Avatar
Lurttinen
phpBB nub
phpBB nub
Viestit:4787
Liittynyt:13 Marras 2005, 18:41
Paikkakunta:Tampere
Viesti:

Re: Googleboteista

Viesti Kirjoittaja Lurttinen » 14 Maalis 2009, 19:29

Kuulostaa siltä, että on aika vaihtaa palveluntarjoajaa...

CreatephpBB on sitten vissiin tahalteen rikkonut tuon, kun kerran ei oikeudet pelaa kuten pitää ja indeksoiminen on vain hyvä?
Onhan se heille hyvä, koska heidän tavaraa löytyy hakukoneista ja sitä kautta saa myös mainokset enemmän näkyvyyttä. :)
(Lue: Näkyvyyttä / Mainostuloja)

Vastaa Viestiin

Paikallaolijat

Käyttäjiä lukemassa tätä aluetta: Ei rekisteröityneitä käyttäjiä ja 69 vierailijaa