Citat:
shoba: Yahoo roboti mogu obilaziti sajtove koji su vec u direktorijumu.
Citat:
shoba: Valjda koristi dmoz kao referencu (na dmoz uvek prvo prijavim sajt koji napravim).
Ne, nista od toga :)
Yahoo za crawl koristi
Slurp od Inktomi-ja, a kad pretrazujes u Yahoo on ti u rezultatima mixuje spider i svoj direktorijum, pa zato na nekim rezultatima vidis " Category: bla > bla", a ne nekim ne...
Citat:
a ovaj sam juce uplovadovao i sinoc prijavio i google-ov robot ga je posetio posle nekih dva sata :) mada ga jos nema na google-u.
http://freedesign.freefronthost.com
i da li je takav slucaj i sa ostalim pretrazivacima yahoo etc.
Ne pojavljuje se u indexu cim ga crawluje, moras sacekati da update-uje index (sto je maltene svakodnevno).
Za ostale (ceste) botove - msnbot, askjeevis, inktomi, alexa.. nema neke razlike. I oni ce vrlo brzo, nekad se cak desi da prvo yahoo pokupi sajt, pa onda gugl :)
Jeff, one day you’ll understand that it’s harder to be kind than clever.