NOVINKA: Kurz Práca s umelou inteligenciou teraz už od 0 €. Staň sa žiadaným profesionálom. Zisti viac:
NOVINKA: Kurz kybernetickej bezpečnosti teraz už od 0 €. Staň sa žiadaným profesionálom. Zisti viac:

Diskusia: Co se stane když můj robot stáhne web zakázaný souborem robots.txt

Aktivity
Avatar
Neaktivní uživatel
Člen
Avatar
Neaktivní uživatel:9.6.2018 21:52

Mám robota na stahování webů ale neumí pracovat s robots.txt. Může se mně stát něco vážného když robot stáhne web zakázaný souborem robots.txt? Není to nelegální?

Odpovedať
9.6.2018 21:52
Neaktivní uživatelský účet
Avatar
Jindřich Máca
Tvůrce
Avatar
Odpovedá na Neaktivní uživatel
Jindřich Máca:9.6.2018 22:01

Vyloženě nelegální to není, spíše je to otázka etiky. Když si nějaká stránka prostě nepřeje být procházená a indexovaná roboty, tak by jsi to neměl dělat. Co se Ti může stát nejhoršího, tak asi pokud tu stránku budeš zbytečně vytěžovat svým robotem, tak Tě zablokují. Standardně na úrovni blokace IP adresy, případně Tě hodí na nějaký globální blacklist, podle kterého Tě pak bude blokovat větší množství stránek.

Akceptované riešenie
+20 Skúseností
+2,50 kreditov
Riešenie problému
 
Hore Odpovedať
9.6.2018 22:01
Avatar
Jindřich Máca
Tvůrce
Avatar
Odpovedá na Neaktivní uživatel
Jindřich Máca:9.6.2018 22:06

Jinak řečeno, pokud Tvůj robot neumí pracovat s robots.txt, měl by jsi ho to rychle naučit. :-`

Editované
 
Hore Odpovedať
9.6.2018 22:06
Avatar
Peter Mlich
Člen
Avatar
Peter Mlich:15.6.2018 13:32

Pokud neco chces zablokovat, tak to udelas pres htaccess. Robots.txt vetsinou slouzi jen pro webove prohlizece.

 
Hore Odpovedať
15.6.2018 13:32
Robíme čo je v našich silách, aby bola tunajšia diskusia čo najkvalitnejšia. Preto do nej tiež môžu prispievať len registrovaní členovia. Pre zapojenie sa do diskusie sa zaloguj. Ak ešte nemáš účet, zaregistruj sa, je to zadarmo.

Zobrazené 4 správy z 4.