\u05dc\u05d4\u05dc\u05df \u05de\u05d1\u05e0\u05d4 \u05e9\u05dc \u05e7\u05d5\u05d1\u05e5 Robots.txt \u05d3\u05d9 \u05e1\u05d8\u05e0\u05d3\u05e8\u05d8\u05d9, \u05d0\u05d5\u05ea\u05d5 \u05d9\u05e9 \u05dc\u05de\u05e7\u05dd \u05d1\u05e1\u05e4\u05e8\u05d9\u05d9\u05ea \u05d4\u05e9\u05d5\u05e8\u05e9 \u05e9\u05dc \u05d4\u05d3\u05d5\u05de\u05d9\u05d9\u05df, \u05e9\u05db\u05df \u05e9\u05dd \u05d9\u05e6\u05e4\u05d5 \u05d4\u05d1\u05d5\u05d8\u05d9\u05dd \u05dc\u05de\u05e6\u05d5\u05d0 \u05d0\u05d5\u05ea\u05d5:<\/p>\n
<\/p>\n
User-agent: *
\nDisallow: \/cgi-bin\/
\nDisallow: \/images\/
\nDisallow: \/group\/<\/p>\n
User-agent: msnbot
\nCrawl-delay: 10<\/p>\n
User-agent: Teoma
\nCrawl-delay: 10<\/p>\n
User-agent: Slurp
\nCrawl-delay: 10<\/p>\n
User-agent: aipbot
\nDisallow: \/<\/p>\n
User-agent: BecomeBot
\nDisallow: \/<\/p>\n
User-agent: psbot
\nDisallow: \/<\/p>\n
——–> End of robots.txt file<\/p>\n
<\/DIV><\/p>\n
MSNbot \u05d4\u05d5\u05d0, \u05db\u05e4\u05d9 \u05e9\u05e0\u05d9\u05ea\u05df \u05dc\u05e0\u05d7\u05e9, \u05d4\u05d1\u05d5\u05d8 \u05e9\u05dc MSN
\n Teoma \u05d4\u05d5\u05d0 \u05d6\u05d4 \u05e9\u05dc Ask \u05d5-Slurp \u05d4\u05d5\u05d0 \u05d6\u05d4 \u05e9\u05dc yahoo.
\n\u05db\u05e9\u05d0\u05e0\u05d5 \u05d0\u05d5\u05de\u05e8\u05d9\u05dd \u05dc\u05d1\u05d5\u05d8\u05d9\u05dd "Disallow: \/" \u05d0\u05e0\u05d5 \u05de\u05d5\u05e8\u05d9\u05dd \u05dc\u05d4\u05dd \u05e9\u05dc\u05d0 \u05dc\u05d4\u05d9\u05db\u05e0\u05e1 \u05dc\u05e1\u05e4\u05e8\u05d9\u05d5\u05ea \u05e1\u05e4\u05e6\u05d9\u05e4\u05d9\u05d5\u05ea \u05d0\u05d5 \u05d1\u05db\u05dc\u05dc \u05dc\u05d0\u05ea\u05e8.
\n\u05d4\u05e0\u05d7\u05d9\u05d9\u05ea "Crawl-delay: 10" \u05de\u05d9\u05d5\u05e2\u05d3\u05ea \u05dc\u05d1\u05d5\u05d8\u05d9\u05dd \u05e9\u05de\u05e2\u05db\u05d1\u05e9\u05d9\u05dd \u05d1\u05d0\u05ea\u05e8 \u05d1\u05de\u05d4\u05d9\u05e8\u05d5\u05ea \u05e8\u05d1\u05d4 \u05de\u05d3\u05d9 \u05d5\u05de\u05e9\u05ea\u05de\u05e9\u05d9\u05dd \u05d1\u05d9\u05d5\u05ea\u05e8 \u05de\u05d3\u05d9 \u05de\u05e9\u05d0\u05d1\u05d9 \u05de\u05e2\u05e8\u05db\u05ea, \u05db\u05e9\u05d4\u05dd \u05de\u05d8\u05e4\u05dc\u05d9\u05dd \u05d1\u05d7\u05de\u05d9\u05e9\u05d4 \u05e2\u05d3 \u05e9\u05d1\u05e2\u05d4 \u05d3\u05e4\u05d9\u05dd \u05d1\u05e9\u05e0\u05d9\u05d9\u05d4. \u05d4\u05d1\u05d5\u05d8 \u05e9\u05dc Google \u05e4\u05d5\u05e2\u05dc \u05dc\u05d0\u05d8 \u05d9\u05d5\u05ea\u05e8 \u05de\u05d0\u05d7\u05e8\u05d9\u05dd \u05d5\u05dc\u05d0 \u05d6\u05e7\u05d5\u05e7 \u05dc\u05d4\u05e0\u05d7\u05d9\u05d4 \u05d4\u05d6\u05d0\u05ea. \u05d4\u05e0\u05d7\u05d9\u05d4 \u05d6\u05d5 \u05d4\u05db\u05e8\u05d7\u05d9\u05ea \u05d1\u05e2\u05d9\u05e7\u05e8 \u05d1\u05d0\u05ea\u05e8\u05d9\u05dd \u05d2\u05d3\u05d5\u05dc\u05d9\u05dd \u05e2\u05dd \u05d0\u05dc\u05e4\u05d9 \u05d3\u05e4\u05d9\u05dd. \u05d4\u05de\u05e1\u05e4\u05e8 10 \u05de\u05e9\u05de\u05e2\u05d5\u05ea\u05d5 \u05d4\u05e4\u05d5\u05d2\u05d4 \u05e9\u05dc \u05e2\u05e9\u05e8 \u05e9\u05e0\u05d9\u05d5\u05ea \u05d1\u05d9\u05df \u05d8\u05d9\u05e4\u05d5\u05dc \u05d1\u05d3\u05e3 \u05d0\u05d7\u05d3 \u05dc\u05de\u05e9\u05e0\u05d4\u05d5.<\/p>\n
\u05e7\u05d5\u05d1\u05e5 \u05d4-Robots.txt \u05d7\u05e9\u05d5\u05d1 \u05dc\u05d0\u05d1\u05d8\u05d7\u05ea \u05d4\u05d0\u05ea\u05e8, \u05db\u05d3\u05d9 \u05e9\u05de\u05e0\u05d5\u05e2\u05d9 \u05d4\u05d7\u05d9\u05e4\u05d5\u05e9 \u05d9\u05ea\u05e8\u05d7\u05e7\u05d5 \u05de\u05d0\u05d5\u05ea\u05dd \u05d0\u05d9\u05d6\u05d5\u05e8\u05d9\u05dd \u05d1\u05d4\u05d9\u05e8\u05e8\u05db\u05d9\u05d9\u05ea \u05d4\u05d0\u05ea\u05e8 \u05e9\u05dc\u05d0 \u05d4\u05d9\u05d9\u05e0\u05d5 \u05e8\u05d5\u05e6\u05d9\u05dd \u05e9\u05d0\u05e4\u05e9\u05e8 \u05d9\u05d4\u05d9\u05d4 \u05dc\u05d0\u05ea\u05e8 \u05d0\u05d5\u05ea\u05dd \u05d1\u05de\u05e0\u05d5\u05e2\u05d9 \u05d4\u05d7\u05d9\u05e4\u05d5\u05e9. \u05d4\u05d1\u05d5\u05d8\u05d9\u05dd \u05e9\u05dc \u05de\u05e0\u05d5\u05e2\u05d9 \u05d4\u05d7\u05d9\u05e4\u05d5\u05e9 (\u05d5\u05d1\u05de\u05d9\u05d5\u05d7\u05d3 \u05e9\u05dc \u05e9\u05dc\u05d5\u05e9\u05ea \u05d4\u05d2\u05d3\u05d5\u05dc\u05d9\u05dd \u2013 Google, Yahoo \u05d5-MSN) \u05de\u05e2\u05d5\u05e0\u05d9\u05d9\u05e0\u05d9\u05dd \u05e9\u05e0\u05db\u05d5\u05d5\u05df \u05d0\u05d5\u05ea\u05dd \u05d5\u05e0\u05d9\u05ea\u05df \u05dc\u05d4\u05dd \u05d0\u05ea \u05d4\u05d4\u05e0\u05d7\u05d9\u05d5\u05ea \u05d4\u05de\u05ea\u05d0\u05d9\u05de\u05d5\u05ea \u05dc\u05e0\u05d5. \u05db\u05dc\u05d9 \u05d6\u05d4, Robots.txt , \u05de\u05d0\u05e4\u05e9\u05e8 \u05dc\u05e0\u05d5 \u05dc\u05e2\u05e9\u05d5\u05ea \u05d1\u05d3\u05d9\u05d5\u05e7 \u05d0\u05ea \u05d6\u05d4.<\/p>\n","protected":false},"excerpt":{"rendered":"
\u05d4\u05e7\u05d5\u05d1\u05e5 Robots.txt \u05d3\u05e8\u05d5\u05e9 \u05dc\u05d1\u05d5\u05d8\u05d9\u05dd \u05d4\u05de\u05e2\u05db\u05d1\u05e9\u05d9\u05dd (\u05de\u05dc\u05e9\u05d5\u05df '\u05e2\u05db\u05d1\u05d9\u05e9') \u05d0\u05ea \u05d4\u05d0\u05ea\u05e8 \u05e9\u05dc\u05e0\u05d5 \u05db\u05d3\u05d9 \u05dc\u05d3\u05e2\u05ea \u05de\u05d0\u05d9\u05d6\u05d4 \u05e7\u05d1\u05e6\u05d9\u05dd \u05d5\u05e1\u05e4\u05e8\u05d9\u05d5\u05ea \u05dc\u05d4\u05ea\u05e8\u05d7\u05e7 \u05d5\u05dc\u05d0 \u05dc\u05de\u05e4\u05d5\u05ea. \u05d9\u05e9 \u05d1\u05d5\u05d8\u05d9\u05dd \u05e9\u05dc\u05dc\u05d0 \u05e7\u05d5\u05d1\u05e5 \u05d4- Robots.txt \u05dc\u05d0 \u05d9\u05de\u05e4\u05ea\u05d7\u05d5 \u05db\u05dc\u05dc \u05d0\u05ea \u05d4\u05d0\u05ea\u05e8. \u05d0\u05d7\u05e8\u05d9\u05dd, \u05db\u05de\u05d5 Google \u05d0\u05d5 yahoo, \u05d9\u05de\u05e4\u05ea\u05d7\u05d5 \u05d0\u05d5\u05ea\u05d5 \u05d2\u05dd \u05dc\u05dc\u05d0 \u05d4-Robots.txt , \u05d0\u05da \u05d1\u05de\u05e7\u05e8\u05d4 \u05db\u05d6\u05d4 \u05d4\u05dd \u05dc\u05d0 \u05d9\u05d9\u05d3\u05e2\u05d5 \u05de\u05d0\u05d9\u05d6\u05d4 \u05e7\u05d1\u05e6\u05d9\u05dd \u05d0\u05d5 \u05e1\u05e4\u05e8\u05d9\u05d5\u05ea \u05dc\u05d4\u05ea\u05e2\u05dc\u05dd. \u05e0\u05d1\u05d9\u05d0 \u05db\u05d0\u05df \u05de\u05d1\u05d5\u05d0 \u05dc\u05d9\u05e1\u05d5\u05d3\u05d5\u05ea Robots.txt . \u05dc\u05de\u05d9\u05d3\u05e2 \u05e0\u05e8\u05d7\u05d1 \u05d9\u05d5\u05ea\u05e8, \u05de\u05d5\u05de\u05dc\u05e5 \u05dc\u05d1\u05e7\u05e8 \u05d1-robotstxt.org. \u05dc\u05d4\u05dc\u05df \u05de\u05d1\u05e0\u05d4 \u05e9\u05dc \u05e7\u05d5\u05d1\u05e5 Robots.txt \u05d3\u05d9 \u05e1\u05d8\u05e0\u05d3\u05e8\u05d8\u05d9, \u05d0\u05d5\u05ea\u05d5 \u05d9\u05e9 \u05dc\u05de\u05e7\u05dd \u05d1\u05e1\u05e4\u05e8\u05d9\u05d9\u05ea \u05d4\u05e9\u05d5\u05e8\u05e9 \u05e9\u05dc \u05d4\u05d3\u05d5\u05de\u05d9\u05d9\u05df, \u05e9\u05db\u05df \u05e9\u05dd \u05d9\u05e6\u05e4\u05d5 \u05d4\u05d1\u05d5\u05d8\u05d9\u05dd \u05dc\u05de\u05e6\u05d5\u05d0 \u05d0\u05d5\u05ea\u05d5: User-agent: * Disallow: \/cgi-bin\/ Disallow: \/images\/ Disallow: \/group\/ User-agent: msnbot Crawl-delay: 10 User-agent: Teoma Crawl-delay: 10 User-agent: Slurp Crawl-delay: 10 User-agent: aipbot Disallow: \/ User-agent: BecomeBot Disallow: \/ User-agent: psbot Disallow: \/ ——–> End of robots.txt file MSNbot \u05d4\u05d5\u05d0, \u05db\u05e4\u05d9 \u05e9\u05e0\u05d9\u05ea\u05df \u05dc\u05e0\u05d7\u05e9, \u05d4\u05d1\u05d5\u05d8 \u05e9\u05dc MSN Teoma \u05d4\u05d5\u05d0 \u05d6\u05d4 \u05e9\u05dc Ask \u05d5-Slurp \u05d4\u05d5\u05d0 \u05d6\u05d4 \u05e9\u05dc yahoo. \u05db\u05e9\u05d0\u05e0\u05d5 \u05d0\u05d5\u05de\u05e8\u05d9\u05dd \u05dc\u05d1\u05d5\u05d8\u05d9\u05dd "Disallow: \/" \u05d0\u05e0\u05d5 \u05de\u05d5\u05e8\u05d9\u05dd \u05dc\u05d4\u05dd \u05e9\u05dc\u05d0 \u05dc\u05d4\u05d9\u05db\u05e0\u05e1 \u05dc\u05e1\u05e4\u05e8\u05d9\u05d5\u05ea \u05e1\u05e4\u05e6\u05d9\u05e4\u05d9\u05d5\u05ea \u05d0\u05d5 \u05d1\u05db\u05dc\u05dc \u05dc\u05d0\u05ea\u05e8. \u05d4\u05e0\u05d7\u05d9\u05d9\u05ea "Crawl-delay: 10" \u05de\u05d9\u05d5\u05e2\u05d3\u05ea \u05dc\u05d1\u05d5\u05d8\u05d9\u05dd \u05e9\u05de\u05e2\u05db\u05d1\u05e9\u05d9\u05dd \u05d1\u05d0\u05ea\u05e8 \u05d1\u05de\u05d4\u05d9\u05e8\u05d5\u05ea \u05e8\u05d1\u05d4 \u05de\u05d3\u05d9 \u05d5\u05de\u05e9\u05ea\u05de\u05e9\u05d9\u05dd \u05d1\u05d9\u05d5\u05ea\u05e8 \u05de\u05d3\u05d9 \u05de\u05e9\u05d0\u05d1\u05d9 \u05de\u05e2\u05e8\u05db\u05ea, \u05db\u05e9\u05d4\u05dd \u05de\u05d8\u05e4\u05dc\u05d9\u05dd \u05d1\u05d7\u05de\u05d9\u05e9\u05d4 \u05e2\u05d3 \u05e9\u05d1\u05e2\u05d4 \u05d3\u05e4\u05d9\u05dd \u05d1\u05e9\u05e0\u05d9\u05d9\u05d4. \u05d4\u05d1\u05d5\u05d8 \u05e9\u05dc Google \u05e4\u05d5\u05e2\u05dc \u05dc\u05d0\u05d8 \u05d9\u05d5\u05ea\u05e8 \u05de\u05d0\u05d7\u05e8\u05d9\u05dd \u05d5\u05dc\u05d0 \u05d6\u05e7\u05d5\u05e7 \u05dc\u05d4\u05e0\u05d7\u05d9\u05d4 \u05d4\u05d6\u05d0\u05ea. \u05d4\u05e0\u05d7\u05d9\u05d4 \u05d6\u05d5 \u05d4\u05db\u05e8\u05d7\u05d9\u05ea \u05d1\u05e2\u05d9\u05e7\u05e8 \u05d1\u05d0\u05ea\u05e8\u05d9\u05dd \u05d2\u05d3\u05d5\u05dc\u05d9\u05dd \u05e2\u05dd \u05d0\u05dc\u05e4\u05d9 \u05d3\u05e4\u05d9\u05dd. \u05d4\u05de\u05e1\u05e4\u05e8 10 \u05de\u05e9\u05de\u05e2\u05d5\u05ea\u05d5 \u05d4\u05e4\u05d5\u05d2\u05d4 \u05e9\u05dc \u05e2\u05e9\u05e8 \u05e9\u05e0\u05d9\u05d5\u05ea \u05d1\u05d9\u05df \u05d8\u05d9\u05e4\u05d5\u05dc \u05d1\u05d3\u05e3 \u05d0\u05d7\u05d3 \u05dc\u05de\u05e9\u05e0\u05d4\u05d5. \u05e7\u05d5\u05d1\u05e5 \u05d4-Robots.txt \u05d7\u05e9\u05d5\u05d1 \u05dc\u05d0\u05d1\u05d8\u05d7\u05ea \u05d4\u05d0\u05ea\u05e8, \u05db\u05d3\u05d9 \u05e9\u05de\u05e0\u05d5\u05e2\u05d9 \u05d4\u05d7\u05d9\u05e4\u05d5\u05e9 \u05d9\u05ea\u05e8\u05d7\u05e7\u05d5 \u05de\u05d0\u05d5\u05ea\u05dd \u05d0\u05d9\u05d6\u05d5\u05e8\u05d9\u05dd \u05d1\u05d4\u05d9\u05e8\u05e8\u05db\u05d9\u05d9\u05ea \u05d4\u05d0\u05ea\u05e8 \u05e9\u05dc\u05d0 \u05d4\u05d9\u05d9\u05e0\u05d5 \u05e8\u05d5\u05e6\u05d9\u05dd \u05e9\u05d0\u05e4\u05e9\u05e8 \u05d9\u05d4\u05d9\u05d4 \u05dc\u05d0\u05ea\u05e8 \u05d0\u05d5\u05ea\u05dd \u05d1\u05de\u05e0\u05d5\u05e2\u05d9 \u05d4\u05d7\u05d9\u05e4\u05d5\u05e9. \u05d4\u05d1\u05d5\u05d8\u05d9\u05dd \u05e9\u05dc \u05de\u05e0\u05d5\u05e2\u05d9 \u05d4\u05d7\u05d9\u05e4\u05d5\u05e9 (\u05d5\u05d1\u05de\u05d9\u05d5\u05d7\u05d3 \u05e9\u05dc \u05e9\u05dc\u05d5\u05e9\u05ea \u05d4\u05d2\u05d3\u05d5\u05dc\u05d9\u05dd \u2013 Google, Yahoo \u05d5-MSN) \u05de\u05e2\u05d5\u05e0\u05d9\u05d9\u05e0\u05d9\u05dd \u05e9\u05e0\u05db\u05d5\u05d5\u05df \u05d0\u05d5\u05ea\u05dd \u05d5\u05e0\u05d9\u05ea\u05df \u05dc\u05d4\u05dd \u05d0\u05ea \u05d4\u05d4\u05e0\u05d7\u05d9\u05d5\u05ea \u05d4\u05de\u05ea\u05d0\u05d9\u05de\u05d5\u05ea \u05dc\u05e0\u05d5. \u05db\u05dc\u05d9 \u05d6\u05d4, Robots.txt , \u05de\u05d0\u05e4\u05e9\u05e8 \u05dc\u05e0\u05d5 \u05dc\u05e2\u05e9\u05d5\u05ea \u05d1\u05d3\u05d9\u05d5\u05e7 \u05d0\u05ea \u05d6\u05d4.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[8,11],"tags":[],"class_list":["post-70","post","type-post","status-publish","format-standard","hentry","category-8","category-11"],"_links":{"self":[{"href":"https:\/\/blog.gur.co.il\/index.php?rest_route=\/wp\/v2\/posts\/70","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.gur.co.il\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.gur.co.il\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.gur.co.il\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.gur.co.il\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=70"}],"version-history":[{"count":0,"href":"https:\/\/blog.gur.co.il\/index.php?rest_route=\/wp\/v2\/posts\/70\/revisions"}],"wp:attachment":[{"href":"https:\/\/blog.gur.co.il\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=70"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.gur.co.il\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=70"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.gur.co.il\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=70"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}