爬虫抓取与链接页面关联：nofollow 作用及元机器人标签的使用,南京关键词优化seo
栏目：网络推广 发布时间：2024-11-18
爬虫通常会爬行其已访问的页面内的链接页面。 有时，您可能希望阻止链接的网页与您的网站关联，或者不从当前页面对其进行爬网。在这种情况下，您可以将该值作为 r ... 爬虫抓取与链接页面关联：nofollow 作用及元机器人标签的使用
爬虫通常会爬行其已访问的页面内的链接页面。
有时，您可能希望阻止链接的网页与您的网站关联，或者不从当前页面对其进行爬网。在这种情况下，您可以将该值作为 rel 属性传递：
<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code class="hljs language-html" lang="html"><span class="hljs-tag"><<span class="hljs-name">a</span> <span class="hljs-attr">href</span>=<span class="hljs-string">"https://example.com"</span> <span class="hljs-attr">rel</span>=<span class="hljs-string">"nofollow"</span>></span>
</code></pre></p>
然而，谷歌宣布，从 2020 年开始，他们只是将此视为提示，而不是规则。因此，使用链接页面只会向暗示您不希望被抓取； 可能会也可能不会决定按照您的意愿行事。
如果您不希望爬虫程序跟踪您的任何链接，您可以在您的元机器人标签上使用一行来指示它们：
<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code class="hljs language-html" lang="html"><span class="hljs-tag"><<span class="hljs-name">meta</span> <span class="hljs-attr">name</span>=<span class="hljs-string">"robots"</span> <span class="hljs-attr">content</span>=<span class="hljs-string">"nofollow"</span>></span>
</code></pre></p>
结构化数据
您可能已经看到有时搜索结果页面如何以特殊格式显示结果。例如，如果您在 上搜索“意大利面食谱”，结果页面将显示特殊卡片，其中包含指向不同食谱页面的链接：
上的搜索结果卡示例
谷歌和大多数其他搜索引擎使用网页中提供的结构化数据来检索数据以显示此类特殊功能。
用于编写结构化数据的词汇表大多与 中定义的词汇表类似。但是，您应该查阅搜索引擎的文档以查看其接受的确切格式。如果您正在针对 进行优化，则可以使用 的丰富结果测试来测试和验证您的结构化数据。
现在，让我们看看如何使用网页上的结构化数据向 提供有关其内容的正确信息。
如果我们的网页是菜谱页面，您可以使用以下以 JSON-LD 格式编写的结构化数据来提供菜谱的名称、作者、评级和其他相关数据：
<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code class="hljs language-html" lang="html"><span class="hljs-tag"><<span class="hljs-name">html</span>></span>
<span class="hljs-tag"><<span class="hljs-name">head</span>></span>
<span class="hljs-tag"><<span class="hljs-name">title</span>></span>Italian Pasta Recipe<span class="hljs-tag"></<span class="hljs-name">title</span>></span>
<span class="hljs-tag"><<span class="hljs-name">script</span> <span class="hljs-attr">type</span>=<span class="hljs-string">"application/ld+json"</span>></span><span class="j*ascript">
{
<span class="hljs-string">"@context"</span>: <span class="hljs-string">"https://schema.org/"</span>,
<span class="hljs-string">"@type"</span>: <span class="hljs-string">"Recipe"</span>,
<span class="hljs-string">"name"</span>: <span class="hljs-string">"Italian Pasta Recipe"</span>,
<span class="hljs-string">"author"</span>: <span class="hljs-string">"Jane Smith"</span>,
有时，您可能希望阻止链接的网页与您的网站关联，或者不从当前页面对其进行爬网。在这种情况下，您可以将该值作为 rel 属性传递：
<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code class="hljs language-html" lang="html"><span class="hljs-tag"><<span class="hljs-name">a</span> <span class="hljs-attr">href</span>=<span class="hljs-string">"https://example.com"</span> <span class="hljs-attr">rel</span>=<span class="hljs-string">"nofollow"</span>></span>
</code></pre></p>
然而，谷歌宣布，从 2020 年开始，他们只是将此视为提示，而不是规则。因此，使用链接页面只会向暗示您不希望被抓取； 可能会也可能不会决定按照您的意愿行事。
如果您不希望爬虫程序跟踪您的任何链接，您可以在您的元机器人标签上使用一行来指示它们：
<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code class="hljs language-html" lang="html"><span class="hljs-tag"><<span class="hljs-name">meta</span> <span class="hljs-attr">name</span>=<span class="hljs-string">"robots"</span> <span class="hljs-attr">content</span>=<span class="hljs-string">"nofollow"</span>></span>
</code></pre></p>
结构化数据
您可能已经看到有时搜索结果页面如何以特殊格式显示结果。例如，如果您在 上搜索“意大利面食谱”，结果页面将显示特殊卡片，其中包含指向不同食谱页面的链接：
上的搜索结果卡示例
谷歌和大多数其他搜索引擎使用网页中提供的结构化数据来检索数据以显示此类特殊功能。
用于编写结构化数据的词汇表大多与 中定义的词汇表类似。但是，您应该查阅搜索引擎的文档以查看其接受的确切格式。如果您正在针对 进行优化，则可以使用 的丰富结果测试来测试和验证您的结构化数据。
现在，让我们看看如何使用网页上的结构化数据向 提供有关其内容的正确信息。
如果我们的网页是菜谱页面，您可以使用以下以 JSON-LD 格式编写的结构化数据来提供菜谱的名称、作者、评级和其他相关数据：
<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code class="hljs language-html" lang="html"><span class="hljs-tag"><<span class="hljs-name">html</span>></span>
<span class="hljs-tag"><<span class="hljs-name">head</span>></span>
<span class="hljs-tag"><<span class="hljs-name">title</span>></span>Italian Pasta Recipe<span class="hljs-tag"></<span class="hljs-name">title</span>></span>
<span class="hljs-tag"><<span class="hljs-name">script</span> <span class="hljs-attr">type</span>=<span class="hljs-string">"application/ld+json"</span>></span><span class="j*ascript">
{
<span class="hljs-string">"@context"</span>: <span class="hljs-string">"https://schema.org/"</span>,
<span class="hljs-string">"@type"</span>: <span class="hljs-string">"Recipe"</span>,
<span class="hljs-string">"name"</span>: <span class="hljs-string">"Italian Pasta Recipe"</span>,
<span class="hljs-string">"author"</span>: <span class="hljs-string">"Jane Smith"</span>,