检查百度最新收录在移动端与桌面端的差异,最直接的方法是分别用移动端和桌面端模拟抓取工具请求同一批URL,对比返回的HTML、状态码和可索引内容。如果两端的正文、链接或meta信息不同,百度可能只收录其中一版。时间和人手有限时,先查首页、栏目页和近期更新页,再查历史内容。
不要一上来就翻遍全站。先明确验收物:一份表格,列出URL、桌面端状态码、移动端状态码、两端正文是否一致、两端是否有noindex、两端内链数量。只有这份表填完,才能判断差异是技术屏蔽、内容不一致还是抓取失败。责任上,前端或运维负责取回两端HTML,SEO负责判定是否可索引,编辑负责补齐移动端缺失内容。
从百度搜索资源平台或服务器日志中取最近7天有抓取记录的URL,按更新频率排序。对每个URL分别用桌面User-Agent和移动User-Agent请求,保存返回内容。检查项包括:
<title>和<meta name="description">是否一致;移动端为空或模板默认值会降低被独立收录的可能。<meta name="robots" content="noindex">;只屏蔽一端会造成收录差异。假设某栏目页桌面端返回完整文章列表,移动端因懒加载只返回前三条。这属于可能原因之一:移动端可抓取内容少于桌面端。要确认是否已定位,需查看移动端原始HTML里是否真的缺少其余链接,而不是仅未渲染。
robots.txt 的抓取限制不等于可靠的索引移除。如果移动端robots.txt禁止抓取某目录,百度可能仍保留桌面端已收录的URL,但无法更新移动端内容。站点地图不保证收录,提交移动端站点地图后仍需用抓取对比验证。HTTPS不保证安全无漏洞或排名,两端协议不同时,先确认证书和跳转是否一致,再判断收录差异。
时间有限时,按以下顺序处理:
验收标准是:随机抽10个URL,两端正文主体和内链数量一致,状态码均为200,且没有单端noindex。若移动端使用单独域名,还需确认该域名可被抓取、可返回完整内容。
打开一份表格,填入最近有抓取记录的20个URL,分别用桌面和移动User-Agent请求,记录状态码、正文长度和内链数量。先处理两端状态码不同的URL,再处理正文长度差异超过20%的页面。