بودجه خزش چیست

بودجه خزش و یا اصطلاحا Crawl Budget به مفهوم این است که خزنده های موتور جستجوی گوگل یک زمان زمان مبثوتی را به شما اختصاص می دهند تا صفحات مختلف وب سایت شما را شناسایی و مورد بررسی قرار دهند.

یکی از دغدغه بسیار مهم اکثر سئوکاران و افرادی که قصد دارند وب سایت خود را برای موتور های جستجو سئو و بهینه سازی نمایند این است که صفحات آن ها پس از ساخت و ایجاد ساختار سئو، هر چه سریعتر ایندکس شود و کلمات کلیدی آن ها در صفحات اول گوگل بالا بیاید.

اما گاهی اوقات پس از گذشت یک زمان طولانی این صفحات اصلا توسط خزنده های گوگل شناسایی نمی شود، (مانند این که این صفحات اصلا از اول ساخته نشده و وجود ندارند).

در این جا آشنایی با مفهوم بودجه خزش می تواند به شما کمک کند تا صفحات وب سایت خود را سریعتر مهیا نمایید تا توسط خزنه های گوگل مورد بررسی قرار گیرند.

بودجه خزش (Crawl Budget)

در بخش قبلی مفهوم کلی بودجه خزش را به شما معرفی کردیم، و گفته شد که Crawl Budget به این معنی است که خزنده ها و یا ربات های موتور های جستجو در زمان های مشخصی شروع به خزیدن در صفحات وب سایت شما و شناسایی این صفحات می کنند، و پس از بررسی های انجام شده توسط ربات های گوگل اگر صفحات وب سایت شما از نظر سئو داخلی دارای استاندارد های لازم باشند، و همچنین وب سایت شما از نظر سئو تکنیکال و موارد فنی که بسیار مورد توجه گوگل است مانند وضعیت سرعت وب سایت، و سئو خارجی دارای استاندارد های گوگل باشد، در این صورت صفحات وب سایت شما شانس حضور در صفحه اول گوگل را دارند.

برای این که مفهوم Crawl Budget بهتر برای شما مشخص شود اجازه دهید در این بخش یک مثال کاربردی را برای شما بزنیم.

فرض کنید که شما یک خانه را برای خودتان ساخته اید، بعد اتمام فرآیند ساخت حالا می خواهید دکوراسیون منزل خود را مهیا نمایید.

حالا فرض کنید که چند شب دیگر هم قرار است برای شما مهمان بیاید، در زمان ایجاد دکوراسیون داخلی برای منزل مکان هایی مانند پذیرایی، آشپزخانه، سرویس بهداشتی، و اتاق خاب ها که در دسترس و در معرض دید مهمان ها قرار دارد بسیار مورد توجه شما می باشد.

و این مکان ها را با دقت و ظرافت خاصی طراحی می کنید، اما مکان های دیگر مانند انباری، بالکن، حیاط پشتی، و غیره که زیاد در معرض دید مهمان ها قرار ندارد، ممکن است شما چندان توجهی به بحث دکوراسیون و چیدمان آن جا نداشته باشید.

با توجه به مثال ذکر شده مهمان های شما نقش خزنده های موتور جستجو را دارند، و منزل شما هم حکم وب سایت شما را دارد، پس شما برای بهتر دیده شدن منزل خود تمرکز زیادی را بر روی دکوراسیون بخش های مهم منزلتان قرار داده اید.

مفهوم بودجه خزش هم دقیقا همین است، یعنی ما باید صفحات مهم وب سایت خود را، یعنی صفحاتی که یا ارزش سئویی بالا برای ما دارند، و یا صفحاتی که ارزش فروش و درآمدزایی برای ما دارند را در دسترس خزنده های موتور های جستجو قرار دهیم، که به درستی در سایت با خزش داشته باشند، و بودجه خزش یا Crawl Budget در زمان های مشخص در صفحات وب سایت ما به درستی انجام شود و صفحات مهم ما سریعتر توسط ایت خزنده ها ایندکس و یا شناسایی شوند.

برای این منظور هم ما می توانیم صفحات غیر ضروری خود را نوایندکس نماییم.

نکته » صفحات غیر ضروری صفحاتی هستند که نه ارزش سئویی برای ما دارند، و نه این صفحات برای فروش محصول و یا خدمات خاصی در وب سایت ما ساخته شده اند، صفحاتی مانند صفحه درباره ما، صفحه قوانین و مقررات، صفحه سبد خرید، صفحه پرداخت، برخی از صفحات دسته بندی نوشته ها و محصولات که ارزش سئویی ندارند می توانند نوایندکس شوند، تا خزنده های موتور های جستجو در زمان خزیدن در صفحات وب سایت ما تمرکز خود را بر روی صفحات ارزشمند و مهم وب سایت ما قرار دهند.

فیلم آموزش بودجه خزش (Crawl Budget) در سرچ کنسول

توجه »  برای آشنایی با ابزار گوگل سرچ کنسول پیشنهاد می کنیم که مقاله آموزشی گوگل سرچ کنسول چیست را مطالعه نمایید.

و پس از آشنایی کامل با این ابزار جهت یادگیری بخش های مختلف آن می توانید فیلم آموزش Search console را مشاهده نمایید.

روش های بهبود بودجه خزش

برای این که شما بتوانید Crawl Budget را در صفحات وب سایت خود بهینه نمایید، باید به یکسری نکات مهم و ضروری توجه داشته باشید.

یکی از این نکات ضروری در بخش قبل به آن اشاره شد که شما باید صفحات غیر ضروری خود که ارزش سئویی و یا درآمدزایی برای شما ندارند را نوایندکس نمایید.

در بخش زیر هم چند نمونه دیگر از موارد مهمی که موجب بهبود Crawl Budget در وب سایت شما می شود را ذکر کرده ایم.

• عدم استفاده از محتوای تکراری
• محتوای با کیفیت و ساختارمند
• برطرف کردن لینک های شکسته در وب سایت (نکته » برای رفع لینک های شکسته و مخرب مقاله آموزش Disavow کردن بک لینک را مطالعه نمایید.)
• استفاده درست از انواع ریدایرکت ها در صفحات وب سایت
• برطرف کردن URL های اشتباه در سایت مپ
• بهینه سازی سرعت وب سایت
• استفاده از لینک سازی داخلی به صورت درست
• استفاده از لینک سازی خارجی هدفمند در وب سایت
• بک لینک سازی درست و اصولی برای صفحات وب سایت
• قرار نداشتن پارامترهای فیلتر محصولات در URL
• افزایش اعتبار دامین اوتوریتی و پیج اوتوریتی
• از بین بردن صفحات یتیم و یا Orphan Pages در وب سایت
• کمک گرفتن از فایل robot.txt برای مسیر دهی درست به خزنده های گوگل

توجه » برای بهبود کیفیت محتوا، و ارتقای سئو محتوا و تصاویر در سایت های وردپرسی می توانید از افزونه یواست کمک بگیرید، در مقاله آموزش افزونه Yoast SEO با ارائه فیلم آموزشی نحوه نصب و تنظیمات این افزونه کاربردی توضیح داده شده است.

عدم استفاده از محتوای تکراری برای بهبود بودجه خزش

استفاده از محتوای تکراری و یا Duplicate content مانند یک قاتل خاموش است که به مرور زمان یک وب سایت را نابود خواهد کرد.

اگر می خواهید بدانید که محتوای تکراری چگونه یک وب سایت را نابود می کند، پیشنهاد می کنیم که مقاله آموزشی الگوریتم های گوگل را مطالعه نمایید، که در این مقاله آموزشی انواع الگوریتم هایی که موتور جستجوی گوگل از آن ها استفاده می کند به شما معرفی شده است.

با آشنایی بیشتر با این الگوریتم ها به خصوص الگوریتم های هوش مصنوعی گوگل در می یابید که گوگل چه اهمیت زیادی را بر روی وحتوای وب سایت قرار داده است، و اصلا این جمله معروف را که اکثر سئوکاران از آن استفاده می کنند، <<محتوا خوب در وب سایت حکم پادشاه را دارد>> را بهتر درک می کنید.

در زمان Crawl Budget در وب سایت شما در صورتی که خرنده های گوگل با محتوای تکراری و کپی شده در سایر وب سایت ها برخورد کنند، صفحه شما از سوی خزنده های گوگل نمره منفی دریافت خواهد کرد، و آن صفحه شانسی برای ایندکس شدن، سئو و بالا آمدن در گوگل را ندارد.

برای مطالعه » توضیحات متا چیست و چه تاثیر بر روی سئو دارد؟

استفاده از محتوای با کیفیت و ساختارمند برای بهبود بودجه خزش

یکی از کار های مهم شما برای مدیریت درست و اصولی یک وب سایت، تولید محتوای ساختارمند مطابق با قواعد گوکل است.

تولید محتوا در وب سایت می تواند شامل تولید محتوای متنی و یا تولید محتوای تصویری باشد، که اگر یک سئوکار این ساختار را در وب سایت خود به درستی رعایت نماید و بتواند نیاز مخاطب را برطرف کند، قطعا یک قدم مهم و محکم را در زمینه سئو و بهینه سازی صفحات وب سایت خود برداشته است.

برای این که شما در زمینه تولید محتوا خود را ارتقا دهید پیشنهاد می کنیم که میزان مطالعه خود را بالا ببرید، و سعی کنید که نیاز های مخاطب هدف خود را به خوبی شناسایی نمایید، که این موضوع در ارائه محتوای کاربرپسند بسیار می تواند به شما کمک نماید.

برطرف کردن لینک های شکسته در وب سایت برای بهبود بوجه خزش

مورد دیگر که تاثیر بسیار منفی در ایندکس نشدن صفحات دارد لینک های شکسته و یا Broken links در وب سایت می باشد.

برای جلوگیری از این موضوع بهتر است که در زمان لینک دهی به صفحات مختلف دقت نمایید که این فرآیند به درستی در وب سایت شما انجام می شود.

و اگر صفحاتی در وب سایت دارای لینک های شکسته هستند بعد از شناسایی باید سریعا برطرف شده، و آن صفحات مجددا به کمک ابزار سرچ کنسول به گوگل معرفی شود.

استفاده درست از انواع ریدایرکت ها برای بهبود بوجه خزش در وب سایت

در درجه اول شما باید از ایجاد صفحات تکراری و مشابه در وب سایت جلوگیری نمایید، به هر حال می دانید که وجود یک یا چند صفحه مشابه در وب سایت ارزش سئویی همه این صفحات را پایین می آورد.

اما اگر در گذشته یکسری صفحات مشابه و هم نام را در وب سایت خود ایجاد کرده اید، برای حل این مشکل می توانید از انواع ریدایرکت ها استفاده نمایید.

برای این منظور مقاله آموزشی ریدایرکت چیست مفهوم این موضوع را به شما آموزش می دهد.

برطرف کردن URL های اشتباه در سایت مپ

برای بهبود بودجه خزش ویا Crawl Budget در وب سایت خود شما باید با قابلیت سایت مپ آشنایی کامل داشته باشید، و در صورت وجود URL های اشتباهی در سایت مپ وب سایت خود به سرعت آن ها را برطرف نمایید.

در ابتدا شما باید با ثبت سایت مپ در گوگل وبمستر URL هایی را که خزنده های گوگل اجازه دسترسی به آن ها را دارند مشخص نمایید، و سپس برخی از URL هایی را که نمی خواهید خزنده های گوگل به آن ها دسترسی داشته باشند را حذف کنید.

بهینه سازی سرعت وب سایت برای بهبود بودجه خزش

تمامی سئوکاران این موضوع را به خوبی می دانند که امروزه مسئله سرعت وب سایت به خصوص سرعت بارگذاری صفحات در نسخه موبایل از اهمیت بسیار بالایی برای ربات های گوگل برخوردار است.

به همین دلیل است که بسیاری از افراد زمان زیادی را صرف بهینه سازی صفحات وب سایت خود با استفاده از دانش برنامه نویسی می کنند، و یا با استفاده از قابلیت هایی مانند AMP سرعت صفحات وب سایت خود را در حالت موبایل ارتقا می دهند.

وب سایت pagespeed.web.dev به عنوان یکی از ابزار های تخصصی گوگل در این زمینه می تواند وضعیت سرعت وب سایت شما را در حالت موبایل و دسکتاپ بخوبی به شما نشان دهد، و ارورهای موجود در صفحه را به شما نمایش دهد.(نکته » برای دسترسی به این وب سایت از فیلتر شکن استفاده نمایید.)

استفاده از لینک سازی داخلی و خارجی برای تسریع بودجه خزش در وب سایت

لینک سازی داخلی با عنوان و یا انکر تکست درست به سایر صفحات مرتبط در یک وب سایت می تواند به خزنده های گوگل کمک نماید که تشخیص دهند هر صفحه ای باید با چه کلمات مرتبطی شناسایی شود، که این موضوع قطعا تاثیر زیادی برای بهبود Crawl Budget در وب سایت ما دارد.

مزیت مهمی که لینک سازی خارجی هم برای صفحات وب سایت ما می تواند داشته باشد، این است که لینک خارجی از یک صفحه به یک وب سایت معتبر با دامین اتوریتی بالا می تواند منجر شود که صفحه ما نیز سریعتر توسط خزنده های موتور های جستجو شناسایی شود.

مثالا در همین مقاله آموزشی ما به وب سایت google page speed که یکی از ابزارهای کاربردی و مهم گوگل برای تعیین وضعیت سرعت وب سایت می باشد لینک خارجی داده ایم.

برای مطالعه » تگ Canonical چیست

بک لینک سازی درست و اصولی برای کمک به بودجه خزش

برای این که صفحات مهم وب سایت ما سریعتر توسط خزنده های موتور های جستوجو شناسایی شوند بک لینک سازی درست و اصولی می تواند در این زمینه بسیار تاثیرگذار باشد.

در بخش زیر چند نمونه از وب سایت های قدرتمند با دامین اتوریتی بالا را به شما معرفی کرده ایم، که این وب سایت ها می توانند کمک کنند تا صفحات شما سریعتر توسط خزنده های گوگل ایندکس شوند.

1. telegra.ph
2. reddit.com
3. medium.com

توجه » مقاله آموزشی بک لینک چیست هم مفهوم بک لینک و کاربرد آن در سئو را به صورت کامل به شما توضیح داده است.

استفاده از فایل robot.txt برای کمک به بودجه خزش خزنده های گوگل

فایل robot.txt می تواند با مسیر دهی درست به خزنده های گوگل به آن ها کمک کند که چه صفحاتی را سریعتر ایندکس و شناسایی نمایند.

فایل robot.txt دروقع به خزنده های موتور های جستجو آدرس می دهد که به چه صفحاتی سر بزنند و چه صفحاتی نیاز به شناسایی و بازرسی ندارند.

مثالی که در ابتدای مقاله برای مفهوم Crawl Budget زده شد، فرض کنید که شما زمانی که برای منزل خود مهمان دعوت کرده اید یک نفر را استخدام می کنید که جلوی دب ورودی منزل مهمان های شما را راهنمایی نماید که از کجا وارد شوند، و در چه بخش هایی از منزل را بازدید نمایند، فایل robot.txt دقیقا همین کار را انجام می دهد.

نکته » موارد دیگر نظیر افزایش اعتبار دامین اوتوریتی و پیج اوتوریتی، از بین بردن صفحات یتیم و یا Orphan Pages، قرار نداشتن پارامترهای فیلتر محصولات در URL، هم در زمان ایجاد ساختار سئو وب سایت باید حتما در دستور کار شما قرار بگیرد، برای کسب اطلاعات بیشتر در این حوزه پیشنهاد می کنیم که مقاله کاربردی و آموزشی روش های بالا بردن سئو سایت را مطالعه نمایید، تا به کمک این آموزش بتوانید وب سایت خود را به صورت حرفه ای مهیای خزش خرنده های گوگل نمایید.

سئوالات متداول در مورد بودجه خزش؟