موتورهای جستجو چگونه کار میکنند

اگر قرار باشه در نتایج جستجو به کاربران معرفی بشین ، اول باید کاری کنین که محتوای سایت شما برای موتورهای جستجو قابل مشاهده باشه ، اگر موتورهای جستجو نتونن سایت شما رو پیدا کنن ، هیچ وقت در نتایج SERP ها یا همان صفحه نتایج موتورهای جستجو نمایش داده نمیشین.

 

 

مطالعه مقالات آموزش سئو ، به ترتیب نیاز

فهرست مقالات سئو به ترتیب نیاز مبتدی تا حرفه ای در بالای صفحه زیر، بخش [ فهرست مقالات سئو به ترتیب نیاز ]

سئو سایت

 

سه کار اصلی موتورهای جستجو :

خزیدن یا CRaweling: رباتهای موتورهای جستجو با خزیدن یا Crawel کردن صفحات وب و پیدا کردن آدرس های جدید کار خودشون رو شروع میکنن .

فهرست یا  Indexing: بعد از مرحله خزیدن صفحات یافت شده ذخیره و سازماندهی میشن ، وقتی یک صفحه از سایت شما در فهرست موتورهای جستجو قرار گرفت میتونه با توجه به سوالات کاربران به اونها نمایش داده بشه

رتبه بندی یا Ranking: مطالب فهرست شده با توجه به اینکه چه مقدار به سوالات کاربران پاسخ بهتری میدن رتبه بندی میشن و هر مطلبی که پاسخ بهتری برای کاربران داشته باشه و رضایت کاربر رو بیشتر جلب کنه و در سایتهای دیگه هم این مطلب رو به عنوان یک مطلب خوب معرفی کرده باشن در جایگاه بالاتری قرار میگیره .

 

 craweling

خزیدن موتور جستجو به چه معنی است :

خزیدن به مرحله ای گفته میشه که در اون موتورهای جستجو تعداد زیاد زیادی از روباتها رو که به عنکبوت یا خزنده معروف هستن برای یافتن محتوای جدید و بروز شده به سرتاسر وب ارسال کنن ، وقتی از محتوا صحبت میکنیم منظور صفحه وب ، هر گونه تصویر ، فیلم ، فایل PDF و ...است . خزنده های موتورهای جستجو از طریق URL ها و پیوندها صفحات جدید رو کشف و ذخیره سازی میکنن .

این رباتها لینکهای داخل هر صفحه وب رو دنبال میکنن و مطالب جدید رو پیدا میکنن و صفحات جدید رو در فهرست عظیمی از URL های کشف شده ذخیره میکنن تا هنگامی که کاربران به دنبال آن پیوند و URL میگردند بازیابی بشن و به کاربر نمایش داده بشن

 

فهرست موتور جستجو چیست ؟

فهرست موتور جستجو یک دیتابیس عظیم از صفحات کشف شده رباتها هستن ، صفحاتی که ظاهرا محتوای خوبی داشتن و میتونن با جستجو کاربران مورد استفاده قرار گیرند .

 

رتبه بندی صفحات وب در موتور جستجو :

وقتی یک کاربر یک جستجو رو انجام میده ، موتور جستجو مطالب بسیار مرتبط با توجه به نیاز جستجو گر رو فهرست میکنه وبه کاربر نمایش میده ، وقتی یک وب سایت در نتایج جستجو در رده های بالاتر قرار گرفته این به این معنی است که موتور جستجو این گونه تشخیص داده که مطالب این سایت ارتباط بیشتری با جستجو این کاربر داشته .

شما این امکان رو دارین که قسمتی از اطلاعات سایت خودتون رو در اختیار موتورهای جستجو قرار ندین و یا حتی میتونین کاری کنین که خزنده های موتور جستجو اصلا به کل محتویات سایت شما دسترسی نداشته باشن و این کار رو میتونین با نوشته یک دستور در فایل Robot.txt در سایت خودتون انجام بدین ، اما اگر میخواین سایت شما در نتایج جستجو ظاهر بشه نباید این کارو انجام بدین.

 

حجم جستجو کاربران در موتورهای جستجو مختلف :

تقریبا همه کاربران اینترنت میدونن که موتور جستجوی گوگل سهم عظیمی از جستجوهای اینترنتی رو به خودش اختصاص داده ، حالا یک سوال پیش میاد که آیا طبق نظرات سایر موتورهای جستجو هم باید سایت خودمون رو بهینه کنیم ؟

حدود 30 موتور جستجو در سراسر وب داریم اما همه کاربران فقط به گوگل توجه میکنن ، دلیلش رو میدونین ؟ پاسخ خیلی واضحه ، اکثریت قریب به اتفاق مردم از گوگل برای جستجوهای خودشون استفاده میکنن و اگر جستجو در  تصاویر ، گوگل مپ ، یوتیوب که متعلق به گوگل است رو هم حساب کنیم بیش از 90 درصد جستجو ها در گوگل اتفاق میفته که تقریبا 20 برای موتور جستجو بینگ و یاهو است .

 

موتورهای جستجو به صفحات سایت شما دسترسی دارن ؟

همانطور که بالاتر خدمتتون توضیح دادم اول باید مطمئن بشین که سایت شما توسط رباتهای موتورهای جستجو خزش و فهرست میشه و این شرط اول نمایش صفحات سایت شما در نتایج جستجوهای کاربرانه.

میتونین متوجه بشین که چه تعداد از صفحات سایت شما مثلا در گوگل ایندکس یا فهرست شده ، میتونین متوجه بشین صفحاتی که نمیخواین هم ایندکس شده یا نه . کافیه ادرس سایت خودتون رو به شکل زیر در گوگل تایپ کنین .

Site:yoursite.com

با جستجو اسم سایت خودتون به شکل فوق تمام صفحات فهرست شده سایت شما در سایت گوگل نمایش داده میشه .

همچنین تعداد صفحاتی که از سایت شما جستجو شده در بالای صفحه نشان داده میشه ، اگر میخواین نتایج دقیق تر و بهتری دریافت کنین بهتر در سرچ کنسول گوگل ثبت نام کنین ، سرچ کنسول گوگل قسمتی از سایت گوگله که به مدیران سایتها این امکان رو میده تا درباره وب سایت خودشون اطلاعات خیلی مهمی بدست بیارن ، برای فهرست شدن همه صفحات سایت خودتون هم در سرچ کنسول گوگل در قسمت نقشه سایت  ،باید نقشه سایت خودتون رو معرفی کنین تا خزنده های گوگل از طریق URL های درج شده در نقشه سایت شما همه صفحات سایتتون رو ایندکس کنن .

اگر بعد از جستجو سایت خودتون در گوگل هیچ اطلاعاتی از سایت شما نمایش داده نشد ، میتونین به دلایل زیر باشه :

  • سایت شما کاملا جدیده و هنوز خزنده های موتور جستجو به سایت شما دسترسی پیدا نکردن
  • در هیچ سایت دیگری به سایت شما لینک داده نشده تا خزنده ها بتونن از طریق اون لینک ها به سایت شما دسترسی داشته باشن
  • سایت شما خزش رباتهای جستجوگر رو مسدود کرده
  • سایت شما توسط موتور جستجو به دلیل استفاده از روشهای غیرقانونی برای کسب رتبه جریمه شده .

همه افراد به این فکر میکنن که چطوری همه صفحات سایت خودشون رو به موتور جستجو معرفی کنن و کمتر افرادی به این فکر میکنن که چطوری بعضی از صفحات سایتشون رو به موتور جستجو معرفی نکنن!

صفحات قدیمی سایت که محتوای ارزشمندی نداره ، صفحاتی که ادرس اینترنتی یا URL تکراری داره (مثل صفحات فیلترینگ محصولات یا صفحاتی که در CMSها بصورت تکراری ایجاد میشن) صفحات آزمایشی و تستی و امثال اینها صفحاتی هستن که نباید در موتورهای جستجو فهرست بندی بشن . همین طور که بالاتر توضیح دادم برای اینکه به خزنده های گوگل دستور ایندکس نکردن برخی از صفحات یا کل سایت خودتون رو بدین باید در فایل robot.txt که در روت سایت شما قرار میگیره ثبت کنین .

 

برخوردهای مختلف رباتها با فایل robot.txt

این فایل باید در ادرس سایت شما به این شکل :

Yoursite.com/robot.txt

در دسترس خزنده های موتورهای  جستجو باشه و اگر خزنده ها نتونن این فایل رو در سایت شما پیدا کنن به جستجو و خزش در سایت شما ادامه میدن.

اگر بتونن این فایل رو در سایت شما پیدا کنن معمولا به پیشنهادات درج شده شما در این فایل عمل میکنن

و اگر در خواندن این فایل دچار خطایی بشن سایت شما رو خزش نمیکنن .

 

بودجه خزیدن سایت :

بودجه خزیدن به تعداد آدرس URL خزیده شده در سایت شما گفته میشه قبل از اینکه خزنده موتور جستجو از سایت شما خارج بشه ، بنابراین لازمه خزیدن رباتها در سایتمون رو بهینه کنیم تا زمانی که خزنده ها به سایت ما سر میزنن ، وقتشون رو صرف خزش در صفحات کم اهمیت ما نکنن . بودجه خزش در سایتهایی که ده هزار صفحه دارن از اهمیت بیشتری برخورداره ، و خیلی خوبه که ما دسترسی خزنده ها رو به صفحاتی که برامون مهم نیستن ببندیم تا بودجه خزش ما هدر نره.

صفحاتی مثل صفحه مدیریت سایت ما دلیلی نداره که توسط خزنده ها ایندکس بشن و هکرها و خرابکارها بتونن این طوری صفحات مدیریت سایت ما رو پیدا کنن ، بهتره این صفحات رو با تگ noindex از خزیدن رباتها دور نگه داریم .

برای مطالعه آموزشهای گوگل درباره بودجه خزیدن سایت به این لینک مراجعه کنین : Large site owner's guide to managing your crawl budget 

 

رباتهای خزنده می توانند همه مطالب مهم شما را پیدا کنند؟

اکنون که از برخی روشهای مطمئن برای دور ماندن خزنده های موتور جستجو از محتوای بی اهمیت خود مطلع هستید ، بیایید در مورد بهینه سازی هایی که به Googlebot کمک می کند صفحات مهم شما را پیدا کند بیاموزیم.

گاهی اوقات یک موتور جستجو قادر است قسمتهایی از سایت شما را با خزیدن پیدا کند ، اما ممکن است به همین دلیل صفحات یا بخشهای دیگر پنهان باشند. اطمینان از اینکه موتورهای جستجو قادر به کشف تمام محتوایی هستند که می خواهید فهرست بندی شوند و نه فقط صفحه اصلی شما بسیار مهم است.

این را از خود بپرسید: آیا ربات می تواند از صفحه اول وب سایت شما عبور کند ، و به صفحات بعدی شما برسد ؟

 درب بسته در وب سایت

 

مطالب شما در پشت فرمهای ورود به سایت پنهان نشده ؟

اگر قبل از دسترسی به محتوای خاص  کاربران نیاز دارند وارد سیستم شوند ، فرم ها را پر کنند یا به نظرسنجی ها پاسخ دهند ، موتورهای جستجو آن صفحات محافظت شده را نمی بینند. یک خزنده موتورهای جستجو  قطعاً نمیتواند با نام کاربری به سایت شما وارد شود .

 

به فرم های جستجو در سایت خود اعتماد نکنید !

ربات ها نمی توانند از فرم های جستجو استفاده کنند. برخی از افراد بر این باورند که اگر جعبه جستجو را در سایت خود قرار دهند ، موتورهای جستجو قادرند همه مطالبی را که بازدیدگنندگان سایت جستجو میکنند و میبینند ، انها نیز جستجو کنند و ببینند ، در یک باور اشتباه است .

 

متن در محتوای غیر متنی ایندکس نمیشود !

از موارد رسانه ای غیر متنی مانند تصاویر ، ویدئو ، GIF و امثال اینها برای نمایش متنی که می خواهید نمایه سازی شود استفاده نکنید . موتورهای جستجو در حال بهتر شدن برای شناخت تصاویر هستند ، اما هنوز تضمینی وجود ندارد که بتوانند تصاویر و موارد امثال آن را بخوانند و درک کنند. همیشه بهتر است متن را در قسمت <HTML> صفحه وب خود اضافه کنید.

 

موتورهای جستجو میتوانند لینک سازی داخلی شما را دنبال کنند ؟

همانطور که یک خزنده نیاز دارد سایت شما را از طریق لینک در سایت های دیگر کشف کند ، به یک مسیر لینک سازی خوب در سایت شما نیز نیاز دارد تا آن را از صفحه ای به صفحه دیگر خزش کند. اگر صفحه ای دارید که می خواهید موتورهای جستجو آن را پیدا کنند ، اما از صفحه دیگری به آن لینک داده نشده است ، این صفحه ، یک صفحه نامرئی شده است و در دسترس خزنده ها نیست . بسیاری از سایتها با ایجادیک لینک سازی بد در خود ، مانع دسترسی رباتهای جستجوگر میشوند و صفحات آنها ایندکس نمیشود .

 

 صفحات بدون لینک در سایت

 

اشتباهات معمول که باعث می شود خزنده ها نتوانند همه سایت شما را ببینند:

  • ایجاد صفحه ای در سایت که نحوه نمایش آن برای موتورهای جستجو و کاربران متفاوت است .
  • هر نوع مطالبی که در صفحه html وجود نداشته باشد ، مانند بخش هایی که دارای JavaScript است ، گوگل در خزیدن و درک Javascript بسیار بهتر شده است ، اما هنوز این درک کامل نیست. روش مطمئن تر برای اطمینان از یافتن مطالب ، درک و نمایه سازی توسط Google قرار دادن آن مطالب در HTML صفحه است.
  • لینک سازی بد و ایجاد صفحات یتیم و صفحات جدیدی که از سایر صفحات لینک دریافت نکرده اند 

 

حتما از نقشه سایت استفاده کنید 

نقشه سایت دقیقاً همان چیزی است که برای دسترسی خزنده ها به آن نیاز دارید .  صفحه از لیست از URL ها در سایت شما که خزنده ها می توانند با استفاده از آنها محتوای شما را کشف و فهرست کنند.یکی از ساده ترین راه ها برای دستیابی گوگل به صفحات سایت شما ، ایجاد یک نقشه سایت با توجه به معیارهای گوگل و معرفی آن نقشه سایت از طریق سرچ کنسول گوگل است ، حتما این کار را انجام دهید .

حتما فقط URL هایی را که می خواهید توسط موتورهای جستجو ایندکس شود ، در نقشه سایت قرار دهید . به عنوان مثال ، اگر یک URL را از طریق robots.txt مسدود کرده اید ، این URL را در نقشه سایت خود قرار ندهید.

اگر سایت شما توسط هیچ سایت دیگری لینک نشده است  ، هنوز هم می توانید با ارسال نقشه سایت خود در Google Search Console ایندکس صفحات سایت را انجام دهید.

 

نباید خزنده ها در ایندکس url های شما به خطا برخورد کنند 

در مراحل خزیدن URL ها در سایت شما ، یک خزنده ممکن است با خطا روبرو شود. می توانید به قسمت "Crawl Errors" سرچ کنسول گوگل مراجعه کنید - آنجا گزارش های خطا را به شما نشان میدهد و همچنین گنجینه ای از اطلاعات دیگر مانند زمانهای خزیدن در سایت شما و ...

قبل از این که بتوانید با گزارش خطای خزنده کار مهمی انجام دهید ، درک خطاهای سرور و خطاهای "not found" مهم است تا بعد از آن بتوانید با این گزارش ها ، اقدام لازم را انجام دهید

 

کدهای خطای 4xx: وقتی خزنده های موتور جستجو ، نمی توانند به محتوای شما دسترسی پیدا کنند

خطاهای 4xx خطاهای کلاینت هستند ، به این معنی که URL درخواست شده نحوه مناسبی برای نمایش اطلاعات ندارد و یا اصلا اطلاعاتی برای نمایش موجود نیست .یکی از رایج ترین خطاهای 4xx خطای "404 - یافت نشد" است. این خطا ممکن است به دلیل تایپ اشتباه URL ، حذف شدن صفحه مد نظر و یا ریدایرکت اشتباه ایجاد شود و وقتی موتورهای جستجو با خطای  404 روبرو شوند ، نمی توانند به آن صفحه دسترسی پیدا کنند و اگر کاربران  سایت به خطای 404 برخورد کنند ، از وب سایت ما ناامید شده و سایت را ترک میکنند .

خوشبختانه ، راهی وجود دارد که به جستجوگران و موتورهای جستجو می گوید صفحه شما منتقل شده است ، اگر ادرس صفحه خود را تغییر داده اید و یا این ادرس یا به ادرس دیگری منتقل کرده اید باید از ریدایرکت 301 استفاده کنید تا موتورهای جستجو و کاربران شما دچار سردرگمی نشوند و به ادرس جدید منتقل شوند .

ریدایرکت 301

 

فواید استفاده از ریدایرکت 301 :

  • ارزش و اعتبار صفحه قدیمی را به صفحه جدید منتقل می کنید.
  • به گوگل و موتورهای جستجو کمک می کنید صفحه جدید را پیدا و فهرست کند.
  • مطمئن هستید کاربران صفحه مورد نظر را در آدرس جدید پیدا می کنند.

 

ضررهای استفاده نکردن از ریدایرکت 301 :

  • ارزش و اعتبار صفحه قدیمی به صفحه جدید منتقل نمیشود.
  • وجود خطای 404 در سایت شما به تنهایی به عملکرد جستجو آسیب نمی رساند ، اما اصلاح نکردن آنها منجر میشوند صفحات ایندکس شده در گوگل از لیست رتبه بندی خارج شود و ورودی های خود را از آن طریق از دست بدهید .
  • بازدیدکنندگان با کلیک روی لینک صفحات از دست رفته به صفحه مورد نظر هدایت نمیشوند و باعث از دست دادن کاربران شما میشود .

 

ریدایرکت 301 به این معنی است که صفحه قدیمی به طور دائمی به صفحه جدیدی منتقل شده است ، بنابراین از ریدایرکت URL ها به صفحات بی ربط و صفحاتی که مطالب صفحه قدیمی در ان نیست خودداری کنید. اگر صفحه ای از سایت شما در نتایج جستجو رتبه خوبی بگیرد و شما آن را به صفحه ای بی ربط ریدایرکت کنید احتمالا رتبه خود را ازدست میدهد چون این صفحه را به صفحه ای نامربوط هدایت کرده اید ، ریدایرکت 301 گزینه ای قدرتمند برای انتقال ارزش و اعتبار صفحات به صفحه جدید با همان مطالب است ، برای هدایت و ریدایرکت صفحات قدیمی به صفحات جدید دقت کنید اشتباه این هدایت را انجام ندهید . همچنین میتوانید در صورت نیاز اگر خواستید یک ادرس را به طور موقت به ادرس جدیدی منتقل کنید از ریدایرکت 302 استفاده کنید و اگر این انتقال برای همیشه بود حتما از ریدایرکت 301 استفاده کنید.

 

کدهای 5xx: خزنده های موتور جستجو به دلیل خطای سرور نمی توانند به محتوای شما دسترسی پیدا کنند

خطاهای 5xx خطاهای سرور هستند ، به این معنی که سروری که وب سایت در آن قرار دارد نتوانسته درخواست جستجوگر یا موتور جستجو برای دسترسی به صفحه را برآورده کند. در قسمت "خطای خزش یا Crawel error" سرچ کنسول گوگل  ، زبانه ای به این خطاها اختصاص داده شده است. این موارد معمولاً به این دلیل اتفاق می افتد که درخواست URL برای شما به نتیجه نرسیده است ، بنابراین Googlebot درخواست را رد کرد. برای کسب اطلاعات بیشتر در مورد رفع مشکلات اتصال سرور ، میتوانید مستندات و آموزشهای گوگل را مشاهده کنید.

 

 

 

 

 

امیداواریم از خواندن این مقاله لذت برده باشین و اطلاعات شما درباره موتورهای جستجو کامل تر شده باشد .

خدمات مدیر مجازی در راستای این مقاله برای شما : طراحی سایت   ، همچنین میتوانید در صفحه مقابل آموزشهای بیشتری از سئو سایت مطالعه کنین:   سئو سایت   (در قسمت توضیحات مهم درباره سئو سایت)

 

 

 

 

 ضمنا اگر مدیر یک کسب و کار هستین قطعا آموزشهای رایگان ما 

به موفقیت شما در فضای مجازی کمک میکند ، بنابراین فرم زیر را تکمیل کنید تا اخرین آموزشها را بصورت کاملا رایگان دریافت کنید .

 

ارادتمند ، رضا نکوئی ، مدیر وب سایت مدیر مجازی

 

 

 

نظرات (0)

نظر جدیدی وجود ندارد

سوالی دارین بپرسین ،سریع پاسخ میدیم .

  1. ارسال دیدگاه بعنوان یک مهمان - ثبت نام کنید و یا وارد حساب خود شوید.
پیوست ها (0 / 3)
اشتراک‌گذاری موقعیت مکانی شما