موتورهای جستجو در اصل در بین حجم بالایی از اطلاعات، داده‌های مشخصی را جستجو می‌کنند. در راستای گستردگی دنیای وب و افزایش غیرقابل توصیف تولید محتوا، موتورهای جستجو بیش از پیش مورد توجه قرار گرفت. 
موتورهای جستجو در صفحات مختلف اصطلاحا می‌خزند و محتواهای موجود را دسته بندی کنند و بنابر جستجویی که کاربر می‌کند، بهترین جواب‌ها را به کاربر ارائه خواهند داد. نکته‌ای که باید به آن توجه شود این است برای اینکه در نتایج موتورهای جستجو حاضر شوید، محتوایی که می‌نویسید باید برای موتورهای جستجو قابل دیدن باشد. در ادامه بررسی خواهیم کرد که موتورهای جستجو چگونه کار می‌کنند؟!

موتورهای جستجو چگونه کار می‌کنند؟

برای رتبه بندی سایت‌هایی که در اینترنت وجود دارد، موتورهای جستجو باید ابتدا به طور دقیق بررسی کنند که چه اطلاعاتی در دسترس هستند و سپس این اطلاعات را به طور منطقی دسته بندی کنند. موتورهای جستجو 3 کار انجام می‌دهند، و توسط این 3 کاری که انجام می‌دهند، محتواهای منتشر شده را پیدا کرده و در پایگاه داده خود ذخیره می‌کنند و در آخر برای استفاده کاربران آن را دسته بندی می‌کنند. 

کرال کردن (Crawling)

موتورهای جستجو ربات‌هایی هستند که کرالر نام دارند، این ربات‌ها برای ارزیابی محتوای وب سایت به تازگی ایجاد شده‌اند و محتواهایی که جدیدا به روز شده‌اند، تغییرات اعمال شده را ارسال خواهد کرد. وظیفه این صفحات این است که صفحات وب سایت ها را با دقت بررسی نماید تا بفهمد هر یک در چه زمینه‌ای به وجود آمده‌اند و چه موضوعاتی را پوشش می‌دهند. بعد از فالو کردن لینک‌های موجود در صفحه به صفحات دیگر می‌روند و آنها را نیز کرال می‌کنند. 

ایندکس کردن (Indexing)

بعد از فرآیند کرالینگ نوبت به دسته بندی اطلاعات می‌رسد، فرآیند ایندکس کرده در حقیقت به ذخیره کرده صفحات کرال شده در پایگاه داده موتورهای جستجو گفته می‌شود. لازم به ذکر است که هر موتور جستجو دارای پایگاه داده مختص خود می‌باشد. 

رتبه‌بندی کردن (Ranking)

زمانی که یک کاربر جستجو انجام می‌دهد، موتورهای جستجو پایگاه داده خود مراجعه می‌کند و اطلاعات مرتبطی را که در این صفحات وجود دارد و قبلا ایندکس کرده است را ارائه خواهد داد.  صفحات نیز براساس سیستم رتبه بندی برای کاربران فهرست بندی می‌شوند و هیچ عنوان ترتیبی تصادفی ندارد. موتورهای جستجو فرآیند رتبه دهی را با در نظر گرفتن فاکتورهای مختلف و براساس کیفیت و ارتباط آن با کوئری کاربر انجام می‌شود. 

خزنده های موتورهای جستجو 

کرالینگ(Crawling) در حقیقت گروهی از ربات‌ها هستند که به اینترنت متصل شده و محتواهای جدید را به روز می‌کند. محتواها انواع مختلفی دارند، این انواع شامل محتواهای متنی، تصاویر، ویدئو یا PDF هستند. محتواها همچنین توسط لینک‌ها شناسایی می‌شوند. 
ربات گوگل (Googlebot) صفحات وب و لینک‌های موجود در آن را بررسی می‌کند. بعد از یافتن محتواهای جدید آن‌ها را به دیتابیس خود اضافه می‌کند، و زمانی که اطلاعات مورد نظر کاربر در زمان جستجو کاربر از این طریق فراخوانی خواهد شد. 

لیست نتایج جستجو برای کاربر

نتایج جستجو برای صاحبان وب سایت و کاربران اهمیت فراوانی دارد. بعد از سرچ و جستجو کاربر گوگل از بین صفحاتی که از قبل آنها را ایندکس کرده است نتایج مرتبط را به شما پیشنهاد خواهد داد. این فرآیند بسیار پیچیده است زیرا میلیون‌ها وب سایت وجود دارند که در فضای اینترنت فعالیت دارند و می‌خواهند که در نتایج اصلی گوگل نمایش داده شوند. برای رتبه بندی سایت الگوریتم‌های مختلفی وجود دارد که گوگل هر روزه در حال ارتقا و بهینه سازی آنها می‌باشد. البته نحوه بررسی صفحات و رتبه بندی آنها دقیقا توضیح داده نمی‌شود، اما براساس تجربه و دانش متخصصین سئو این فاکتورها تقریبا شناسایی شده است. در این بخش مهم‌ترین فاکتورهای سئو را مورد بررسی قرار خواهیم داد:

• اعتبار دامنه
• فعالیت در شبکه های اجتماعی
• نوع نگراش محتوا و غلط های املایی
• ساختار لینک سازی داخلی سایت
• رفتار کاربران، ارسال دیدگاه و امتیازدهی در صفحه
• تجربه کاربری و میزان رضایت کاربران (User Experience)
• میزان به روزرسانی سایت و نرخ تولید محتوا
• حجم صفحات سایت و سرعت بارگذاری
• میزان اعتبار و ارتباط موضوعی بک لینک های سایت
• حجم محتوای صفحه و ارتباط موضوعی محتوای همه صفحات سایت
• نحوه استفاده از کلمات کلیدی در متن، عنوان، تصاویر و لینک ها
• طراحی ریسپانسیو سایت و نمایش صحیح در موبایل و تبلت
• ضریب خروج (Bounce rate) از سایت و نرخ کلیک در نتایج گوگل (CTR)

تاثیر رفتار کاربران بر روی نتایج موتورهای جستجو

زمانی که تولید محتوا انجام می‌دهید باید توجه داشته باشید که هم به موتورهای جستجو و هم به کاربران اهمیت دهید و یک تعادلی را بین این دو برقرار کنید. در شرایطی که بر روی سئو و موتورهای جستجو تمرکز کنید ممکن است کاربرانی که وارد سایت شما شوند از صفحه‌ای که آن را مشاهده می‌کنند راضی نباشند. در نتیجه رفتار کاربران بر روی سئو تاثیر منفی خواهد گذاشت و باعث می‌شود که فرد جایگاه خود را به مرور زمان از دست بدهد. بعد از اینکه کاربر محتوایی را جستجو و لینکی را انتخاب می‌کند، ممکن است به علت‌های مختلفی مانند محتوای مناسب، سرعت پایین صفحه، طراحی نامناسب، فونت بد، عدم نمایش صحیح در موبایل به سرعت از صفحه خارج شود و دوباره به نتایج جستجو خود بازگردد. این رفتار کاربر توسط گوگل قابل درک است و نشان‌دهنده این است که کاربر از سایت (به هر دلیلی) رضایت نداشته است. 
در شرایطی که صفحه‌ای در سایت دارای رتبه پایینی باشد اما محتوای آن سایت مفید باشد و کاربر رضایت کافی داشته باشد گوگل متوجه این موضوع می‌شود و رتبه بهتری به سایت می‌دهد. حال این رضایت با مدت زمان حضور کاربر در سایت و میزان اشتراک گذاری یا ارسال دیدگاه مشخص می‌شود. مسیر حرکت کاربر ممکن است متفاوت باشد، این مسیرها شامل:

• یک یا چند گزینه در لیست را انتخاب می‌کند.
• عبارت مورد نظر خود را در گوگل جستجو می‌کند.
• محتوای صفحات بازشده را بررسی کرده و به دنبال پاسخ خود می‌گردد.
• اولین نتایج ارائه شده توسط گوگل را مشاهده و بررسی می‌کند.
• کاربر ابتدا برای دریافت اطلاعات، محصول و یا پاسخ یک پرسش به گوگل مراجعه می‌کند.
• در صورت عدم دریافت پاسخ به گوگل برمی‌گردد و نتایج بعدی را نیز بررسی می‌کند یا عبارت دیگری را جستجو می‌کند.

این روند به صورت یک سیکل اتفاق می‌افتد تا کاربر به پاسخ خود دست پیدا کند. این رفتارها توسط گوگل مورد بررسی قرار می‌گیرد که در برخی از سایت‌ها ممکن است که منجر به بهبود جایگاه سایت و در برخی از سایت‌ها منجر به افت آن شود.

صفحه اول در مقایسه با رتبه اول

صفحه اول نتایج گوگل خوب است و اینکه در بین 3 نتیجه اصلی گوگل قرار بگیرید بسیار اهمیت دارد. البته صفحه ای که در رتبه اول گوگل قرار دارد می‌تواند 30 الی 50 درصد از کاربران را به خود جذب نماید. محتوای سایت‌ها هر روز در حال آپدیت است و این تغییر در نتایج گوگل خواهد بود، و رسیدن به رتبه اول گوگل در نتیجه یک رقابت سخت است. رسیدن به نتیجه اول سخت اما حفظ آن دشوارتر است. 
هر چه توانایی گوگل در بررسی صفحات و پیشنهادات افزایش یابد درصد کلیک بر روی نتایج کاهش خواهد یافت و ارزش رتبه 1 گوگل هر روز بیشتر خواهد شد. میزان کاربرانی که رتبه 1 گوگل را جذب می‌کنند تقریبا با مجموع رتبه‌های 2 و 3 برابر است. یعنی اگر فرد نفر اول گوگل باشد با رتبه‌های 2 و 3 نیز تفاوت آنچنانی ندارد.