עודכן לאחרונה ב-9.7.2024
Indexing API - הסבר
זהו כלי מתוך GoogleCloud – שמספק מגוון שירותים: console.cloud.google.com
המטרה של ה-API הספציפי הוא לפתור בעיית אינדוקס לאתרים עם כמות אתרים גדולה, או לזרז את תהליך הסריקה של גוגל בעמודים שעברו שינויים.
Indexing API עושה בדיוק את אותה הפעולה שאנחנו עושים ב-Search Console בתהליך הגשת עמוד בודד לסריקה, אך ההבדל העיקרי הוא שדרך הכלי אנחנו יכולים לשלוח בקשה לסריקה של עד 200 עמודים בבת אחת (המגבלה היא 200 עמודים ביום לכל API Key – בכל משתמש אפשר לפתוח עד 5 Keys, ככה מתגברים על המגבלה של ה-200 ביום).
הדבר רלוונטי בעיקר לאתרי ענק, הכלי הוא כלי חינמי ללא גרסה בתשלום לכן אי אפשר לעבור את המגבלה באופן רשמי.
מה אנחנו צריכים בשביל לבצע את התהליך?
- משתמש ב-Google Cloud
- Node JS
- משתמש ב-SC עם רמת גישה של בעלים לאותו האתר שאנו רוצים לבצע בו את התהליך
הגדרות ב-Google Cloud
נרשמים ונכנסים ל-Google Cloud:
- יוצרים Project
- מחפשים בחיפוש: Indexing API ומתקינים את הכלי (צריך שהסטטוס ישתנה ל-Enabled)
- נכנסים בצד ל-IAM & ADMIN – ויוצרים משתמש
- משם עוברים ל-Service accounts ויוצרים משתמש – בוחרים ברמת ניהול “בעלים” Owner
לאחר שיצרנו את המשתמש יוצרים מפתח “Key”
(לחיצה על השלוש נקודות ומשם על Manage Keys)
שם אנחנו לוחצים על ADD KEY ובוחרים במפתח מסוג JSON ומורידים את הקובץ למחשב
(ניתן לחבר את המפתח הזה לתוסף באתרי וורדפרס שעושה את התהליך לבד)
הגדרת ה-JavaScript על המחשב
לאחר שהתקננו את ה-Node JS על המחשב, מורידים את הסקריפט הבא של האינדוקס המהיר:
קישור מ-GitHub
קישור מהדרייב
לאחר מכן יוצרים תיקייה חדשה ב-Documents שנקרא לה “Indexing API”
בתיקייה “Indexing API” יוצרים תקייה לכל אתר שוצים לבצע עליו את תהליך האינדוקס
(לדוגמה: “Domain Name”)
לתיקייה של האתר מחלצים את כל הקבצים של הסקריפט שהורדנו מ-GitHub
נכנסים לעריכת הקובץ service_account – ומחליפים את התוכן שיש בקובץ לתוכן שבתוך ה-JSON של המפתח שהורדנו ושומרים.
(אפשר לעשות את זה באמצעות Notepad/Notepad++ או כל תוכנה לעריכת קוד כמו Visual Studio)
חיבור המשתמש מה-Google Cloud ל-Search Console
*לפני הכל אנחנו חייבים שתהיה לנו גישת בעלים בנכס של האתר*
- נכנסים ל-SC
- בוחרים את הנכס של האתר
ניתן להפעיל כאן - בוחרים בהגדרות – ומשם משתמשים והרשאות
- לוחצים על הוספת משתמש
- מוסיפים את המייל הארוך שקיבלנו כשפתחנו את המשתמש ב-Service accounts
- מגדירים למשתמש הרשאת “בעלים”
הרצת הקוד
- נכנסים לתיקייה שחילצנו לתוכה את הקבצים (במקרה שלנו “Domain Name”)
- נכנסים לקובץ טקסט – urls
- מוחקים את הטקסט שיש שם
- מדביקים רשימה של כל כתובות העמודים שרוצים לשלוח לאינדוקס – עד 200 כתובות
- מדביקים את הכתובות ללא רווחים ורצוי גם ללא אנטרים (עם אנטרים לפעמים פועל)
- מתקינים את ה-NODE JS על המחשב במידה ואין
- נכנסים ל-CMD במחשב – על ידי לחיצה על windows+R וחיפוש CDM
התקנת ספריות JS לתיקיית האתר
ב-CMD מגדירים את התיקייה שלנו (שכל הפעולות יתבצעו בתיקייה)
על ידי הפקודה: cd – והקישור לתיקייה של האתר (domain name בדוגמה שלנו)
cd C:\Users\myuser\Documents\Indexing API\domain name
על מנת להתקין את התיקיות מוסיפים את הפקודה הבאה: npm install requests כשאנחנו בתוך התקייה לפי ה-CMD
בסופו של דבר זה צריך להיראות ככה:
C:\Users\myuser\Documents\Indexing API\domain name>npm install requests
לאחר שזה התקין, מוסיפים עוד שני קודים לטיפול בבעיות אבטחה:
npm audit fix
ולאחר מכן:
npm audit fix –force
(“הפעולות” האלו צריכות להתבצע כשמוגדת התיקייה של האתר, כמו לפני כן)
סך הכל הקודים שצריכים להיראות: (אחרי כל קוד מתבצעת טעינה/פעולה)
cd C:\Users\myuser\Documents\Indexing API\domain name
C:\Users\myuser\Documents\Indexing API\domain name>npm install requests
C:\Users\myuser\Documents\Indexing API\domain name>npm audit fix
C:\Users\myuser\Documents\Indexing API\domain name>npm audit fix --force
הרצת הפקודה הראשית: node index.js
באותו האופן כמו שעשינו את הפעולות הקודמות – מריצים גם את הפקודה: node index.js
זאת הפקודה הראשית שמבצעת את הפעולה של העברת הבקשה לאינדוקס
זה צריך להיראות ככה:
C:\Users\myuser\Documents\Indexing API\domain name>node index.js
- ניתן לבדוק את הזמן שהדף נסרק בסרצ’ קונסול.
- סורקים עמוד – בדיקת דף
- פותחים את הסימנייה של “דפים שנוספו לאינדקס”
- ושם בודקים את תאריך הסריקה האחרונה
כאן סיימנו את התהליך.
העמודים שהכנסנו לקובץ urls נשלחו לבקשת אינדוקס בקונסול.
כשנרצה לשלוח עמודים אחרים לסריקה:
- מחליפים את הכתובות בקובץ urls לכתובות החדשות
- פותחים את ה-CMD
- הגדירים ב-CMD את כתובת התיקייה של האתר הרלוונטי
- דאחר שהתיקייה מוגדרת – מזינים את הפקודה node index.js