סורק אתרי אינטרנט - Crawler / זחלן

כולנו מכירים את המשפט “ידע הוא כוח”, ומסכימים עם זה. לכאורה היום, כשהכל זמין כל כך ברשת, זה היה צריך להיות פשוט להיות בעל ידע, בעל הכוח. אבל מה עושים כאשר הידע שאנחנו זקוקים לו מסתתר בתוך עולם עצום וגדל ללא הרף של ידע ברשת – איך נגיע לידע הזה כאשר נרצה לחפש אם משהו מפר זכויות שלנו? או נחפש ידע בזמן אמת על מחירי מתחרים? או ידע ממוקד על הלקוחות שלנו? ההעדפות שלהם? מה הם חושבים? נרצה לבדוק יעילות קמפיינים שלנו? או לאתר מה כותבים עלינו (לטוב או לרע) ולזהות ולהגיב? או נרצה לפתח מערכות המספקות מידע כשרות לאחרים? והרשימה של הצרכים ארוכה עד מאד, ומתארכת מרגע לרגע מה שהופך את המשימה לא רק להשיג את הידע אלא להשיג אותו בעודו רלוונטי ומאפשר תגובה או ניצול הזדמנות, לקשה יותר ויותר.

מלכודת הדבש של הזמינות ההגדלה של מידע ברשת הינה ב”הפוך על הפוך” בדיוק הסיבה לכך שזה אתגר עצום. אתגר לאתר במהירות את מה שרלוונטי לנו באוקיאנוס האין סופי הזה, למיין אותו להתראות, לתובנות או לפעולות אוטומטיות

בדיוק מסיבות אלה פותחו סורקי האינטרנט, או כפי שנקראת בהגהה המקצועית ה”קרולר” (crawler) או “זחלן”. זחלן הינו כינוי לתוכנה הסורקת את הרשת באופן אוטומטי על פי הגדרות שהוגדרו מראש. השימוש המשמעותי הראשון נעשה במנועי הסריקה של גוגל ולאורך השנים התרחב לכלל מנועי החיפוש השונים כמו גם ליישומים רבים מסחריים שלעיתים יכולים לחסוך זמן רב הן בחיפוש מידע רלוונטי והן באוטומציה של תהליכים שונים שעד היום הצריכו מעורבות אנושית. יש זחלנים שכל מטרתם לזהות מידע, למיינו ולהעביר לנו התראה על קיומו, כגון מחירים, מתחרים, מדיה חברתית, חדשות, אתרי מכירות ורבים נוספים, ויש אחרים מתוחכמים יותר שיודעים גם לתרגם מידע זה לפעולה יזומה עבורנו, כמו הקפצת מודעות, פניה יזומה ללקוח, סקרים, עדכוני מחירים בזמן אמת ועוד.

כולנו עושים שימוש מבלי דעת בזחלנים ורבים מאיתנו זקוקים לכך גם למטרות ספציפיות בעסק שלנו. אז לטובת אלה שיודעים שצריכים, ולטובת אלה שעדיין לא יודעים – רכזנו לכם על קצה המזלג מידע שיעזור לכם לעשות מעט סדר בנושא כמו גם יאפשר לכם לזהות האם הארגון שלכם יכול (ואולי צריך) להשתמש בתכונות הזחלן לצרכיו השונים, שלעיתים נמצאים בליבת המודל העסקי.

כללי

• המידע ברשת שגדל ללא הרף מחייב שילוב מנועי סריקה איכותיים ויעילים והינו כיום מרכיב הכרחי בכל מערכת המנטרת את הרשת.

• עבור כל עסק יש ברשת מידע רלוונטי עצום הכולל מידע על תחרות, לקוחות, מוצרים, עדכונים, חדשות, מגמות ועוד ועוד – וכל אלה הם נושאים שככל שהעסק יהיה מעודכן בהם, וככל שניתן בזמן אמת, הוא ישפר את סיכוייו לשרוד בסביבת התחרות המתגברת.

• לצד אלה יש עסקים שליבת המודל שלהם הינה מידע הנאסף ונחקר ברשת 

  הזחלן הופך כיום לרכיב הכרחי הן להשרדות והן ליעילות של עסקים רבים והרשימת עסקים אלה  הולכת ומתארכת.

איך זה עובד

• העסק זקוק להגדיר את המידע אותו הוא מחפש, ולעיתים זה הרבה יותר מסוג אחד של מידע
• הזחלן או הזחלנים, מתוכנתים לסרוק את הרשת ולאתר את המידע שאופיין
• המידע המאותר מתורגם להתרעות או לדוחות מרכזים למיון ובחינה
• קיימים זחלנים שלא מסתפקים באיתור המידע והתראות ומתוכנתים להגיב למידע המאותר בצורת הצעות או פניות אוטומטיות ללקוח או ליצר טפסים או דוחות מפורטים המותאמים כבר לשלב הבא של תהליך העבודה וחוסכים זמן ומשאבים רבים שבעבר נדרשו לביצוע אנושי

מה ניתן לבצע עם זחלן

בגדול הזחלנים מתחלקים לשתי קבוצות. הראשונה והבסיסית הינה כאלה שמטרתם לאתר מידע מהרשת, למיין אותו ולהעביר התראות על הממצאים. קבוצה שניה הינה זחלנים שלצד איתור המידע וההתראות יודעים גם ליצר תגובה פעילה לגורם מטרה, למשל פניות ללקוח או שינויים בזמן אמת באתרים המכירות שלנו. ריכזנו עבורכם רשימה קצרה וחלקית של דוגמאות לכל קבוצה

1. פעילות של איסוף מידע ויצירת התראות

• השוואת מחירים – סריקה של אתרי מכירות, בניית מאגר מחירים ומוצרים.

• ניתור חדשות, אירועים, מודעות, כרטיסי טיסה, מלונות – יצרית התראות או ביצוע אוטומטי של מיון ושילוב המידע הרלוונטי לאתר אחד

• ניתור פעילות של מתחרים – קבלת עדכונים שוטפים מאתרי המתחרים, מוצרים חדשים

• מעקב וניתוח מגמות בקהלי מטרה שונים – למשל באמצעות ניטור תעבורה הרשתות חברתיות

• מדידת יעילות של פרסום וקמפיינים שיווקיים על ידי ניתוח פוסטים ברשת

• סריקת תמונות והפקת מידע מטרה

• איתור הפרת זכויות יוצרים או זכויות ידע

• סריקת פרסומים ברשתות חברתיות ובחדשות ויצירת התראות על איזכורים חיוביים או שליליים של מותג או נושא, או התרעה על כוונה אלימות של קהילה או בודדים ועוד

2. איסוף מידע באמצעות זחלן שמתורגמת לפעולה אקטיבית – לדוגמא

• פניה יזומה ללקוחות לאחר איתור מאפייני מטרה

• פילוח וזיהוי קהלי מטרה וביצוע יזום של סקרים ממוקדים

• סריקת מוצרים/שירותים באתרים שונים ומשלוח יזום של עסקאות נבחרות ללקוחות מטרה שאותרו על ידי הזחלן כקהל יעד

• העלאת מודעות מכירה באתרים לפי אופטימיזציה של המחירים על פי סריקת מתחרים בזמן אמת

לאילו עסקים יתאים פיתוח תוכנות הכוללות זחלנים

בעקרון כיום כל עסק מגודל מסוים ומעלה, במיוחד אלה המגיעים לציבורים רחבים, זקוקים ליישומים בעלי תכונות זחלן לשם שיפור הפעילות מול הלקוחות, שיפור תהליכי המכירה, ניתור התדמית ואיתור אזכורים של המותג, ניטור תחרות ועוד. לחלקם יש גם ערך רב בשימוש בזחלנים אקטיביים שיוזמים פעולה אוטומטית אל מול הלקוח או גורם מטרה אחר. ברשימה זו ניתן למצוא:

חברות הזקוקות להגן על זכויות שבבעלותם – זכויות מוצר, עיצוב או ידע – תחשבו על גרפיקאים, ציירים ואומנים, חברות בעלי מותג שסובלות מזיופים ועוד – כולם רוצים לאתר הפרת זכויות במהירות ולפעול להגנה על הזכויות ומניעת ההפרה

• חברות אספקת תוכן/מדיה/חדשות – כל החברות שעוסקות באספקת תכנים במקום אחד מרוכז זקוקות למערכות זחלנים פעילות לאיתור המידע, מיונו וריכוזו באתר מרכזי – כך הדבר באתרי חדשות מקומיות, אתרי מדע לתיירות, אתרים הממיינים הצעות ברשת ומציגים אותן במרוכז ללקוחות ועוד.

• אתרי מכירות אונליין – כל אתרי המכירות הגדולים זקוקים לעקוב אחר התחרות והמחירים מחד גיסא ומנגד לאתר את לקוחות המטרה ולהזין להם הצעות מפולחות ומותאמות

• חברות שיווק ומכירות – כל החברות המספקות שירותי שיווק ומכירות, מקרקעין, נכסים אחרים, מצרים קמעונאיים – כל מוצר ושירות בר מכירה – זקוקות למערכות זחלנים לניטור שוק המטרה  – הן סביבת התחרות והן ציבור הלקוחות

• חברות לבינה וריגול עסקי – פה מדובר בכל אותן חברות שמידע הוא העסק שלהם. למשל חברות העוסקות בריגול עסקי המנטרות ארגון או עסק אוספות כת מידע שעולה לגביו, מפרסומים רשמיים או מתכתובת ברשתות חברתיות ומפיקות מידע בעל ערך ללקוחותיהן

ורשימה זו הינה חלקית בלבד

לסיכום – למה חשוב לי לבחון אם זה רלוונטי עבורי

כפי שאמרנו בפתיח, בסביבת תחרות גוברת ידע הוא כח ועוד יותר חשוב שיהיה בזמן כאשר הוא עדיין רלוונטי ומאפשר תגובה או פעולה יעילה. שני אלה, הידע והזמן שלקח לנו להגיע אליו, לעיתים מהווים תנאי הכרחי להשרדות הארגון.

התופעה מחמירה משנה לשנה בסביבה עסקית של מסחר גלובלי שחוצה גבולות וההצפה האין סופית של מידע המסחרי. אין כבר שוק מקומי ושוק בינלאומי. שניהם נהיים אחד ומחייבים את העסקים להפעיל יכולות איתור ומיון מידע חכמות ומהירות לשם שיפור יכולת התחרות והמכירה.

צרכים אלה מתרחבים ללא הרף ואלה מאתנו שמבינים באיחור את הצורך להתאים את עצמם לשינוי, מגלים זה, לעיתים מאוחר מידי, כאשר התחרות מכה בהם קשות.

מסיבה זו, כל עסק ללא יוצא מהכלל צריך לעצור שניה ולשאול את עצמו “האם הכלים שלי מותאמים לעולם של היום – למתחרים וללקוחות” ו”האם זחלנים הם כלי שאני צריך להתחיל לעבוד איתו או לשכלל אותו”. אני לא יודע מה תהיה התשובה שלכם, אבל אני מקוה לפחות שכעת יהיו לכם מעט יותר תובנות כדי להתחיל לבחון זאת בצורה מעמיקה. כי תזכרו – ידע הוא כח ובמיוחד כאשר מגיע בזמן כדי לנצל אותו.

פיתוח מערכות סריקה מתקדמות