الDeep web أو Dark net أو الانترنيت
الخفي , هو عالم افتراضي الكتروني ،لا يمكن ايجاد مواقعه من محركات البحث
العادية ، اليوم لن نتحدث عن الانترنت الخفي و كيفية ولوجه بل سنتحدث عن
الخدعة المتبعة لعدم أرشفة المواقع ،حيث وجب الاشارة الى أن هذه المواقع
الخفية ليست مواقع مميزة أو موضوعة في سيرفرات مميزة ، حيث يمكن وضعها على
سيرفرات عادية أو على جهازك كل ما في الأمر هو أنه يتم منع محركات البحث من الوصول لبعض أو كل صفحات الموقع ، أي لن تتم
أرشفتها من قبل روبوتات أو عناكب محركات البحث ، و ما يجب أن تعرفه أيضا
هو أنه يمكن أن تقوم بهذه الخدعة لصفحات مميزة في موقعك ، فمثل ان تمت
أرشفة صفحة تسجيل دخول الأدمن في محركات البحث فيمكن بكتابة كلمات معينة (dorks)
في محرك البحث قوقل لايجاد تلك الصفحات و يمكن للهاكر القيام بتخمين (brute force)
على لوحة الأدمن و بالتالي اختراق موقعك
نقطة أخرى أريد أن أشير إليها و هي أن هناك مواقع لا يمكن فتحها أصلا بالمتصفح مباشرة يمكن ادراجها هي الأخرى ضمن الانترنيت الخفي ، هذه المواقع تسمى بالonion sites أو الtor sites ، و هي الخرى لا تتأرشف في محركات البحث ، لكن في هذه التدوينة سنتطرق فقط لكيف نمنع صفحاتنا أو موقعنا كاملا من الأرشفة و كيفية منع محركات البحث من أرشفة صفحاتك ، شخصيا أعرف طريقتين و لست متأكدا ان كانت هناك طرق أخرى
1:فرضا أنك تريد منع الوصول لمجلد كامل ، مثل http://finexx.blogspot.com/anything ، لاحظ أن anything مجلد أول ما تفعله محركات البحث هو البحث عن ملف نصي robots.txt ان لم تجده ستأرشف تلك الصفحات بذاك المجلد ان لم تجده ستأرشف تلك الصفحات بذاك المجلد و ان وجدته فلن تفعل . السؤال هو ماذا يحتوي هذا الملف النصي ؟؟الملف به سطران فقط ، السطر الأول يحدد محركات البحث التي يتم منعها و الثاني الملفات التي لا تتم أرشفتها ، أنا سأكتب سطران يمنعان كل محركات البحث و يمنعون أرشفة كل الملفات المتواجدة في ذلك المسار:
نقطة أخرى أريد أن أشير إليها و هي أن هناك مواقع لا يمكن فتحها أصلا بالمتصفح مباشرة يمكن ادراجها هي الأخرى ضمن الانترنيت الخفي ، هذه المواقع تسمى بالonion sites أو الtor sites ، و هي الخرى لا تتأرشف في محركات البحث ، لكن في هذه التدوينة سنتطرق فقط لكيف نمنع صفحاتنا أو موقعنا كاملا من الأرشفة و كيفية منع محركات البحث من أرشفة صفحاتك ، شخصيا أعرف طريقتين و لست متأكدا ان كانت هناك طرق أخرى
1:فرضا أنك تريد منع الوصول لمجلد كامل ، مثل http://finexx.blogspot.com/anything ، لاحظ أن anything مجلد أول ما تفعله محركات البحث هو البحث عن ملف نصي robots.txt ان لم تجده ستأرشف تلك الصفحات بذاك المجلد ان لم تجده ستأرشف تلك الصفحات بذاك المجلد و ان وجدته فلن تفعل . السؤال هو ماذا يحتوي هذا الملف النصي ؟؟الملف به سطران فقط ، السطر الأول يحدد محركات البحث التي يتم منعها و الثاني الملفات التي لا تتم أرشفتها ، أنا سأكتب سطران يمنعان كل محركات البحث و يمنعون أرشفة كل الملفات المتواجدة في ذلك المسار:
User-agent: *
Disallow: /
لتفاصيل أكثر توجه لهذا الموقع : http://www.robotstxt.org (سيعلمك كيف تمنع بعض محركات البحث و كذلك بعض الملفات)
2:و هي طريقة بسيطة جدا تمنع من الوصول لصفحات معينة ، ان كانت لك معرفة ببرمجة الويب أو فقط بال html فستفهم مباشرة ، و ان لم تكن لك معرفة ، فيمكنك اضافة هذا السطر الى صفحتك تحت وسم <head> :
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
الى هنا تنتهي تدوينتي ، ان أعجبتك لا تتردد في نشرها لأكبر عدد من أصدقائك ، ان لم تعجبك المرجو وضع انتقاداتك أسفلها :) بقلم آدم شران
0 التعليقات