ইন্টারনেটের কিছু বিশেষ সাইট থাকে, যা মানুষকে তত্ত্ব-তালাশ করতে সাহায্য করে। সেগুলোর পোশাকি নাম 'সার্চ ইঞ্জিন'। বিভিন্ন রকমের সার্চ ইঞ্জিন আছে, কিন্তু কাজের পদ্ধতি প্রায় একইরকম। তিনটি প্রাথমিক কাজ একই। প্রথমত, ইন্টারনেট থেকে প্রকৃত শব্দ ও শব্দমালা চয়ন করা।

দ্বিতীয়ত, সেই শব্দগুলো নিয়ে একটি ইনডেঙ্ বা তালিকা গঠন করা এবং তৃতীয়ত, মানুষের ব্যবহারের জন্য এই তালিকাগুলো উন্মুক্ত করা।

বেশ কয়েক বছর আগে যেসব সার্চ ইঞ্জিন ব্যবহৃত হতো তার ব্যাপ্তি ছিল হয়তো মাত্র কয়েক হাজার ওয়েব পেজে। কিন্তু আজ যে কোনো জনপ্রিয় সার্চ ইঞ্জিন সাইট ঘেঁটে ফেলে এক নিমিষে। উত্তরের সন্ধান করতে পারে আরও নিখুঁত। ১৯৯০ সালে সর্বপ্রথম তত্ত্ব-তালাশ করা হয় 'অৎপযরপ' (আর্চি) ওয়েব সাইটের মাধ্যমে।

এরপর আসে 'ভেরোনিকা' (ঠবৎড়হরপধ) ও 'জাগহেড' (ঔঁমযবধফ)। সাইটের নাম দেওয়া হয় শিশুদের অতি প্রিয় কমিক সিরিজের দিকে তাকিয়ে। কোনো কিছুর ব্যাপারে সন্ধান করার জন্য কিছু ইন্টারনেট প্রোগ্রাম ব্যবহার করা হতো সেগুলোই হচ্ছে আর্চি, গফার, ভেরোনিকা বা জাগহেড। এই প্রোগ্রামগুলো কিছু নির্দিষ্ট সার্ভারে ফাইলের আকারে তথ্য সঞ্চয় করত। সময়ের সঙ্গে পাল্লা দিয়ে প্রযুক্তির আরও উন্নতি ঘটেছে।

আজকের সব সার্চ ইঞ্জিন বিভিন্ন ওয়েব পেজের তথ্যের ওপর ভিত্তি করেই কাজ করে থাকে। প্রায় সব সার্চ ইঞ্জিন তথ্য-সন্ধানের জন্য কিছু বিশেষ সফটওয়ার রোবটের সাহায্য নেয়। এই বিশেষ রোবটগুলোর নাম স্পাইডার। এদের মূল কাজ ইন্টারনেটে জাল বিস্তার করে শব্দচয়ন করা আর তালিকা তৈরি করা। এই পদ্ধতির নাম 'ওয়েব ক্রলিং' শব্দচয়নের জন্য স্পাইডারগুলো ইন্টারনেটের বিভিন্ন পেজ ঘুরে বেড়ায়।

জনপ্রিয় পেজগুলোর ওপর ক্রমাগত লক্ষ্য রেখে চলে। অন্যদের থেকে গুগলের কৃতিত্ব এখানে অনেকটা বেশি। গুগল স্পাইডাররা যখন কোনো এইচ টি এম এল পেজে হানা দেয়, তখন তারা দুটি ব্যাপারে গুরুত্ব দেয়। এক, সেই পেজটির মধ্যে শব্দটির অবস্থান এবং কোথায় তার উৎপত্তি। গুগল 'এ', 'আনা' এবং 'দ্য' ব্যতীত কাজ করে।

অথচ আল্টাভিস্তা কিন্তু ইংরেজি আর্টিক্যালগুলোকে ধরেই কাজ করে।

আরেকটি গুরুত্বপূর্ণ কাজ হলো ইনডেঙ্ংি। এরপর এই তথ্যগুলোকে সঞ্চয় করা এবং ব্যবহারকারীর সুবিধার জন্য সুপরিকল্পিতভাবে তালিকা গঠন করাটাই সবচেয়ে কঠিন। কারণ তথ্য প্রচুর, চাহিদা অনেক, কিন্তু নির্দিষ্ট উত্তর একটাই এবং তথ্যের ভিড় ঠেলে আসল তথ্যটিকে ব্যবহারকারীর সামনে তুলে ধরা, তাও আবার যতটা সম্ভব কম সময়ের মধ্যে এটি তুলে দেওয়া বিরাট চ্যালেঞ্জ। বিভিন্ন নতুন নতুন গাণিতিক যুক্তির উদ্ভব হয়।

এ নিয়ে চিন্তাশীল মগজান্ত্রের গুঞ্জন শুনতে পাওয়া যায়। অবশেষে অনেক পদ্ধতির সঙ্গে সঙ্গে 'হ্যাসিং' পদ্ধতি আসে।

এরপর ব্যবহারকারী নিজের চাহিদা অনুযায়ী কি-ওয়ার্ড দিয়ে অনুসন্ধান করেন এবং এক সেকেন্ডের ভগ্নাংশের কম সময়ে বিভিন্ন 'সার্চ রেজাল্ট-এর তালিকা প্রকাশিত করে। এই কি-ওয়ার্ডের সূত্র ধরে সার্চ ইঞ্জিন কাজ করে।

 

।