爬行程序，也称为爬虫程序或Web Crawler，是一种 程序，而不是软件。它是一种开发技术，用于模拟人的行为，自动化地访问互联网上的网页并将网页中的数据提取出来。爬虫程序通常通过发送HTTP请求来获取网页的源代码，然后使用解析库（如BeautifulSoup、XPath等）对网页进行解析，提取出所需的数据。爬虫程序还可以通过模拟登录、处理验证码、设置代理等方式来应对不同的网站反爬措施。
爬虫程序在搜索引擎中发挥着重要作用，它们能够快速地抓取和索引互联网上的信息，从而提供更为准确和全面的搜索结果。例如，Google搜索引擎之所以能够提供高质量的搜索服务，很大程度上是因为其拥有高效的网络爬虫程序。