写爬虫程序的原因主要有以下几点：
数据收集：
当所需数据无法从公司内部数据库获取时，爬虫能够自动从互联网上收集大量数据，这些数据可以用于市场分析、研究或其他需要的地方。
自动化任务：
爬虫可以自动化执行重复性的任务，例如检查网站是否可用或收集特定商品的价格信息。
个性化搜索需求：
有时我们需要满足更个性化的搜索需求，例如获取猫眼电影中排名前一百名的电影的评论内容并进行情感分析。在这种情况下，搜索引擎的功能可能有限，需要通过编写爬虫来获取这些信息。
高效率：
爬虫能够以更高的效率处理大量数据，模拟人类浏览网页的行为，快速抓取所需信息。
多语言支持：
多种编程语言如Python、Java、C++等都可以用来编写爬虫，其中Python因其简洁的语法和丰富的库支持，成为编写爬虫的热门选择。
应对网站变化：
网络环境不断变化，如网页改版、网站封锁等，爬虫需要能够快速适应这些变化，并迅速调试和修复问题。
科学研究：
在科学研究领域，如在线人类行为、在线社群演化、人类动力研究等，需要大量数据支持，网络爬虫是收集相关数据的有力工具。
综上所述，写爬虫程序可以帮助我们高效、自动化地收集互联网上的数据，满足各种个性化需求，并在面对网站变化时保持高效和稳定。