年不管是编程语言排行榜还是在互联网行业，Python一直备受争议，到底是Java热门还是Python热门也是一直让人争吵的话题。
随着信息时代的迭代更新，人工智能的兴起，Python编程语言也随之被人们广泛学习，Python数据分析、Pythonweb全栈、Python自动化运维等等都很受欢迎，其中还包括了Python爬虫。但是很对人觉得Python爬虫是违法的行为，也在怀疑自己到底要不要学爬虫，之前有一篇文章特别火，就是《只因写了一段爬虫，公司多人被抓！》，文章里写了因为一名技术人员因爬取数据被抓，那么爬虫真的违法吗？今天我们来探索一下。
目前互联网世界针对爬虫这一块已经通过自身的协议建立起一定的道德规范（Robots协议），但法律部分还在建立和完善中。那么Robots协议是什么呢？
Robots协议
Robots协议（爬虫协议）的全称是“网络爬虫排除标准”（RobotsExclusionProtocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。该协议是国际互联网界通行的道德规范，虽然没有写入法律，但是每一个爬虫都应该遵守这项协议。
下面以淘宝网的robots.txt为例进行介绍。
User-agent:Baiduspider#百度爬虫引擎Allow:/article#允许访问/article.htm、/article/.
联系电话：