Web-spider는 인터넷상의 웹 페이지를 자동으로 탐색하고 데이터를 수집하는 소프트웨어 프로그램을 의미하는 명사입니다. 흔히 '크롤러(crawler)'나 '검색 엔진 봇(search engine bot)'이라고도 불립니다. 이 프로그램은 웹사이트의 링크를 따라다니며 정보를 읽어 들여 검색 엔진의 데이터베이스에 저장하는 역할을 수행합니다. 일반적인 거미가 거미줄을 쳐서 먹이를 잡듯, 이 프로그램이 월드 와이드 웹(World Wide Web)이라는 거대한 그물망을 돌아다니며 정보를 낚아채기 때문에 '스파이더'라는 이름이 붙었습니다. IT 분야에서 주로 사용되는 전문 용어이며, 일반적인 대화보다는 웹 개발, SEO(검색 엔진 최적화), 데이터 분석과 관련된 문맥에서 자주 등장합니다. 'Spider'라는 단어 자체가 생물학적 거미를 뜻하지만, IT 문맥에서는 반드시 이 자동화된 프로그램을 지칭하므로 혼동하지 않도록 주의해야 합니다. 웹사이트 관리자들은 때때로 특정 웹 스파이더의 접근을 제한하기 위해 'robots.txt' 파일을 설정하기도 합니다.
