목차
반응형
학습 내용
BeautifulSoup
- 요소 가져오기 실습
- id, class로 원하는 요소 가져오기 실습
동적 웹 사이트에서 원하는 요소 가져오기
- 시간 지연, UI와 상호작용 필요 -> selenium 사용
느낀 점
실습할 때 페이징 처리가 되어있어서 데이터를 얻어낼 때 각 페이지에 대한 요청을 해야 하는데, 한 번에 요청할 경우 서버에 발생하는 부하를 줄이기 위해 시간차를 두고 요청을 했다. 윤리적인 스크래핑에 대해서 항상 생각하면서 스크래핑을 진행해야겠다.
반응형
'기록 > TIL' 카테고리의 다른 글
| [TIL] 231027 - 데브코스 12일차 (0) | 2023.10.27 |
|---|---|
| [TIL] 231026 - 데브코스 11일차 (0) | 2023.10.26 |
| [TIL] 231024 - 데브코스 9일차 (0) | 2023.10.24 |
| [TIL] 231023 - 데브코스 8일차 (1) | 2023.10.23 |
| [TIL] 231020 - 데브코스 5일차 (1) | 2023.10.20 |