데이터 만들기필요한 데이터 골라내기필요한 페이지만 가져오기

Q

무한으로 페이지를 가져오게 됩니다..

조회 562

좋아요 5

2021년 3월 26일()




댓글 1

2022년 9월 21일
headers를 설정해주지 않아서???그런 건가요?
A
1개의 답변이 있어요



2021년 3월 27일

댓글 2

2022년 9월 21일
위에 적은 분은 headers를 설정해주지 않은 것 밖에 차이가 없는데.. 왜 그런 결과가 나오는 지 모르겠어요. 나머지 코드는 모두 똑같은데...; 그리고 랑이님의 설명에서....'응답해주는 페이지에서 csrch_tip 클래스는 계속해서 포함되기 때문에'라고 하셨는데, 그렇게 되면, len(soup.select('.csrch_tip'))이 0이 아니게 길어지므로... 저절로 break되게 되니, 무한에서 나오게 되는 것 아닌가요?
2022년 9월 22일
좋은 의문입니당! 이 답변은 아마 쿠키 사용이 필요하게 된 이전에 단 것 같기도 한데 지금은 크롤링을 통해 오류 페이지를 띄우는 경우에도 csrch_tip 클래스가 없게 되네용. 응답해주는 코드를 한번 확인해보시면서 진행해보셔도 좋을 것 같습니당. 아니면 페이지 분석 후 기준을 다르게 잡아봐도 좋을 것 같고용

(주) 코드잇

대표강영훈

개인정보보호책임자강영훈

이메일support@codeit.kr

사업자 번호313-86-00797

통신판매업제 2019-서울중구-1034 호

주소서울특별시 중구 청계천로 100 시그니쳐타워 동관 10층 코드잇