데이터 만들기필요한 데이터 골라내기웹 페이지를 DataFrame으로!

Q

인터넷 뉴스 기사 댓글 crawling 질문

조회 725

좋아요 0

2019년 12월 18일




댓글 3

2019년 12월 20일
댓글은 지금 저는 보이질 않는데, js 로 렌더링 될 것 같습니당. 이런 경우 얻을 수는 있는데 다르게 접근을 해주셔야 해용. 제가 주말에 시간나면 한번 보도록 하겠습니당
2019년 12월 20일
부탁드리겠습니다.(댓글은 기사 제일 아래에 달려있습니다)
2019년 12월 22일
지금 확인해보니 요 댓글은 beautifulSoup로 크롤링할 수는 없을 것 같습니당. selenium이나 아니면 요청하는 주소를 정규표현식을 활용하여 값을 얻어와야 할 것 같아용 ㅠㅠ
A
1개의 답변이 있어요
커뮤니티 파트너 채택



2019년 12월 22일

댓글 2

2020년 4월 26일
댓글을 크롤링해 온다는게 쉬운 일이 아니었나 보군요! api-zero.livere.com 이란 주소는 어떻게 나온 것인가요? 다른 네이버 뉴스등의 댓글도 동일한 주소로 가면 알 수 있나요?
2020년 4월 27일
코드를 분석해봐야 알 수 있을 것이에용. 보통은 요청을 했을 때 그 데이터를 화면에 뿌려주는게 대부분이라 단순히 태그를 크롤링하는 것만으로는 안보일 때도 많습니다. 그래서 개발자도구의 네트워크란을 통해 어떤 값들을 주고 받는지도 확인해보고, 때로는 별도의 툴을 이용하기도 하구용^^

(주) 코드잇

대표강영훈

개인정보보호책임자강영훈

이메일support@codeit.kr

사업자 번호313-86-00797

통신판매업제 2019-서울중구-1034 호

주소서울특별시 중구 청계천로 100 시그니쳐타워 동관 10층 코드잇