하찮은 코딩일기

성공했다. 이 모든 영광을 파파고에게. 이 메일이 왔다면 당신은 트위터API를 사용할 준비가 되었다는 뜻이다. 트위터 개발자포털에 들어가면 위와 같은 화면이 나온다. New Project를 누르면 프로젝트 이름을 설정하고, 어디에 사용 할 것인지. 프로젝트 설명 App의 이름. 위의 과정들을 모두 마쳤다면, 당신의 API key, Secret Key, Breaer Token이 생성된다. 이건 본인만 알고있어야한다. 한 번 발급 이후로는 재발급만 가능하니. 만약 잃어버렸다면, 프로젝트 > 프로젝트 명 > Keys and tokens 에서 재발급이 가능하다. 재발급시엔 기존에 사용되던 키는 사라진다. 키 발급까지 끝났다면, 이제 트위터 크롤링을 위한 첫 스텝을 밟은 셈이다. pip install tweepy..

트위터를 크롤링 해보자. 이전 두 포스트는 url request를 통해서 html을 파싱해서 데이터를 긁어오는 웹 입장에서 다소 껄끄러운 작업이었다면, 트위터는 자체 API를 제공해서 "합법적"으로 데이터를 받아올 수 있다. 트위터 API를 사용하려면 우선 트위터 계정이 필요하고, 개발자 신청이 통과 되야한다. 우선 https://developer.twitter.com/en Use Cases, Tutorials, & Documentation Publish & analyze Tweets, optimize ads, & create unique customer experiences with the Twitter API, Twitter Ads API, & Twitter Embeds. developer.twitt..

이번 포스트에서는 Selenium을 이용한 크롤러를 제작 해 보겠다. bs4를 이용한 크롤러는 아래 링크 확인. 2021.07.21 - [python] - [파이썬 기초] 웹 크롤러 만들기 설치 pip install selenium 이전 포스트에서 셀레니움이 제어 가능한 웹 드라이버를 이용해 크롤링을 수행한다 말 했었고, 사용되는 브라우저가 크롬을 비롯해 다양하다고 언급했었다. 패키지를 훑어보면 사용가능한 드라이버를 알 수 있다. Firefox Chrome Ie Edge Opera Safari BlackBerry PhantomJS Android 등등 크롬에서 수집이 불가해서 다른 브라우저를 사용한 적이 있지만, 대부분 크롬을 사용한다. 우리가 사용하고있는 크롬대신, 크롬 드라이버라는 프로그램을 사용하기때..