[파이썬 크롤러 ] Tweepy를 이용한 트위터 크롤링 [1]

트위터를 크롤링 해보자.

이전 두 포스트는 url request를 통해서 html을 파싱해서 데이터를 긁어오는

웹 입장에서 다소 껄끄러운 작업이었다면,

트위터는 자체 API를 제공해서 "합법적"으로 데이터를 받아올 수 있다.

 

트위터 API를 사용하려면 우선 트위터 계정이 필요하고, 개발자 신청이 통과 되야한다.

우선 

https://developer.twitter.com/en

Use Cases, Tutorials, & Documentation

링크를 통해서 트위터 개발자 포럼에 가보자.

 

기존 계정이 있다면 로그인하고, 없다면 회원가입을 진행하자.

위의 링크에서 로그인 하면, Apply라는 항목이 보인다. 눌러보자

 

 

Apply for access라고 대문짝만하게 써있다.

아래에 developer 글자가 더 눈에 띈다면. 당신은 개발자

 

Apply for a developer account를 눌러 다음 단계에 진입해본다.

 

 

나름 영향력 있는 sns라서 그런지 API발급이 까다롭다.

용도에 맞는 아이콘을 클릭하면 된다. 

프로페셔널이나 아카데믹이신분들은 제 포스트의 방향성과 맞지 않습니다. 나가주세요.

농담입니다. 

배움에는 위아래가 없다고 했습니다.

 

일단 취미 목적이니 Hobbyist를 눌러서 진행합니다.

 

 

 

이 글을 읽는 여러분의 목적이 무엇인지 알 수 없지만, 일단 Exploring the API를 누릅니다.

저의 경우엔요.

그 뒤엔

기본정보를 입력하시면 됩니다.

 

지져스.

 

트위터 데이터와 API로 뭐 할건지 물어봅니다.

심지어 처음부터 In English라고 써있네요. 영어 자소서는 써본지가 언제인지 모르겠지만,

Show your English skill. 

영어로 왜 신청하는지 적어줍시다.

신에게는 구글 번역과 파파고 번역이 있습니다. 어떤 소가 일을 더 잘하는지는, 

저는 별 관심이 없습니다. 빈약한 영어실력에 연두같은 감칠맛을 더해줄 뿐이니까요.

 

이건 시작일 뿐이고, 밑에 내리다보면 몇 가지 질문들이 더 존재합니다.

잘 읽어보시고 본인에 맞지 않으면 클릭하셔서 disabled 해주시고 다음을 눌러줍시다.

 

그럼 Review로 넘어가서 작성한 내용들을 다시 보여줍니다.

확인해보시고 추가하거나 빼고싶은 항목이 있다면 가감하고 다음으로 넘어갑니다.

 

계약서는 잘 읽어보셔야 합니다.

하지만 그렇게 자라오지 못 한 저에게 계약서는 흰건 공백이고 검은건 글자. 네모박스에 서명만 하면 되는.

그런 종이에 불과하죠. 여러분들은 다 읽어주시기 바랍니다.

이제 상기 제출한 이메일로 들어가서 

verify를 누른 뒤 서류를 제출한 취준생이나 수험생의 마음으로 트위터의 심사를 기다리시면 됩니다.