안녕하세요!!!
베키입니다!!
다들 제 수정된 주제 보고 오셧나요??
오늘은 주제가 수정되면서
제가 API를 사용해 데이터를 확보하게 되었는데!!!
그 과정들을 보여주려고 합니다!!!
★What is API??★
출처 : 노마드 코더 Nomad Coders 유튜브
제가 정말 좋아하는 개발자 노마드 코더는 API를 키보드로 컴퓨터와 소통하는 거!!라고 하는데요!!
학교 교수님의 설명으로 들으면 이해가 어렵지만,,,
간단하게 클릭클릭으로 데이터를 얻는게 아니라,
코드를 쳐서 데이터 서버와 소통해 데이터를 얻어 내는 겁니다!!!
그런데 소통을 하려면 저와 데이터 서버와 약속된 password가 있어야겠죠??
바로!!
API KEY !!
Api key를 먼저 발급받고,
데이터 서버에 내 패스워드인 key를 입력하면
내가 원하는 데이터를 가져올 수 있습니다!!!
그러면 저도 Google API를 사용하기위해 API KEY를 생성했겠죠??
★API KEY 발급받기★
이렇게 Google Developer에 들어가 API KEY를 생성해주었습니다!!
그러면 이제 API 사용 준비 끄읏!
★API 사용하기 위한 pyhton코드 작성★
이렇게 API를 호출해서,
제가 원하는 영상을 다운 받을 수 있는 코드를 작성했습니다.
12시간 정도 코드를 치면서,,,,
API 연결하는 코드 치는게 생각보다 쉽지는 않았는데요ㅜㅜㅜㅜ
대략 170 줄 정도의 코드를 치고 저는 학교 줌 강의를,,,, 날ㄹ..ㅕㅆ습니다.///
API를 호출에서 데이터를 불러오는 코드를 작성하는 내용은
구글링해도 많이 나오고, 유튜브에도 많이 있습니다.
저의 지식과 많은 참고문헌들을 참고해서 all night stand했더니!!!
코드 완성! 했습니다..
코드 필요하신 분은 따로 연락주시면 제 git을 알려드리겠습니당!
★API로 데이터를 확보했더니!! 갑분 .json★
제가 요즘 '가짜사나이'로 핫한
유튜브 채널 '피지컬 갤러리' 채널의 채널 정보를 API로 가져왔더니,,,,
위처럼 dictionary자료형 인 것 같기도 한....
애매한..... 자료가 불러왔는데요....
보시면 '피지컬 갤러리'채널이
구독자수 : 2720000명
영상 개수 : 527 개
인 것을 알 수 있습니다!!
결국 .json은 Dict자료형과 매우 유사하기에,,,,,
.json에서 key, value를 제대로 뽑아내
DataFrame을 만드는 코드도 작성....ㅎㅎ
★이 모든 과정을 거쳐서 나온 눈물의 DataFrame★
하... 모든게 끝났습니다.....
제가 조회수 순으로 sorting해놨는데,,,
역시 '피지컬 갤러리' 채널의 영상 상위권은 대부분 '가짜사나이'네요 ㅋㅋ
개인적으로 가짜사나이 너무 좋아합니다~~(Agent.H훗 ㅋㅋ)
★그럼 앞으로 모든 걸 다 다시??...★
제가 채널 총 80개 영상 최소 15000개 정도를 유튜브에서 불러온다고 계획서에 썼는데
이 모든 과정을 다 다시???해야한다는 의문이 들 수 있습니다 ㅎㅎ
유튜브 채널 주소만 바뀌면 모든 코드는 똑같은 과정을 수행해 각자의 DataFrame을 생성해 줍니다 ㅎㅎ
일일이 바꾸는게 귀찮다면 ㅋㅋㅋ
주소를 다 [list]에 넣고 거대한 for 문을 돌리면 되겠죠??
근데 내 노트북이 걱정되지만....
일단 채널 '피지컬 갤러리'의 통계 데이터가 있어 추출가능한 400개 정도의 영상을
데이터 프레임으로 코드를 돌려 추출하는데 10분도 소요 되지 않았습니다!!!
앞으로 남은 79개의 채널도 가능할 것 같습니다!!!
★이렇게 끄읏★
이 아니라!!
Brightics Studio를 사용해
script 함수를 사용해 python코드를 돌려
DataFrame이 저장된 csv를 생성하는 방법이 있습니다!!
위의 마지막 코드에
df.to_csv('피지컬 갤러리.csv') 한 줄만 추가적으로 넣어주고 Brightics Studio로 돌려보겠습니다!!
이렇게 스크립트를 작성했고!!!
pyhton 코드 조금 수정했더니!
보면 정상적으로 돌아가고 있습니다!
이렇게 나온 결과가!!!!
이렇게 나왔는데
encoding 과정에서 문제가 있는지...
영상 제목 깨진 것 말고는 성공이네요!!!
이렇게 데이터 생성부터 분석까지 Brightics로 한 번에 할 수 있겠네요!!!
이렇게 해서 모든 10차 미션 모든 포스팅 끄읏!!
#브라이틱스 #Brightics #Studio #google #API #튜토리얼 #유튜브 #피지컬 갤러리 #영상데이터 #가져오기 #개인분석 #크롤링 #이제성공 #ERROR #가짜사나이 #서포터즈 #삼성SDS #데이터처리 #생성 #분석 #한번에 #노마즈코더 #APIKEY #키 #제이슨파일
