본문 바로가기

major/Python

네이버 포스트 댓글 수집 프로그램 (python selenium) 마케터분들이 무한 Ctrl+C, Ctrl+V에서 벗어나길 바라면서 네이버 포스트 댓글 수집 프로그램을 만들어봤습니다. 기존에 네이버 블로그 댓글 수집 프로그램을 만드신 Comment Dadda님의 게시글과 NaverCapcha를 참고하여 코드를 작성했습니다. [개발 환경] Windows 10 Python 3.10 [다운로드] 프로그램은 .exe 실행 파일로 윈도우 컴퓨터에서만 실행 가능합니다. [프로그램 사용 전 필수 체크] 1. 프로그램을 실행하기 위해서 크롬 브라우저가 필요합니다. 없다면 크롬 브라우저 홈페이지에서 다운 및 설치해주세요. 2. 사용하는 크롬 브라우저의 version에 맞는 Chromedriver가 필요합니다. 먼저 크롬 브라우저의 오른쪽 상단 ⁝를 클릭해서 설정 화면에 들어갑니다. C.. major/Python 2021. 10. 13.
파이썬에서 mongoDB 연동하기 - Pymongo 파이썬 3.8.2 기준으로 작성된 문서입니다. 파이썬으로 mongoDB를 제어하는 방법을 정리했습니다. DB 연결 방법, insert, delete, update, query(=find)문을 사용하는 방법을 정리했습니다. 1. Pymongo 패키지 설치 파이썬에서 mongoDB를 제어하기 위해 먼저 pymongo 패키지를 설치합니다. python -m pip install pymongo 2. DB 연결 from pymongo import MongoClient from pymongo.cursor import CursorType host = "localhost" port = "27017" mongo = MongoClient(host, int(port)) print(mongo) 3. Insert문 insert.. major/Python 2020. 4. 20.
파이썬으로 JSON 파싱하기 openAPI로 데이터를 받을 때 JSON에 대해서 처음 알게 되었습니다. 대부분의 API가 JSON 형식으로 데이터를 주기 때문에 꼭 알아야 하지만, 하지만 제대로 공부하지 않고 필요할 때만 급급하게 사용해와서 파싱 할 때 헤맨 적이 많아서 공부할 겸 한번 정리해봤습니다. 1. JSON 형식 JSON은 Key-Value 쌍으로 이루어진 Object 형식으로 이루어질 수 있습니다. # Key-Value로 이루어진 jsonObject { "id": 1, "name": "hellollama" } 그리고 Value에 들어갈 값이 여러개일 때 Array를 사용합니다. # Array { "id": 1, "name": ["hellollama", "choppermask"] } Value에 들어갈 자료형으로는 Numb.. major/Python 2020. 4. 19.
파이썬 문서화하기 - docstring 소스코드는 한번 짜면 끝이 아닙니다. 프로그램이 문제없이 돌아가기 위해서는 유지보수를 계속 해야합니다. 유지보수를 위해서는 네이밍 규칙 정하기, 간결한 코드 작성, 버전 관리 툴 사용등과 같은 방법이 있습니다. 하지만 그 무엇보다도 코드가 어떤 동작을 하는지, parameter은 무엇이고 return 값은 무엇인지에 대해서 문서화를 해야 새로운 팀원이 코드를 봐도 빠르게 이해하고 팀에 녹아들 수 있을것입니다. 저는 개발자가 많은 프로젝트에 참여한 경험이 없어서, 이때까지 문서화에 소홀히해왔습니다. 최근 파이썬으로 진행한 프로젝트가 커지면서 문서화가 필요하다고 생각해서 공부하게 되었고 그 내용을 포스팅으로 정리했습니다. 1. Docstring 위치 함수 선언부 바로 아래에 따옴표를 사용해서 작성할 수 있습.. major/Python 2020. 4. 18.
파이썬으로 가우시안 필터링하기 가우시안 필터(Gaussian Filter)는 노이즈를 제거하기 위해서 사용하고 필터링을 하면 이미지가 흐려집니다. sigma의 값에 따라서 필터링의 정도가 결정되는데, 그 식은 아래와 같습니다. 가우시안 필터링을 하게 되면 저주파만 남게 됩니다. 원본 이미지에서 가우시안 필터링 한 이미지를 빼게 되면 원본 이미지 - 저주파가 되므로 고주파만 남게 됩니다. 간단하게 가우시안 필터에 대해서 정리해봤는데, 위 이론을 기본으로 opencv를 활용해서 가우시안 필터링을 해봤습니다. 그리고 직접 가우시안 필터를 구현해봤습니다. 이번 포스팅에서는 opencv를 사용합니다. 깔려있지 않다면 pip install opencv-python 명령어로 설치할 수 있습니다. 1. opencv로 1D gaussian filte.. major/Python 2020. 4. 17.
파이썬으로 REST API 개발하기 - Django 파이썬 3.7.6을 기준으로 작성된 문서입니다. 앱을 개발하면서 많은 API를 사용해봤는데 항상 이 API는 어떻게 개발하는 건지 궁금했습니다. 최근 현업에 계신 분의 글을 보다가 Django로 REST API를 간단하게 구현할 수 있다는 걸 알게되어서 한번 시도해봤습니다. 이번 포스팅에서는 장고 홈페이지에서 제공하는 첫 번째 장고 앱 작성하기 part2까지 진행했다고 가정한 후, 작성한 앱에 REST API를 추가하는 방법에 대해서 정리했습니다. 그리고 Python으로 API를 파싱하는 방법까지 정리했습니다. 장고 공식사이트에서 제공하는 "첫 번째 장고 앱 작성하기" 바로가기 먼저 REST API 개발을 위해 필요한 라이브러리를 설치합니다. pip install djangorestframework pi.. major/Python 2020. 4. 7.
파이썬 공공 API 가져오기 - 공적 마스크 안드로이드로 공적 마스크 데이터를 가져오는 앱을 개발하다면서 공적 마스크 데이터를 처음 봤습니다. API에서는 실시간 데이터만 제공하고 10분마다 업데이트 된다는 것을 알았습니다. 문득 이 데이터들을 저장하면 나중에 머신러닝 할 때 써먹을 수 있지 않을까라는 생각이 들어서 간단하게 파이썬으로 공적 마스크 데이터를 가져오고 CSV파일로 저장하는 코드를 작성해봤습니다. 그리고 데이터가 10분마다 업데이트 되기 때문에, 10분마다 데이터를 가져오고 저장하도록 자동화해봤습니다. 공적 마스크 데이터에 대한 설명은 이전 포스팅을 참고해주세요. 이번 포스팅에서는 생략했습니다. 이전 포스팅 ☛ 공적 마스크 데이터 설명 1. 공적 마스크 데이터 가져오기 먼저 공적 마스크 판매처 데이터를 저장했습니다. urlopen과 j.. major/Python 2020. 3. 25.
맥(macOS)에서 파이썬 윈도우 실행파일 만들기 맥북에서 파이썬 실행파일을 만들기 위해 pyinstaller를 사용했습니다. 현재까지 작성한 트위터 크롤링 코드에 gui프로그래밍을 입혀서 배포할 생각이었는데요, 대부분 운영체제로 윈도우를 사용하기 때문에 많은 사용자에게 제공하려면 윈도우에서 실행가능한 exe파일을 올려야 했습니다. pyinstaller로 만든 실행파일이 당연히 윈도우에서 열리겠지 했는데, 맥에서 실행파일을 만들고 윈도우에서 열어보니 실행파일이 아니라 그냥 파일로 읽어집니다. 급하게 검색을 해보니 pyinstaller는 실행한 OS에 맞는 실행파일을 만들어 준다고 합니다. 맥에서 파이썬 윈도우 실행파일을 만들려면 wine이라는 툴이 필요하다고 해서 시도해 봤습니다. 1. 아래 명령어를 통해 wine을 설치해줍니다. brew cask in.. major/Python 2020. 2. 24.

티스토리툴바