WSL을 사용해 분석환경을 만들다가 옛날 버전의 라이브러리를 지우고 새로 깔려다가 이것저것 건들다가 아예 라이브러리들이 지워지지도 깔리지도 않는 상황이어서 이번 기회에 가상환경을 제대로 사용해보기로 했다. 의존성 해결 파이썬을 설치하고 이것저것 라이브러리를 설치하다 보면 문제가 생길 경우가 있다. 바로 여러 패키지들간의 의존성 문제로 버전에 따라서 어떤 것은 지원하고 안하고 굉장히 복잡하기 때문에 파이썬에서 이런 문제 해결을 위해 가상환경 모듈을 제공한다. Venv 모듈 이 모듈은 기존의 설치된 Python위에 각각의 작업공간에 대해 가상환경을 생성한다. 기존의 Python 라이브러리에다가 가상환경에서 설치하게 되면 기본 Python과는 격리해서 패키지를 사용할 수 있음으로 위에서 제기된 의존성 문제를 ..

네이버 증권에서 주식 데이터를 크롤링해서 마트를 생성해 보려고 하다가 여러 가지 현실적인 문제에 부딪혔다. 일단 모든 종목 코드에 대해서 수집해야 하는데 그렇게 되면 약 2700번의 호출이 필요하다 매일... 또한 KOSPI를 수집하는 코드는 잘 작동을 하나 삼성전자라는 주식을 크롤링할 때는 pd.read_html에서 에러가 나길래 해결법을 찾아봤더니 호출할 때는 페이지 오류가 뜨나 인터넷으로 url을 입력하면 잘 된다... 무슨 에러인지 몰라서 패스... 그렇게 다른 곳에서 주식정보를 받을 수 없다가 찾게 된 곳이 공공데이터 포털이었다. 금융위원회_주식시세정보 | 공공데이터포털 (data.go.kr) RestAPI를 활용해서 데이터를 수집한 경험이 많아서 금방 하겠지 했지만 생각이 안나서 간단하게 정리..

폐쇄망 RHEL 7.6에 Python 3.x 를 설치해야되는 상황이 발생 CENTOS 7 이랑 호환된다는 이야기를 들었기 때문에 오픈소스인 CENTOS7을 VM에 설치해 테스트해보기로 했다. 인터넷이 되는환경에서 yumdownloader를 통해 의존성이 있는 라이브러리들을 설치하면서 오프라인에서 설치할 수 있게 미리 미리 준비하도록 하자 우선 필요한 파이썬 패키지와 Python 3.8 과파이썬 패키지 설치를 위한 pip, setuptools 라이브러리를 준비한다. #1 파이썬 설치 gcc 설치 (Python을 설치하기 위해 필요한 컴파일러) 우선 파이썬 설치를 위해 gcc라는 리눅스의 표준 컴파일러를 먼저 설치하여야 한다. gcc 설치를 위한 의존성 설치를 위해 우선 yum-utils를 인터넷이 되는 환..