계기 여자친구와 함께 쓰는 네이버 블로그가 있었는데, 매주 번갈아가면서 쓰기로 했지만 당연하게도? 지금은 실패하고 말았다. 그래서 생각해보다가 요새 나오는 LLM들이 API가 잘되어있으니 한번 Gemini-api를 통해 자동화하면 어떨까하고 생각하게 되었다.  우선, 우리가 쓰는 맛집 블로그는 어느정도 구조화 되어있다. 반복해서 쓰다보니 여자친구가 정형화를 시켜놓고 나와 여자친구가 비슷한 형식으로 쓰게끔 해줬다. 그렇기 때문에 충분히 자동화로 구현할 수 있을 것 같았다.  또한, 현재 나온 블로그 자동화 서비스들을 보면 ex) 가제트ai , 전혀 사실관계에 대해서 확인하지 않는다. 실제 그 음식점에서 무엇을 파는지, 어떤 분위기인지, 등등. --> 크롤링을 사용해 해당음식점의 정보를 수집하고 이를 활용해..

리눅스 서버에 파이썬을 설치하고 테스트로 hdfs에 저장된 이미지 파일을 파이썬으로 불러올 수 있는지 테스트를 진행 hdfs와 연동하기 위해선 주로 hdfs 라이브러리를 pip을 통해 사용하면 되고 아래와 같은 라이브러리들을 호출 from hdfs import InsecureClient from IPython.display import display, Image from io import BytesIO 네임노드와 연결하는 코드! client = InsecureClient('http://hdfs 네임노드 IP:9870') 연결정보가 맞다면 아래와 같이 client.read()를 통해 하둡의 원하는 위치에 저장되어 있는 데이터를 불러올 수 있게됨 저장된 파일의 위치를 찾으려면 네임노드가 설치된 서버에 접속해..

서울시 도로별 차량통행속도https://topis.seoul.go.kr/refRoom/openRefRoom_1.doTOPIS에서는 현재 서울시의 도로별 실시간 소통현황을 Open API로 제공할 뿐만 아니라 과거 데이터들도 위와 같은 사진과 같이 제공해줌으로 필요한 날짜를 다운로드 받아 활용할 수 있다. 참고로 이 데이터는 TOPIS에서 제공하는 서비스링크와 매핑된다. 전처리데이터 매핑(JOIN)파이썬을 통해 데이터프레임으로 불러와보자링크아이디라는 컬럼이 존재하고 이는 지난시간에 서울시에서 제공하는 서비스링크와 같다고 생각하면 된다. 따라서 서울시 서비스링크 표준링크 아이디를 join문을 통해 매핑한 후 위의 데이터를 서비스링크와 매핑하면 된다. 아래는 해당 코드이다. # 서울시 서비스링크 표준링크아이디..

서울시는 현재 TOPIS라는 시스템에서 현재 도로소통정보에 대한 데이터를 제공하고 있다. 해당 데이터를 활용하여 folium으로 시각화를 진행해보려고 한다. 활용해야될 데이터부터 간단히 알아보자. 전국표준노드링크 https://www.its.go.kr/nodelink/nodelinkRef 전국에 존재하는 교통망에 대한 정보를 표준화를 진행하여 교통정보 실시간 교환에 대한 운용효울성 확보와 대국민 교정보 제공 편의증진을 위해 만들어진 표준교통망DB로 현재 서울시에서도 이를 활용하여 실시간으로 교통정보를 제공하고 있다. 데이터를 다운로드 받게되면 위와같은 파일들을 볼 수 있으며 파이썬으로 .shp 파일을 불러오기 위해서는 위의 데이터 모두 같은 directory에 존재해야한다. 우선 도로에 해당하는 링크에 ..

Oracle VirtualBox를 통해 VM을 생성해서 테스트 할 일이 있었는데 주로 VM 띄워놓고 MobaXterm을 이용해서 활용했었는데 까먹어서 기억하며 기록해본다. 우선 CentOs를 설치하였다. 1. 해당 VM의 네트워크 설정을 "NAT 네트워크" 로 변경해 줘야 한다. 2. OS 설치시 네트워크 설정을 건드리지 않았다면 ifup 명령어를 통해 네트워크 활성화 ifup enp0s3 3. ping 8.8.8.8 을 통해서 외부 연결 확인 4. ip addr 명령어를 통해 enp0s3의 inet ip 주소 확인 예)10.0.2.6 5. Oracle VM VirtualBox 창으로 돌아가서 파일>환경설정 순으로 클릭해 환경설정 창을 네트워크> NatNetwork>포트 포워딩으로 들어간다. 6. 호스트..

피파 온라인 4 데이터 - 이 게임은 유저별로 11명의 선수로 구성된 스쿼드를 구성해 플레이 하는 축구 게임이다.피파온라인4 홈페이지에 10000명의 랭커 정보를 공개하고 있는데 약 3000명의 랭커들의 스쿼드 정보를 수집했다. 추천알고리즘에 대해서 공부하면서 Movielens란 데이터를 활용해서 Tf-idf의 실습을 해보다가 다른 데이터에도 적용을 해보면 어떨까 하다가 시작하게 됐다.마치 Movielens 데이터에서 내가 좋아하는 영화들이 있는데 나랑 비슷한 유저들의 영화 목록을 추천해주듯이 한자리가 고민일 경우에 다른 유저들의 스쿼드 정보를 바탕으로 한명의 선수를 추천해줄수 있지 않을까? 라고 생각이 들었다. 데이터 수집데이터 수집부터 애를 먹었다. 처음에는 셀레니움을 이용해 수집하다가 아무리 시..