Python에서 HDFS에 저장된 이미지 불러오기

리눅스 서버에 파이썬을 설치하고 테스트로 hdfs에 저장된 이미지 파일을 파이썬으로 불러올 수 있는지 테스트를 진행

 

hdfs와 연동하기 위해선 주로 hdfs 라이브러리를 pip을 통해 사용하면 되고 아래와 같은 라이브러리들을 호출

from hdfs import InsecureClient

from IPython.display import display, Image

from io import BytesIO

 

 

네임노드와 연결하는 코드!

client = InsecureClient('http://hdfs 네임노드 IP:9870')

 

 

연결정보가 맞다면 아래와 같이 client.read()를 통해 하둡의 원하는 위치에 저장되어 있는 데이터를 불러올 수 있게됨

저장된 파일의 위치를 찾으려면 네임노드가 설치된 서버에 접속해 hdfs dfs 명령어를 통해 찾아가면 된다

with client.read('/budget.png') as reader:

    image_content = reader.read()

 

 

아래와 같이 불러온 데이터를 불러와 image로 표출해주는 코드를 사용해 표출하게 되면 

image_stream = BytesIO(image_content)

display(Image(data=image_stream.read(), format='png'))

hdfs에 저장한 사진

내가 hdfs에 저장한 사진을 파이썬으로 Load 할 수 있다!