ETC 5

[CSV to JSON] 공공데이터 자료 변환 후 mongoDB에 넣기

1. 문제점이번 프로젝트에서 공공데이터를 활용해서 DB에 넣을 필요가 있었다이때 주어진 csv 파일이 문제가 있었는데, 정규화가 하나도 안된 상태였다사용한 공공데이터는 아래 링크에서 볼 수 있다https://www.data.go.kr/data/3038404/fileData.do?recommendDataYn=Y  한국산업인력공단_국가기술자격 종목별 시험정보_20220620국가기술자격의 종목별 시험정보(종목명, 개요, 변쳔과정, 수행직무, 진로 및 전망, 취득방법)에 대한 데이터입니다.www.data.go.kr우선 엑셀로 파일을 열어서 확인해봤는데 아래와 같았다Column이 3개로만 나누어져있었으며 type이라고 정의한 곳에는 사실 column으로 가야하고 contents는 각 컬럼에 맞게 내용으로 가야한다..

ETC 2022.07.30

[Socket] Socket 통신

Socket with Python Socket을 사용하게 된 이유 프로젝트를 진행하면서 컴퓨터 1대에는 감정인식, 다른 한대에는 답변 생성기로 부득이하게 나누어 진행했다. 기존에는 답변생성기에 웹 서버를 구현해서 만들었었는데, 감정인식을 하는 본래 우리 컴퓨터에 웹서버를 만들기 위해서 socket통신 방식을 선택했다. python Socket 사용 법 server.py import socket host = "127.0.0.1" #서버 ip주소 port = 8080 # 서버 포트 soc = socket.socket(socket.AF_INET, socket.SOCK_STREAM) #tcp방식으로 연결 soc.bind((host, port)) soc.listen(5) #5개 까지 연결 가능 while(True..

ETC 2021.07.28

[Authorization] OAuth 2.0

OAuth 2.0 용어 Resource Owner(user): 사용자-> google이나 facebook에 계정이 있고 내가 만든 사이트를 사용하고자 함 Resource Server: google이나 facebook 계정 data를 가지고 있음 Authorization Sever: google이나 facebook과 같은 곳 인증과 관련 된 서버 Mine(client): 내가 만든 서비스 등록 과정 client Id: 우리가 만드는 app의 식별자 client Secret: 절대로 노출되면 안되는 id에 대한 비밀번호 Authorized redirect URIs: 해당 주소로 authorized code가 전달됨 인증 과정 (Resource Owner의 승인) Resource Owner(user)가 Cli..

ETC 2021.07.28

[SERVER] FLASK

flaskflask 사용 이유검색을 해보니 django보다 조금 더 가벼운 형태로 사용할 수 있다고 해서 선택하게 되었다.실제로 사용해보니 문법도 파이썬이라서 간편하고 라우팅 하는 부분만 이해하면 간편하게 쓸 수 있었다.개발 하는 내용감정인식 기반의 답변 출력 챗봇 웹 형태로 제작 및 UX/UI 적용> flask 코드import osimport jsonimport numpy as npimport torchfrom dialogLM.model.kogpt2 import DialogKoGPT2from kogpt2_transformers import get_kogpt2_tokenizerfrom flask import Flask,request,Response,render_templatearr=[]app=Flask(..

ETC 2021.07.28

[GIT] GIT 커밋취소, gitIgnore

GIT에 원치않는 개인정보가 올라갔을 때ignore파일에 파일명을 설정했는데도 실제로 그냥 올라가 버리는 경우가 있다.따라서 이럴땐 커밋내용을 지우고 다시 gitignore 파일을 설정해서 올려서 개인정보를 지워야한다. 아래와 같은 순서로 진행하면 다시 올릴 수 있다.1. GIT 커밋 취소commit 내용 취소git log #커밋 이력을 확인한다git reset HEAD^ #이전의 커밋내용 하나를 지운다git push -f origin (branch 이름) #커밋내용을 지우고 다시 pushcommit 여러개를 지우고 싶은 경우git log #커밋 이력을 확인한다git reset HEAD~3 #이전의 커밋내용 3개를 지운다git push -f origin (branch 이름) #커밋내용을 지우고 다시 pu..

ETC 2021.07.27