안녕하십니까 NLP 공부중인 학부생입니다. transformers 의 AutoTokenizer를 통해 토크나이져를 생성하고, 음절 단위로 임베딩 하였을 때 일부 토큰과 토큰 사이에 공백이 추가된 현상이 있습니다.. 
안녕하십니까 NLP 공부중인 학부생입니다.
transformers 의 AutoTokenizer를 통해 토크나이져를 생성하고, 음절 단위로 임베딩 하였을 때 일부 토큰과 토큰 사이에 공백이 추가된 현상이 있습니다..