서론 요즘 가장 인기있는 chatgpt의 전신이 되는 자연어 처리의 다양한 응용 분야에 대해 알아보겠습니다. 자연어 처리 기술은 텍스트 분석, 문서 분류, 감성 분석, 챗봇, 기계 번역 등 다양한 분야에서 활용되고 있습니다. NLP는 크게 언어 이해와 생성 두가지 분야로 나뉜다. 언어이해 : 주어진 텍스트에서 의미있는 정보를 추출하거나 분류하는 기술 문장 분류, 개체명 인식, 감성 분석 등이 있습니다. 이러한 기술은 인공지능 비서, 챗봇, 정보 검색 시스템 등에서 활용됩니다. 언어생성 : 인간의 언어능력을 흉내내어 자연스러운 텍스트를 생성하는 기술 텍스트 요약, 기계 번역, 자동 작문 등에서 사용, 최근에는 OpenAI가 개발한 GPT(Generative Pre-trained Transformer)와 같..
서론 자연어 처리(Natural Language Processing, NLP)는 인공지능 분야에서 가장 중요하고 활발하게 연구되는 분야 중 하나입니다. 이번 글에서는 NLP가 무엇인지, 어떤 기술들이 포함되어 있는지, 그리고 왜 NLP가 중요한지에 대해 자세히 알아보겠습니다. 1. 자연어 처리(Natural Language Processing)란 무엇인가? 자연어 처리란 인간이 사용하는 언어와 같은 자연어를 처리하고 분석하는 기술입니다. 즉, 자연어 처리는 컴퓨터가 인간의 언어를 이해하고 처리할 수 있도록 하는 기술입니다. 자연어 처리 기술은 다양한 분야에서 활용되며, 대표적인 예로는 기계 번역, 문서 분류, 정보 추출, 감정 분석 등이 있습니다. 2. 자연어 처리의 기술 자연어 처리를 위해서는 다양한 ..
1) 허깅페이스(Hugging Face)란? 허깅페이스는 자연어 처리 모델과 데이터셋을 개발하고 공유하는 오픈소스 플랫폼입니다. Hugging Face는 다양한 언어 처리 작업, 예를 들면 텍스트 분류, 개체명 인식, 기계 번역 등에서 최첨단 모델을 제공합니다. Hugging Face에서 제공하는 대부분의 모델들은 transformers 라이브러리를 기반으로 합니다. 트랜스포머(Transformers)란? 구글에서 개발한 자연어 처리 모델 어텐션 메커니즘을 사용하여 문맥 파악 인코더와 디코더로 구성 대규모 데이터셋으로 사전 훈련된 모델 제공 허깅페이스와 같은 기업에서도 다양한 트랜스포머 모델 제공 보다 자세한 내용은 하단의 게시물 링크 참조 [아직 작성 안 함] 2) Hugging Face의 장점 Hug..
특징 텐서플로우 라이트는 모바일, 임베디드기기 등에서 모델을 사용할수 있게 해주는 도구 모음이다주요한 특징 서버와의 연결이 필요없음으로 인터넷이 없어도 되고 지연시간이 줄어든다 또한 크기 및 전력소비를 줄일수도 있다 다양한 언어로 사용할 수 있다 //도전정신이 뛰어나서 엄Lang같은걸 사용하는게 아닌이상 대부분 지원된다고 생각하자 고성능 // 이건 개발자 역량 차이일듯 모델생성 TensorFlow Lite는 .tflite 파일 확장자로 식별된다. 추론 개념 추론에는 다음관 같은 순서를 일반적으로 따른다 모델로드 .tflite 모델을 메모리에 로드 데이터 변환 모델의 입력 데이터가 예상 입력 데이터와 일치하지 않을 수 있으니 변환 과정을 거쳐야 한다 Ex) 이미지.resize 추론 실행 API를 사용하여 ..
