사용자가 감정이나 생각을 텍스트로 표현하면
이를 기반으로 음악을 생성하여
편집 가능한 디지털 악보로 제공하는 서비스입니다.
| 데모 앱 | 시연 영상 |
|
|
(↑ 로고를 클릭하면 링크로 이동합니다)
|
|
|
|
|
|
| 정지영_T6158 | 양서현_T6099 | 이상경_T6121 | 이승백_T6126 | 이주용_T6137 | 정종관_T6157 |
|
- 팀장 - 프로젝트 기획 - 모델 조사 - baseline코드 작성 - 웹 프론트엔드 |
- 데이터셋 조사 - 토크나이징 방식 비교 및 실험 - Model 3 구현 |
- 데이터 생성/수집 - Model 1 구현 |
- 데이터 가공 - 백엔드 제작 |
- 토크나이징 방식 개선 - 생성방식 다각화 구상 / 실험 |
- 데이터 전처리 - Model 1 구현 |
기존 음악 생성 서비스는 WAV 형식으로 음악이 생성됩니다.
WAV 형식으로 생성된 음악은 특정 구간이나 악기를 변경하는 것과 같은 세부적인 편집이 어렵거나 불가능합니다.
결과적으로 이는 실제 음악 업계 종사자나 아마추어 작곡가들이 서비스를 이용하기 어려워한다는 이유가 됩니다.
따라서, CodyPlay 프로젝트는 “편집 가능한 음악 생성 서비스는 없을까?” 라는 질문에서 시작하게 되었습니다.
| 01 | 02 |
| Text-to-Music | Symbolic Music Generation |
텍스트 프롬프트를 활용하여사용자가 원하는 분위기, 장르의 음악을 생성하는 서비스 |
편집 가능성을 극복하기 위해언어 모델 기반으로디지털 악보 결과물 제공
|
- 누구나 보다 쉽게 작곡을 할 수 있어 창작에 대한 진입장벽을 낮출 수 있습니다.
- 기존 창작자에게 새로운 시각과 접근 방식을 제공하여 창의적 활동을 보조합니다.
| Model 1 | Model 2 | Model 3 |
| Text Classifier Model | MIDI Generative Model | Extension & Infilling Model |
|
입력 받은 Text를
{ Genre, Emotion, Temp}
로 분류 |
Model 1의 Text Prompt부터
분류한 { Genre, Emotion,
Temp, Instrument} 정보를
바탕으로 MIDI 파일 생성 |
긴 시퀀스의 음악 생성 및
마디 재생성을 위한 모델
|
🔎 모델링에 관한 자세한 내용은
(클릭시 이동) 에서 확인하실 수 있습니다.
[1] MMM : Exploring Conditional Multi-Track Music Generation with the Transformer. Jeff Ens, Philippe Pasquier(2020). arXiv preprint arXiv:2008.06048
[2] YM2413-MDB: A MULTI-INSTRUMENTAL FM VIDEO GAME MUSIC DATASET WITH EMOTION ANNOTATIONS. arXiv preprint arXiv:2211.07131
[3] Anticipatory Music Transformer. arXiv preprint arXiv:2306.08620
[4] Using 🤗 to Train a GPT-2 Model for Music Generation. Juan Carlos Piñeros(2023). https://huggingface.co/blog/juancopi81/using-hugging-face-to-train-a-gpt-2-model-for-musi
[5] SamLowe/roberta-base-go_emotions. https://huggingface.co/SamLowe/roberta-base-go_emotions
[6] The Jazz Page. http://www.thejazzpage.de/
[7] The Lakh MIDI Dataset v0.1. https://colinraffel.com/projects/lmd/
[8] AI Hub 음악 유사성 판별 데이터. https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=71544
