TensorFlow と NLP 技術を使用して詩を作成する AI モデルをトレーニングするトレーニング プロセスで歌詞をトークン化することは、いくつかの重要な目的に役立ちます。 トークン化は、テキストをトークンと呼ばれる小さな単位に分割する自然言語処理 (NLP) の基本的な手順です。 歌詞のコンテキストでは、トークン化には歌詞の分割が含まれます。