huggingface / tokenizersGitHubNLPや言語モデルのパイプライン向けに、Rustで実装され、PythonとNode.jsのバインディングを備えた最先端の高速トークナイザーライブラリ。AI・機械学習#nlp#tokenization#rust#python#language-model1.1万1229RustApache-2.0更新 14 時間前