mgonzs13/llama_ros

어떤 프로젝트인가요?

핵심 기능

• 01GGUF LLM, llava 기반 VLM, 오디오-언어 모델을 ROS 2 노드로 실행합니다.
• 02tool calling과 스트리밍을 지원하는 OpenAI 호환 채팅 완성 인터페이스를 제공합니다.
• 03초안 모델 및 ngram 기반 방식의 speculative decoding을 지원합니다.
• 04Hugging Face에서 모델을 다운로드하거나 로컬 GGUF 파일을 불러옵니다.
• 05GPU 오프로딩, CUDA 빌드 옵션, 세부적인 CPU 및 메모리 튜닝 파라미터를 제공합니다.
• 06YAML에서 모델을 실행하고 프롬프트를 보낼 수 있는 `ros2 llama` CLI를 포함합니다.

활용 사례

• 자연어 명령이나 채팅을 위해 ROS 2 로봇에 로컬 언어 모델을 추가합니다.
• 카메라 이미지를 VLM 노드에 전달해 로봇에 비전-언어 이해 기능을 제공합니다.
• ROS 2 노드에서 로컬 모델을 호출하는 RAG 또는 LangChain 파이프라인을 구축합니다.
• ROS 2 시스템 안에서 임베딩 또는 리랭킹 모델을 실행합니다.

빠른 시작

1. 1

   llama_ros 리포지토리를 ROS 2 워크스페이스의 src 폴더에 클론합니다

   git clone https://github.com/mgonzs13/llama_ros.git
2. 2

   requirements.txt에서 Python 종속 항목을 설치합니다

   pip3 install --break-system-packages --ignore-installed -r requirements.txt
3. 3

   ROS 2 종속 항목을 설치한 다음 colcon으로 워크스페이스를 빌드합니다

   rosdep install --from-paths src --ignore-src -r -y
4. 4

   YAML 구성 파일에서 사전 정의된 모델을 실행합니다

   ros2 llama launch ~/ros2_ws/src/llama_ros/llama_bringup/models/StableLM-Zephyr.yaml

사용 전 알아둘 점

• !ROS 2를 설치하고 colcon으로 소스에서 빌드해야 합니다.
• !모델은 Hugging Face에서 다운로드하며 launch 파일이나 YAML에서 구성해야 합니다.

포함된 컬렉션

토픽

자주 묻는 질문

llama_ros은(는) 무엇인가요?

ROS 2 노드에서 llama.cpp를 통해 GGUF 기반 LLM, 비전-언어 모델, 오디오 모델을 실행하는 ROS 2 패키지 모음입니다. llama_ros는 llama.cpp를 ROS 2 노드로 감싸 로보틱스 프로젝트가 ROS 2 그래프 안에서 GGUF 언어 모델, 비전-언어 모델(llava.cpp 사용), 오디오-언어 모델, 임베딩 모델, 리랭킹 모델을 실행할 수 있게 합니다. ROS 2 파라미터나 YAML 파일로 모델을 설정할 수 있으며, 저장소와 파일 이름을 지정해 Hugging Face에서 모델을 바로 다운로드할 수도 있습니다.

llama_ros은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

llama_ros은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

llama_ros은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. llama_ros의 마지막 커밋은 2026년 11월 6일입니다.

llama_ros은(는) 어디에 사용할 수 있나요?

자연어 명령이나 채팅을 위해 ROS 2 로봇에 로컬 언어 모델을 추가합니다. 카메라 이미지를 VLM 노드에 전달해 로봇에 비전-언어 이해 기능을 제공합니다. ROS 2 노드에서 로컬 모델을 호출하는 RAG 또는 LangChain 파이프라인을 구축합니다. ROS 2 시스템 안에서 임베딩 또는 리랭킹 모델을 실행합니다.

llama_ros는 어떻게 설치하나요?

llama_ros 리포지토리를 ROS 2 워크스페이스의 src 폴더에 클론합니다: git clone https://github.com/mgonzs13/llama_ros.git requirements.txt에서 Python 종속 항목을 설치합니다: pip3 install --break-system-packages --ignore-installed -r requirements.txt ROS 2 종속 항목을 설치한 다음 colcon으로 워크스페이스를 빌드합니다: rosdep install --from-paths src --ignore-src -r -y YAML 구성 파일에서 사전 정의된 모델을 실행합니다: ros2 llama launch ~/ros2_ws/src/llama_ros/llama_bringup/models/StableLM-Zephyr.yaml

llama_ros은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/mgonzs13/llama_ros