목차(클릭하세요)
1. 로봇공학 관련 실무자의 이야기
1-1. [보스턴 다이나믹스 로봇]을 예시로
•
로봇은 두발로 걷는것보다 한발로 서 있는 것이 더욱 어려움
•
보스턴 다이나믹스: 아틀라스(Atlas)가 배터리 포함 무게가 89kg정도
◦
이전형 유압식 아틀라스는 유압 시스템을 기반으로 하여 무게가 약 150kg이었으며, 3.7kWh의 리튬이온 배터리를 탑재하여 약 1시간 동안 다양한 작업을 수행할 수 있었음
•
현실적인 문제들: 무게의 2/3가 배터리임
•
배터리 문제로 장시간 작동이 어려움
•
25년 기준 로봇마라톤 대회가 열리기도 했음
1-2.로봇공학 발전의 히스토리
•
인텔리전스 모션의 2가지
◦
manipulation:행동
▪
(로봇이 **팔, 손, 손가락 등 말단 장치(end-effector)**를 이용해 물체를 다루고 제어하는 모든 행위)
◦
mobility:이동
▪
로봇입장에서 가장 어려운 모션은 곡선이 들어간 움직(미분을 통해 값을 예측해야 하므로
•
기술적 진보와 제도적 확장이 함께 어울어져야 함.
•
High Tech와(기술혁신) Deep Tech(사회혁신)
2. 로봇+AI
2-1. 현재 놀라운 부분: 그래스퍼
•
손움직임:그래스퍼(Grasper)이라고 함
•
로봇 핸드, 집게, 손가락을 포함하여 물체를 파지(grasp)하는 기능을 수행함
2-2.로봇의 역할
•
Tooling: 완전한 Tool로서의 로봇
◦
보통 정해진 행동한 수행하는 로봇
◦
비가역성이 있으면 Tooling임
◦
토마토를 자동으로 수확하는 기계는 토마토가 익지 않았다고 다시 토마토를 붙일 수 없음
•
Handling: 자동화의 완성
◦
환경이 변할때마다 유기적인 반응을 하는 로봇
◦
작업환경에 따라 다른 동작을 수행가능
◦
강화학습, LLM 등이 사용되어 Handling과정으로 가고 있음
•
Cooperation: 인간과 협력
◦
수술용 로봇, 로봇청소기, 협동로봇 등
•
manipulator : 공간의 확장
•
공간의 확장 + 인간의 협력
◦
KIVA system: 물류창고에서 물품이 있는 선반을 **자율주행 로봇(AGV)**이 직접 운반하여 작업자에게 가져다주는 물류 자동화 시스템
3. 한국의 로봇현황
3-1. 일할 사람이 없다?
•
저출생, 고령화 등으로 일할 사람이 없어짐에 따라 로봇공학의 중요성이 커져가고 있음
•
4. 로봇의 미래 with 엔비디아
[엔비디아가 대세인 이유]
•
인공지능 개발을 위해 텐서플로 라이브러리르를 사용하는 것처럼 ‘엔비디아’에서 로봇개발을 위한 기반플랫폼을 무료로 제공하고 있음
•
‘issac’로보틱스 플랫폼: 로봇 개발자들이 인공지능(AI)을 기반으로 한 로봇을 시뮬레이션하고, 훈련하고, 배포할 수 있도록 지원하는 엔드 투 엔드 로보틱스 개발 플랫폼
4-1. Isaac로보틱스 플랫폼
•
AI 기반 로봇 개발을 위한 시뮬레이션 + 제어 + 학습 + 배포 통합 플랫폼
•
로봇이 실제 세계에서 동작하기 전에 가상 세계에서 학습하고 테스트 할 수 있도록 지원
범주 | 구성 요소 | 설명 |
| AI 학습/추론 | TAO Toolkit | 사전 학습 모델을 기반으로 사용자 데이터로 파인튜닝 (Vision, Pose, Detection 등) |
| 시뮬레이션 | Isaac Sim | Omniverse 기반 고정밀 물리 시뮬레이터, 센서 시뮬레이션 포함 |
| 실시간 로봇 운영 | Isaac ROS | ROS2 기반 모듈 (퍼셉션, 제어, SLAM 등) + NVIDIA GPU 최적화 |
| 하드웨어 플랫폼 | Jetson Orin, Jetson Xavier, Jetson Nano | 엣지 로봇용 고성능 AI SoC, CUDA/TensorRT 지원 |
| 로봇 AI 엔진 | DeepStream, TensorRT, CUDA, cuDNN | GPU 가속 기반 AI 연산 프레임워크 |
| 파트너 툴 | Unity, MathWorks, OpenUSD, ROS 2 등 | 외부 플랫폼과 연동 가능, 상호운용성 강화 |
| 데이터셋/시나리오 | RoboNinja, MimicGen, RoboCasa | 합성 데이터 및 시나리오 기반 행동 생성 |
4-2. Training, 시뮬레이션 환경, runtime 등을 제공
4-3. SOTA 모델
•
State-Of-The-Art 의 약자
•
현재 시점에서 가장 우수하고 최신 기술 수준을 의미함
•
용도: 연구 논문, 기술 개발, 산업 적용에서 가장 뛰어난 성능을 보이는 모델 또는 시스템을 지칭할 때 사용
4-4. TAO 플랫폼 정의
•
TAO = Train, Adapt, Optimize
•
기존의 복잡한 AI 모델 훈련 과정을 단순화하여, 코딩 없이도 고성능 모델을 빠르게 만들 수 있도록 함
•
AI 모델을 **쉽고 빠르게 훈련(Train), 조정(Adapt), 최적화(Optimize)**할 수 있도록 지원하는 엔드-투-엔드 AI 모델 개발 플랫폼
임. 특히, 컴퓨터 비전 기반의 산업용 AI 모델 개발에 최적화 되어 있음
•
사전학습 모델: ResNet, EfficientNet, YOLOv4, FasterRCNN, UNet 등 SOTA 모델 내장
•
강점: 객체 감지(Object Detection), 이미지 분류(Classification), 세분화(Segmentation), OCR, Pose Estimation 등에 특화됨
4-5. SDG??(지속가능 발전 말고)
1.
Synchronized Data Generation" (싱크로나이즈드 데이터 제너레이션)이란?
동기화된 데이터 생성을 의미하며, 여러 센서 또는 시스템이 시간적으로 일치된 상태에서 데이터를 동시에 수집하거나 생성하는 기술을 말함.
2. 서로 다른 데이터 소스(예: 센서, 카메라, 로봇, 시뮬레이터 등)로부터 동시에 시간 맞춰 데이터를 수집/생성하는 과정
4-6. Groot 프로젝트?
•
범용 휴머노이드 로봇 개발을 위한 AI 기반 파운데이션 모델 및 시뮬레이션 생태계 구축
5. 실제 로봇의 학습
1.
마커의 역할: 일반적으로, 로봇을 지정된 위치로 정밀하게 이동시키기 위해 마커(Marker)를 사용
2.
로봇이 마커를 인식하면, 해당 마커의 **위치(x, y, z)와 자세(roll, pitch, yaw)**를 추정할 수 있음
3.
ArUco 마커: 로봇공학, 컴퓨터 비전, 증강현실 등에서 널리 사용되는 **이진 패턴 기반의 시각 마커(Vision Marker)**
•
정확한 위치 및 자세(Pose) 인식이 가능하며, OpenCV 라이브러리에서 기본 지원 됨.
4.
Ecosystem
•
Ecosystem(생태계)**은 단순한 로봇 소프트웨어/하드웨어 툴킷이 아니라, 로봇 개발 전체 주기를 지원하는 통합적인 개발 생태계
5.
엔비디아가 로봇 개발자, 기업, 연구자들을 위해 구축한 로봇 AI 개발, 훈련, 시뮬레이션, 배포를 모두 포함하는 통합 생태계