引言
有沒有遇到過這樣的情況：當你手持手機或相機準備拍攝視頻時，心中已經(jīng)構(gòu)想了完美的畫面，但卻因為實際的限制無法捕捉到理想中的角度？這種情況可能會讓人感到挫折。例如，如果想要從地面一只螞蟻的視角拍攝，鏡頭需要與螞蟻處于同一水平線上，這在操作上不僅困難，而且往往難以實現(xiàn)。

盡管目前市場上有許多穩(wěn)定設(shè)備如平衡環(huán)架（gimbal）來輔助拍攝，以求達到穩(wěn)定和多角度的拍攝效果，但在此篇文章中，我將探索一種獨特的解決方案：通過將手機安裝在機械臂的末端來進行拍攝，以實現(xiàn)那些傳統(tǒng)方法難以捕捉的特殊視角。此次嘗試不僅旨在克服拍攝過程中的物理限制，而且也期望通過技術(shù)的創(chuàng)新來開拓我們對攝影角度的想象和實踐。

設(shè)備
myCobot 320 M5stack
myCobot 320，一款具備六自由度的協(xié)作型機械臂，憑借其獨特的設(shè)計和高精度伺服電機成為了領(lǐng)域內(nèi)的亮點。這款機械臂擁有最大350mm的工作半徑和最大1000g的末端負載能力，使其適用于廣泛的應用場景。myCobot 320不僅支持靈活的視覺開發(fā)應用，還提供了深入的機械運動原理解析，為用戶帶來了12個標準的24V工業(yè)IO接口，滿足不同的開發(fā)需求。

它的開放性極高，兼容大多數(shù)主流操作系統(tǒng)和編程語言，包括Python和ROS等，為開發(fā)者提供了極大的靈活性和自由度。無論是在教育、研發(fā)還是工業(yè)應用中，myCobot 320都能提供強大支持，使創(chuàng)新和應用開發(fā)更加便捷高效。

myCobot Pro phone holder
它可以安裝在myCobot 320，myCobot pro 630機械臂的末端，能夠穩(wěn)定的固定住手機。

以上就是我們需要使用到的設(shè)備了。

初次嘗試
安裝手機支架
整體安裝的效果圖片

基礎(chǔ)控制測試
做一個簡單的嘗試。

拍攝視頻
給機械臂進行關(guān)節(jié)控制的編程，讓我們一起看看效果如何。

盡管視頻中展示的機械臂運動軌跡看似簡單，但實際上，調(diào)整這些軌跡點位仍需耗費大量時間，且效果未必理想。因此，我在考慮是否存在更優(yōu)解決方案，例如，通過設(shè)定幾種運動模式和預先規(guī)劃機械臂的拍攝路徑。這不僅能夠有效利用機械臂輔助拍攝，同時也提供了一種更為高效的部署方式。

編程挑戰(zhàn)
開發(fā)需求分析
確定使用的設(shè)備如下

需求：需求優(yōu)化：

目標是為靜態(tài)物體拍攝場景設(shè)計一系列創(chuàng)新的視頻拍攝方式，初步計劃采用三種方法：

1. 利用機械臂末端固定的手機，實現(xiàn)物體360°全景視頻拍攝。

2. 創(chuàng)建一種畫面效果，從遠處平緩推進至物體近前，模擬“拉近鏡頭”的效果。

3. 實現(xiàn)機械臂末端的快速旋轉(zhuǎn)與移動，捕捉動感十足的畫面。

為了精準控制拍攝過程，計劃利用OpenCV機器視覺算法和AVFoundation iOS框架，通過Python腳本控制機械臂的精確運動。我們將通過手機攝像頭識別物體的尺寸，進而計算出機械臂末端與物體之間的理想距離。根據(jù)這個距離，設(shè)計相應的機械臂運動算法，確保拍攝過程中能夠獲得最佳畫面效果。

YOLO視覺算法
為了節(jié)省時間，我們將不會自行訓練機器視覺算法來識別特定物體。相反，我們直接采用其他開發(fā)者已經(jīng)訓練優(yōu)化的YOLOv5庫，以實現(xiàn)對目標物體的準確檢測。

import cv2 import torch from pathlib import Path from models.experimental import attempt_load from utils.general import non_max_suppression, scale_coords from utils.torch_utils import select_device, time_synchronized def detect_apples(img_path): device = select_device('') weights = 'yolov5s.pt' model = attempt_load(weights, map_location=device) img0 = cv2.imread(img_path) # BGR img = img0[:, :, ::-1] # RGB img = torch.from_numpy(img).to(device) img = img.float() # uint8 to fp16/32 img /= 255.0 # 0 - 255 to 0.0 - 1.0 if img.ndimension() == 3: img = img.unsqueeze(0) # Inference t1 = time_synchronized() pred = model(img)[0] # Apply NMS pred = non_max_suppression(pred, 0.4, 0.5, classes=None, agnostic=False) t2 = time_synchronized() print(f'Inference time: {(t2 - t1):.3f}s') # Process detections for i, det in enumerate(pred): # detections per image gn = torch.tensor(img0.shape)[[1, 0, 1, 0]] # normalization gain whwh if len(det): det[:, :4] = scale_coords(img.shape[2:], det[:, :4], img0.shape).round() for *xyxy, conf, cls in reversed(det): label = f'{model.names[int(cls)]} {conf:.2f}' plot_one_box(xyxy, img0, label=label, color=(255, 0, 0)) return img0 def plot_one_box(xyxy, img, color=None, label=None, line_thickness=None): # Plots one bounding box on image img tl = ( line_thickness or round(0.002 * max(img.shape[0:2])) + 1 ) # line/font thickness color = color or [random.randint(0, 255) for _ in range(3)] c1, c2 = (int(xyxy[0]), int(xyxy[1])), (int(xyxy[2]), int(xyxy[3])) cv2.rectangle(img, c1, c2, color, thickness=tl, lineType=cv2.LINE_AA) if label: tf = max(tl - 1, 1) # font thickness t_size = cv2.getTextSize(label, 0, fontScale=tl / 3, thickness=tf)[0] c2 = c1[0] + t_size[0], c1[1] - t_size[1] - 3 cv2.rectangle( img, c1, c2, color, -1, cv2.LINE_AA ) # filled cv2.putText( img, label, (c1[0], c1[1] - 2), 0, tl / 3, [225, 255, 255], thickness=tf, lineType=cv2.LINE_AA, ) return img if __name__ == '__main__': img_path = 'test_image.jpg' # 輸入你的圖像路徑 result_img = detect_apples(img_path) cv2.imshow('Result', result_img) cv2.waitKey(0) cv2.destroyAllWindows()

保留識別物體的尺寸的數(shù)據(jù)，之后要用在別的地方上。

機械臂運動控制算法
機械臂的控制方法

# 這個方法控制機械臂的關(guān)節(jié)進行運動 mc.send_angles([angle_list],speed) # 這個方法用坐標控制機械臂在空間上進行運動 mc.send_coords([coords_list],speed,mode) example: mc.send_angles([0,0,0,0,0,0],100) time.sleep(2) mc.send_coords([(-3.6), 30.32, (-45.79), (-46.84), 97.38, 0.35],100,1)

獲得物體的尺寸數(shù)據(jù)之后，定義機械臂末端距離物體的合理位置

def calculate_angles_for_distance(distance): # 根據(jù)理想距離計算機械臂的關(guān)節(jié)角度 # 這里的計算需要根據(jù)實際情況和物理參數(shù)進行調(diào)整 return [0, -10, distance * 0.1, 0, 30, 0] def calculate_adjusted_angles(action_angles): # 基于特定動作后可能需要的坐標調(diào)整計算新的角度 # 這里僅為示例，具體邏輯根據(jù)需要調(diào)整 return [angle * 1.1 for angle in action_angles]

再選擇模式對應的運動控制

#360全景拍攝 # 定義具體的拍攝模式 def shoot_mode_360(ideal_distance): print("執(zhí)行360°全景拍攝模式") # 首先，移動到理想拍攝位置 move_to_ideal_position(ideal_distance) # 處理理想距離 ideal_ratio = ratio # 執(zhí)行360°全景拍攝的特定動作 mc.send_angles([0, 0, 0, 0, 0, 0], speed=15) time.sleep(1) mc.send_coords([angle * ratio for angle in angles_list] ，15) time.sleep(1) mc.send_coords([angle * ratio for angle in angles_list] ，15) time.sleep(1) mc.send_coords([angle * ratio for angle in angles_list] ，15)

手機相機的調(diào)用
在開發(fā)過程中，嘗試調(diào)用手機攝像頭接口以實現(xiàn)自動化拍攝功能，我遇到了一系列挑戰(zhàn)。作為我的第一次深入探索AVFoundation iOS框架，目標是激活并控制手機的攝像頭，我發(fā)現(xiàn)自己還未能完全成功實現(xiàn)這一功能。當前的難點主要集中在如何準確調(diào)用攝像頭進行視頻拍攝，以及在拍攝過程中如何通過軟件調(diào)整來補償圖像的可能拉伸，這需要對機械臂的運動進行精細控制。

這些問題標志著我后續(xù)研究的重點方向，需要我繼續(xù)深入學習AVFoundation框架的使用，特別是其控制攝像頭的具體方法，并探索如何將這些控制整合到機械臂的運動調(diào)整中，以確保最終拍攝出的視頻質(zhì)量符合預期。

總結(jié)
隨著這次項目記錄的結(jié)束，我意識到雖然項目尚有諸多不足，但這次嘗試將兩個獨立設(shè)備在不同的框架下協(xié)同工作，對我來說仍是一次寶貴的經(jīng)驗。確實，整個項目目前尚未達到我心中的理想狀態(tài)。然而，我認為這個項目探索的方向極具潛力，考慮到市面上已經(jīng)存在能夠拍攝出令人贊嘆效果的專業(yè)攝影機械臂，這強化了我對項目潛在價值的信念。

機械臂的應用已經(jīng)廣泛滲透到我們的日常生活中，無論是在工業(yè)生產(chǎn)、日常服務(wù)，還是在藝術(shù)創(chuàng)作領(lǐng)域，都發(fā)揮著越來越重要的作用。隨著人工智能技術(shù)的不斷進步和普及，AI與機器人的結(jié)合無疑將成為未來技術(shù)發(fā)展的重要趨勢。我對機器人技術(shù)的未來發(fā)展抱有極大的期待，相信未來它們將在更多領(lǐng)域發(fā)揮出驚人的能力和創(chuàng)造力。

如果你對我的項目感興趣，或者有任何想法和建議，非常歡迎與我交流。你的反饋將對我繼續(xù)改進和完善這個項目提供寶貴的幫助。

審核編輯 黃宇