カテゴリー: 未分類

h264圧縮や音声データの取得の確認完了。jetsonの環境構築をやり直して再確認した後、本格的システム構築を行う。

jetsonのカメラの最高解像度で映像を送信することに成功。さすがに重い。かくかくする。圧縮方法の見直しや解像度の見直しが必要かも。あとそれのめどがついたらVPNを使ってテスト。VPNのテストができたら遠隔操作ロボの基本的な技術検証は完了したことになる。そのあと音声周りかな。

JetsonとPC間でROS2での接続を確認できた。

Jetsonでのシリアル通信確認中に不具合確認。ここにアップロードするときは当然動作確認してからなんだけど、時間おいて動かしてみたら動かなったなんてことがまあまあある。

Meta(Oculus)Quest で立体視しながら、コントローラーでロボットハンドの操作：ソースコード:ServoSupport.h , ServoSupport.cpp

#define SERBO_NUMBER (18) ->#define SERBO_NUMBER (16)

Jetson nano とそれにつなぐ4k*2を購入とりあえずやっと環境が整ってきた。

新しいものがあったほうがモチベーションが上がりやすい。

今手元でAI動かしながらあれこれ考えているのだけど、なんか引っかかるんだよね。
自分のプロンプトが悪いのかもしれないけど、GPT-2ベースだとまともな返答が来ない。出力される文章自体は文章としてそれっぽいんだけど、内容があっていないみたいな。

そもそも人はwikipedia丸暗記なんかしなくてもコミュニケーションとれるし、はるかに少ない情報で知っている範囲での回答ができる。多分このあたりに解決の糸口があるんだろうな。

肩の位置の計算と手首の位置合わせプログラム解説を公開

今マニピュレータの逆運動学は、手首の位置合わせたあと後、手の向きを合わせたているけど、これは逆にした方が、把持の位置を合わせる時一発できれいに合わせられる。もちろん手首の位置を合わせあってものだけど。

ロボット胴体のポールの上下についている部品のデータ公開。ただあまりうまくいってない（ポール突っ込んだ際に割れたりしている）感じなので、環境に合わせて適当に調整してもらう必要があるかも。

なお使用しているのはダイソーの棚用のポール。47cmのやつ４つがメイン。

ここまででちょっと一区切り案がある。

今後の展開として考えられるのが、

• １，はじめの予定通り、足回りを作る。シミュレーション環境を作る。
• ２，Jetson nano と　4kステレオカメラで解像度を上げる。
• ３，現状でAIを使った作業の自動化を進める。

ただ、足回りはバッテリーなどでお金がかかる。jetsonもしかり。シミュレーション環境と３を進めるのが最もコスパは良さそう。

決めるまで、まだ公開してないデータをまとめて公開したり、ブログ記事を充実させたりしとく感じかな。