オブジェクトのハンドル(ポインタ)を取得できれば、
オブジェクトの操作はなんだってできる
というわけではありません。
リアル世界
言われたことを素直に理解します。
コンピュータ世界 : オブジェクト指向
オブジェクト指向はフィールド値の直接のアクセスを許しません(カプセル化)。
アクセッサ(get,set)やパブリックなメソッドを通してフィールド値を変えます。
さらに設計が練り上げられたシュミレータの場合
例1 : Ignition Gazebo
ecm(Eintitiy Component Manager)のようなマネジャークラスを通して実体の操作が行われます。