Thinking more...

dockerd 預設只使用 /var/run/docker.sock，如果需要讓其他的 host 去管理，就需要額外設定。
在 Ubuntu trusty 裡，要編輯 /etc/default/docker，加入

DOCKER_OPTS="-H 0.0.0.0:2375"

然後重新啟動就可以了。
不過這樣設定以後，就等於任何人都可以透過這個 port 去控制你這台機器裡的所有 container ，官方建議加上 TLS 來保障連線的安全，晚點再來研究怎麼加上 TLS 。
參考資料：

• dockerd
• Protect the Docker daemon socket