複数台のパソコンを同時に接続することはできますか？

はい、可能です。
複数台で接続したい場合は、PPPoE対応ブロードバンドルータをご利用ください。