英語力が上がったからと言って、コミュニケーション能力が上がる訳ではない。

リスニング力、ライティング力、リーディング力、スピーキング力・・・
それぞれの能力を使って、英語で意思疎通ができる人のことを英語が出来る人というかもしれない。（もちろん程度の差はあるかもしれないが）

勘違いをしている人をよく見かける。
英語で会話しているアメリカ人を見て、「あーあんな風に軽快に話ができたらなぁ」と。
ただ答えは、「例えパーフェクトな英語力が身に付いたと仮定しても、そのときのアメリカ人のようには残念ながらなれないかもしれません。」ということ。

結局英語力とコミュニケーション能力は全く別ものなんです。
日本語で新しく出会った人と軽快に話ができますか？
日本語でも無理なら英語でだって無理です。（たまに英語を話すと突然陽気になる人はいますが。）

逆に英語の文法はめちゃくちゃだけど、コミュニケーション能力が高い人はすぐに外国人と打ち解けられたりする場面を見ます。
本当に磨くべきは英語力だけなのでしょうか？

私自身コミュニケーション能力が低く、仕事中は良いのですが、それ以外だと蚊帳の外でした（笑）
もしコミュニケーション能力の低さと英語力の低さを同時に扱われている方がいたら、一度見直してはいかがでしょうか。
それだけで少しは楽になりますし、対処方法がクリアになるはずです。