#include <vector>
class Object
{
public:
};
class Bullet : public Object
{
public:
};
class Player : public Object
{
public:
vector<Bullet> bullet;
};
Мне надо использовать объект подкласса Bullet в подклассе Player. Для этого необходимо создавать отдельные классы?
Непонятный вопрос. Причем тут подклассы?
Просто создавайте экземпляры класса (ака “объекты”) где угодно обычными способами.
Проблема была в том, что я просто не написал using namespace std; 
Если это header (.h) файл, который инклюдится в других файлах, то рекомендуется писать просто std::vector без using, потому что иначе using применится во всех файлах инклюдящих его, что может вызвать проблемы.