唐櫃港を中心とした浜地区と、豊島美術館がある岡地区とに分かれています。唐櫃港は、小豆島からの最寄りの港ということもあり、観光のみならず物資や給食等、島間交流の重要な港にもなっています。
今では、唐櫃と言えば豊島美術館、という印象を持つ方が多いですが、岡地区には古来から枯れたことの無い湧水(唐櫃の清水)があり、今でも島民が大切に管理をしているシンボルが存在します。他にも、島民が日々管理を行っている棚田や、後にオリーブ牛となる子牛を育てていたりといった昔からの暮らしが引き継がれています。浜地区は、唐櫃港を中心とした住宅エリアとなっています。