James nació siendo totalmente sordo en la aislada comunidad de Garden Valley en Idaho. A pesar de sus ganas e insistencias, sus padres nunca quisieron que fuera a la escuela y se cree que jamás aprendió a leer y escribir. Desde muy niño estaba obsesionado con el arte y se dedicaba a crear cientos de dibujos y collages. Su inspiración era su casa y los establecimientos que alcanzaba a ver desde ahí, como la oficina postal. Mucho de su trabajo fue escultórico, basado en objetos encontrados como envases, tela, papel, hilo, madera, clavos y hasta espinas de pescado. Hizo una serie de “casas fantásticas” pintadas con tinta que él mismo fabricaba y aplicaba a cartones de leche u otros pedazos de papel que podía conseguir. Castle fue sumamente prolífico e incluso hizo libros de series completas: el libro de códigos, calendarios, libros de hazlo-tu-mismo y volúmenes completos de patrones.