Tras dos años en el Gardner-Webb Junior College, en Carolina del Norte, Gilmore estaba listo para el gran momento, la Universidad de Jacksonville, más cerca de su familia. En su último año, en 1970-71, lideró a los Dolphins a un récord de 27-2 y a la final de la NCAA, aunque perdieron ante la UCLA de Henry Bibby y Sidney Wicks. En sus dos años en Jacksonville, Gilmore se convirtió en uno de los pocos jugadores universitarios en promediar al menos 20 puntos y 20 rebotes. Lideró al país en rebotes como junior y senior, y todavía tiene el promedio más alto de rebotes (22,7 rpp) en la División I de la NCAA.
Gilmore se convirtió en una estrella al instante. Llevó a los Colonels a un 81% de victorias (68-16), ganó el Novato del Año y MVP de la liga, finalizó 10º en anotación (23,8 puntos por partido), primero en rebotes (17,8 rpp), primero en porcentaje en tiros de campo (59.8%) y fue nombrado All-Star (al igual que en sus cinco temporadas ABA). En los playoffs, sin embargo, cayó en primera ronda por 4-2 contra los New York Nets.
A pesar de que la ABA estaba en su apogeo cuando Gilmore llegó, y los nombres de las futuras estrellas de la NBA, como Julius Erving, George McGinnis, Dan Issel, Rick Barry, George Gervin, Spencer Haywood y David Thompson coronaban la parte superior de los gráficos estadísticos, Gilmore sería el protagonista mientras durara la liga.
Durante las siguientes cuatro temporadas, llevó a los coroneles a los playoffs cada año y en su carrera de cinco años en la ABA, jugó en cada partido (420 en total). Lideró a la liga en rebotes cuatro veces y en porcentaje de aciertos dos veces. También terminó entre los 10 primeros en anotación las cinco temporadas y estableció récords de la ABA en porcentaje en tiros de campo (55,7), total de tapones (1431), tapones durante una temporada (422 en 1971-72), y rebotes en un juego (40 frente a Nueva York, el 3 de febrero de 1974). Jugó cinco All Stars, siendo MVP en 1974. Fue miembro del primer equipo de la liga en cinco ocasiones y cuatro del primer equipo defensivo. Disputó dos finales (1973 y 75) y ganó el título en 1975 al vencer a Indiana, siendo elegido MVP de las mismas. En el último juego de la serie, Gilmore había hecho 28 puntos y 31 rebotes.
La fusión ABA-NBA se dio tras la temporada 1975-76 y Artis Gilmore fue elegido por los Bulls en primera posición en el draft de dispersión, por delante de Maurice Lucas o Moses Malone. Los Bulls habían tenido la temporada anterior el peor balance de la liga (24-58), pero con la llegada de Gilmore, consiguieron llegar a la postemporada con un récord de 44-38 (ganaron 20 de los últimos 24 partidos). El pívot de Florida completó partidos para el recuerdo, como uno de ellos contra los SuperSonics en que hizo 32 puntos, 17 rebotes, 5 asistencias y 4 tapones. Terminó la temporada con promedios de 18.6 puntos, 13.0 rebotes y 2.5 tapones.
En 1977-78, Gilmore hizo la primera de seis apariciones en el All-Star de la NBA y también ganó un puesto en el Segundo Equipo All-Defensive de la NBA. Pero los Bulls tuvieron un balance de 40-42 y no disputaron los Playoffs. Volverían a la postemporada una vez más durante los siguientes seis años en Chicago de Artis, con una breve aparición en los playoffs de 1981.
Estadísticamente, por lo menos, Gilmore se mantuvo siempre entre los mejores. En seis años con los Bulls, promedió 19,9 ppp y constantemente estaba clasificado cerca de la cima de la liga en rebotes, tapones y porcentaje de acierto. Su porcentaje de 67% de tiros de campo en 1980-81, es la tercera más alta de todos los tiempos (Wilt Chamberlain es dueño de los dos primeros lugares).
Cansado de las críticas de los medios de Chicago, que lo acusaban de tener una actitud pasiva, después de la campaña 1981-82, el jugador, de 32 años, pidió ser traspasado. A diferencia de los Bulls, los Spurs ya eran un buen equipo cuando Gilmore llegó. Tenían al líder en anotación de la liga, George Gervin y San Antonio había ganado dos títulos de la División Central. Los Spurs repitieron como ganadores de la división en la 1982-83 , Gilmore repitió como líder de la liga en porcentaje de tiros de campo (62.6%) y volvió al All-Star. San Antonio avanzó a las finales de conferencia por segundo año consecutivo, pero perdió ante Los Angeles Lakers en seis partidos. Ese año Gilmore promedió 18 puntos y 12 rebotes por encuentro, lo que llevó a George Gervin a declarar: “Me encanta. Nunca he jugado con un pívot dominante antes y lo estoy disfrutando“.
En los años que siguieron, Gervin siguió anotando y Gilmore siguió haciendo lo que mejor sabía: rebotear, bloquear tiros, intimidar y anotar con precisión. Terminó entre los dos primeros en porcentaje de aciertos en cada uno de sus cinco años en San Antonio. En 1985-86, a los 36 años y con los Spurs terminando últimos en su división, Gilmore jugó en el All-Star Game por sexta y última vez.
Con los Spurs en clara decadencia, Artis Gilmore fue enviado de vuelta a Chicago tras la temporada 1986-87. Después de jugar 24 partidos con los Bulls en la 1987-88, fue cortado y luego firmó con Boston, donde terminó la temporada como suplente de Robert Parish. Artis Gilmore, el gigante tranquilo, se retiraba ese verano a los 38 años.
Fue uno de los pívots más dominantes de su época, sobre todo en el apartado defensivo, y con ello consiguió ser seleccionado para el All -Star Game en 11 de sus 17 años como profesional (5 veces en la ABA y 6 en la NBA) y su última selección para el Partido de las Estrellas fue a los 36 años. Registró un 59.9% TC en su carrera (porcentaje más alto de la historia), con al menos un 60% TC en seis temporadas diferentes y lideró la NBA en porcentaje de tiros de campo en cuatro ocasiones.
Después de 909 partidos de temporada regular, Gilmore abandonó la NBA con 15.579 puntos (17,1 ppp), 9.161 rebotes (10,1 rpp) y 1.747 tapones (1,9 tpp).
Durante sus cinco años en la ABA, consiguió 9.362 puntos (22,3 ppp), 7.169 rebotes (17,1 rpp) y un récord de liga de 1431 tapones (3,4 tpp).
Es uno de los 24 jugadores en anotar un total de 20.000 puntos, habiendo jugado en ABA y NBA, y el cuarto jugador con un mayor número de tapones en el baloncesto profesional (3.178).
Un año después de retirarse, Artis Gilmore volvió al baloncesto profesional y cruzó el Océano Atlántico para jugar en el Arimo Bolonia en 1988-1989, donde promedió 12.3 puntos y 11.0 rebotes y fue elegido para el European All-Star Team.
Durante su extensa carrera, que duró 17 temporadas entre la ABA y la NBA, Gilmore era conocido como un jugador rocoso y excepcionalmente regular, llegó a jugar 670 partidos consecutivos en una ocasión. Hablaba casi susurrando y era ciertamente extraño que se metiera en peleas o discutiera con los árbitros. En lugar de meterse en líos, el tímido Gilmore respondió a las críticas (se le tildaba de perezoso y con un estilo mecánico) con su férreo juego hasta el final de su carrera.